Posted by on | Featured

生成式 AI 领域取得了巨大进步近来。 AI 模型在文本摘要、问题回答、聊天等任务上变得越来越好。例如，Bing Copilot 通过利用 GPT-4 技术。谷歌还发布了 Gemini 和 Bard 型号。然而，训练和微调此类模型需要大量的计算基础设施，而且成本高昂。这是人工智能采用的巨大障碍，因为市场上没有多少参与者能够从头开始提出如此大型的语言模型。然而，在现有的基础或基础模型之上构建模型或应用程序可以解决这个问题。这对企业很有帮助，因为他们不必自己提出一个基础模型，而是可以利用现有模型并对其进行微调以满足自己的需求或直接使用该模型。

MaaS 和 MaaP

模型即服务 (MaaS）是指基于云的服务，其中此类机器学习或生成式人工智能模型托管在云中，并且可以通过简单的基于聊天的 API 轻松使用。尝试这些服务的易用性和较低的学习曲线加速了它们的采用。总的来说，MaaS 简化了模型的使用。

模型即平台 (MaaP) 与 MaaS 不同，在 MaaS 中，模型提供商可以访问云提供商提供的底层基础设施，而不是直接访问其模型。在这种情况下，这可能意味着模型提供商通过利用云基础设施来负责构建、部署和管理其机器学习应用程序。 MaaP 使组织能够创建全面的机器学习解决方案。

MaaS 构建块

此过程涉及三方，即模型提供者、模型发布者和模型消费者。模型提供者通常是创建模型的人，他们可以是开源或闭源模型，例如 Open AI、Hugging Face 等。模型发布者可以是云提供商，他从模型提供商处接受此模型并制作它可供消费者使用，例如亚马逊、微软等。模型消费者使用模型发布者发布的可用模型。例如。聊天应用程序、机器人等。

为了让模型提供商将其模型作为服务发布以供使用，根据他们选择的云提供商，可能需要执行一些基本步骤，如下所述：

  1. 模型注册表：模型提供者可能希望使用其注册表服务来提供与模型关联的所有元数据，例如权重、参数、bin 文件、安全张量等
  2. 模型目录：可供使用的可用模型的存储库。人们可以直接公开基础模型，也可以在基础模型之上构建一个模型。
  3. 模型端点：模型提供商可能希望指定他们想要在模型部署过程中配置的计算机，并且云服务可能会公开端点消费者可以使用它来访问模型。

MaaS 界面

通常，MaaS 产品是基于聊天的界面，在给出输入提示时生成文本。还可以在请求中发送采样参数，例如温度、重复惩罚、前 k 个、最大令牌等。下面是一个 hello world 示例，该示例将请求发送到作为服务托管在 localhost 中的 Facebook/opt-125m 模型。在请求中，我们发送模型接受的一些采样参数。正如我们所看到的，模型以生成的文本作为输出进行响应。

壳

  

curl http://0.0.0.0:5001/generate -H "Content-Type: application/json" -d '{
“型号”：“facebook/opt-125m”，
"prompt":"芙蓉花很漂亮",
“最大令牌”：20，
“温度”：0.8，
“顶部_p”：0.95
}'

壳

  

 {"text":["芙蓉是一种美丽的植物。它会在未来的几年里生长和存活。"] }

 

结论

总而言之，模型即服务 (MaaS) 提供了一种便捷高效的方法，可以利用预先训练的机器学习模型来执行特定任务，而无需模型开发的开销。它使组织能够专注于其核心应用程序，而不是自己构建模型。谷歌、微软和亚马逊是提供 MaaS 的著名云提供商，随着新模型提供商的出现，它们支持的模型列表预计会增加。幕后的云基础设施也应该能够很好地扩展以支持这些模型。

Tags: ,
Comments are closed.