大语言模型 (LLM) 擅长解决许多类型的问题。但是，它们受到以下限制：
- 模型在训练后被冻结，导致知识过时。
- 无法查询或修改外部数据。
扩展程序和 Vertex AI（预览版）可以克服这些缺点。扩展程序可连接处理实时数据和执行实际操作的外部 API。Vertex AI 扩展程序服务可注册、管理和运行这些扩展程序，并且可以连接到处理用户查询并与 LLM 通信的应用。
每当应用收到用户查询时，都会向 LLM 提供一组扩展程序以及这些扩展程序可以执行的操作。如果模型确定应将查询处理委托给扩展程序，则会向应用提供请求的扩展程序调用和关联的参数值。应用将此请求中继到扩展程序服务，然后扩展程序服务运行扩展程序。当扩展程序服务将此操作的结果提交给应用时，该过程完成，应用随后将其中继回模型。
借助 Vertex AI Search，您可以创建、部署和管理将 LLM 连接到外部系统的 API 的扩展程序。这些系统可以向 LLM 提供实时数据，并代表它们执行数据处理操作。
如需详细了解扩展程序和 Vertex AI 扩展程序服务的使用场景和优势，请参阅使用场景和优势。
如需了解如何使用 Vertex AI 扩展程序服务注册、管理和运行扩展程序，请参阅注册、管理和运行扩展程序。
使用场景和优势
以下是一些可能的扩展程序使用场景：
- 生成并运行代码。
- 查询网站并合成信息。
- 根据特定于企业的数据集合中的信息回答问题。
- 查询和分析数据存储区。
Vertex AI 扩展程序服务具有以下优势：
- 企业控制：Identity and Access Management (IAM) 权限和安全控制。
- 数据安全：签署协议，保证您的私有数据不会泄露或在模型训练中使用
- 性能协议：签署协议，保证平台提供特定功能和正常运行时间。
- 私有扩展程序：贵组织或授权合作伙伴中的授权用户可以使用扩展程序访问敏感的内部数据和操作，例如搜索内部知识库或完成人力资源相关操作。
- Google 产品集成：与 Vertex AI Search、BigQuery 等 Google 产品以及专用模型集成。