生成式 AI 新手指南

本新手指南介绍了生成式 AI 的核心技术，并说明了这些技术如何协同发挥作用，为聊天机器人和应用提供支持。生成式 AI（也称为 genAI）是机器学习 (ML) 的一个领域，用于开发和使用机器学习模型来生成新内容。

生成式 AI 模型通常被称为大语言模型 (LLM)，因为它们体量巨大，并且能够理解和生成自然语言。不过，这些模型可以理解和生成来自文本、图片、视频和音频等多种模态的内容，具体取决于模型的训练数据。处理多种数据模态的模型称为多模态模型。

Google 提供了专为多模态应用场景设计的 Gemini 系列生成式 AI 模型；能够处理来自多种模态（包括图片、视频和文本）的信息。

内容生成

为了让生成式 AI 模型生成在现实应用中有用的内容，它们需要具备以下功能：

  • 了解如何执行新任务：

    生成式 AI 模型旨在执行常规任务。如果您希望模型执行特定于您的应用场景的任务，则需要能够自定义模型。在 Vertex AI 中，您可以通过模型调优来自定义模型。

  • 访问外部信息：

    生成式 AI 模型使用大量数据进行训练。不过，为了让这些模型发挥作用，它们需要能够访问训练数据之外的信息。例如，如果您想创建一个由生成式 AI 模型提供支持的客户服务聊天机器人，该模型需要能够访问您提供的产品和服务的相关信息。在 Vertex AI 中，您可以使用基准和函数调用功能来帮助模型访问外部信息。

  • 屏蔽有害内容：

    生成式 AI 模型可能会生成意料之外的输出，包括令人反感或不顾他人感受的文本。为了确保安全并防止滥用，模型需要安全过滤器来屏蔽被确定为可能有害的提示和回答。Vertex AI 内置了安全功能，可促进负责任地使用我们的生成式 AI 服务。

下图展示了这些不同功能如何协同工作来生成您想要的内容：

生成式 AI 工作流图

提示

提示

生成式 AI 工作流通常从提示开始。提示是发送到生成式 AI 模型以引发响应的自然语言请求。根据模型的不同，提示可以包含文本、图片、视频、音频、文档和其他模态，甚至包含多模态（多模态提示）。

创建提示以从模型获取所需回答的做法称为提示设计。 虽然提示设计是一个试验和试错过程，但您可以利用提示设计原则和策略来智能调整模型，使其行为符合预期。Vertex AI Studio 提供提示管理工具，可帮助您管理提示。

基础模型

基础模型

提示会发送到生成式 AI 模型以生成回答。 Vertex AI 具有可通过托管 API 访问的各种生成式 AI 基础模型，包括：

  • Gemini API：高级推理、多轮聊天、代码生成和多模态提示。
  • Imagen API：图片生成、图片修改和视觉标注。
  • MedLM：医学问题回答和摘要。（已废弃）

这些模型的大小、模态和费用各有不同。您可以在 Model Garden 中探索 Google 模型，以及 Google 合作伙伴提供的开放模型和其他模型。

模型自定义

模型自定义

您可以自定义 Google 基础模型的默认行为，以便在不使用复杂提示的情况下始终生成所需的结果。此自定义过程称为模型调优。模型调优可让您简化提示，从而帮助您降低请求的费用并缩短延迟时间。

Vertex AI 还提供模型评估工具，可帮助您评估经过调优的模型的性能。在经过调优的模型可用于生产后，您可以像在标准 MLOps 工作流中一样将其部署到端点并监控性能。

访问外部信息

增强

Vertex AI 提供多种方法，可让模型访问外部 API 和实时信息。

  • 建立依据：将模型回答连接到真实来源（例如您自己的数据或网页搜索），有助于减少幻觉。
  • RAG：将模型连接到外部知识源（例如文档和数据库），以生成更准确的且信息丰富的回答。
  • 函数调用：让模型与外部 API 交互，以获取实时信息并执行实际任务。

引用检查

引用检查

生成响应后，Vertex AI 会检查响应中是否需要包含引用。如果响应中有大量文本来自特定来源，则该来源会添加到响应中的引用元数据。

Responsible AI 和安全

Responsible AI 和安全

在返回提示和响应之前要经过的最后一层检查是安全过滤器。Vertex AI 会检查提示和回答，以了解提示或回答属于安全类别的程度。如果一个或多个类别超过阈值，则响应会被阻止，Vertex AI 将返回后备响应。

响应

响应

如果提示和响应通过了安全过滤器检查，则系统会返回响应。通常，系统会一次性返回所有回答。但是，您还可以使用 Vertex AI 通过启用流式传输来逐步接收生成的响应。

开始使用

请尝试使用以下快速入门之一开始使用 Vertex AI 上的生成式 AI。