生成式 AI 新手指南

本指南将介绍生成式 AI 的核心概念以及在 Vertex AI 上构建应用的工作流，涵盖以下主题：

  • 内容生成工作流程：从提示模型到接收安全且相关的回答的整个流程的概览。
  • 基础模型：了解 Vertex AI 上提供的不同类型的生成式 AI 模型，包括多模态 Gemini 模型。
  • 模型自定义和增强：如何针对特定任务自定义模型，以及如何使用 grounding 和函数调用将模型连接到外部信息。
  • 开始使用快速入门：链接到实践教程，以便开始在 Vertex AI 上使用生成式 AI 构建应用。

本新手指南将向您介绍生成式 AI 的核心技术，并说明这些技术如何协同工作来为聊天机器人和应用提供支持。 生成式 AI（也称为 genAI）是机器学习 (ML) 的一个领域，用于开发和使用机器学习模型来生成新内容。

生成式 AI 模型通常称为大语言模型 (LLM)，因为它们规模庞大，并且能够理解和生成自然语言。不过，根据模型接受的训练数据，这些模型可以理解和生成来自多种模态（包括文本、图片、视频和音频）的内容。处理多种数据模态的模型称为多模态模型。

Google 提供了专为多模态应用场景设计的 Gemini 系列生成式 AI 模型；能够处理来自多种模态（包括图片、视频和文本）的信息。

概念

  • 提示：发送给生成式 AI 模型以引出回答的自然语言请求。
  • 基础模型：一种大型预训练生成式 AI 模型，例如 Gemini，可用于处理各种各样的任务。
  • 模型调优：自定义基础模型以更有效地执行特定任务的过程。
  • 建立依据：将模型的回答与可验证的信息来源相关联，以提高准确性并减少幻觉。
  • 函数调用：一项功能，可让模型与外部 API 交互，以检索实时信息或执行操作。

内容生成

为了让生成式 AI 模型生成在实际应用中实用的内容，模型需要具备以下能力：

  • 了解如何执行新任务：生成式 AI 模型旨在执行一般任务。如果您希望模型执行您的应用场景特有的任务，则需要能够自定义模型。在 Vertex AI 上，您可以通过模型调优来自定义模型。
  • 访问外部信息：生成式 AI 模型使用大量数据进行训练。不过，为了让这些模型发挥作用，它们需要能够访问训练数据以外的信息。例如，如果您想创建由生成式 AI 模型提供支持的客户服务聊天机器人，则该模型需要能够访问您提供的产品和服务的信息。在 Vertex AI 中，您可以使用基础功能和函数调用功能来帮助模型访问外部信息。
  • 屏蔽有害内容：生成式 AI 模型可能会生成意料之外的输出，包括令人反感或不顾他人感受的文本。为了确保安全并防止滥用，模型需要安全过滤器来屏蔽被确定为可能有害的提示和回答。Vertex AI 具有内置的安全功能，可促进负责任地使用我们的生成式 AI 服务。

下图总结了整个工作流程：

提示

生成式 AI 工作流通常从提示开始。提示是发送给生成式 AI 模型以引发回答的自然语言请求。根据模型的不同，提示可以包含文本、图片、视频、音频、文档或多种模态（多模态提示）。

例如，一个简单的文本提示可以是：

"Summarize the following article in three bullet points: [article text]"

创建提示以从模型获取所需回答的做法称为提示设计。虽然提示设计是一个试验和试错过程，但您可以利用提示设计原则和策略来智能调整模型，使其行为符合预期。Vertex AI Studio 提供提示管理工具，可帮助您管理提示。

基础模型

提示会发送到生成式 AI 模型以生成回答。Vertex AI 具有可通过托管 API 访问的各种生成式 AI 基础模型。

这些模型的大小、模态和费用各有不同。下表简要介绍了这些服务：

模型系列 主要使用场景
Gemini API 高级推理、多轮聊天、代码生成和多模态提示（文本、图片、视频、音频）。
Imagen API 高质量的图片生成、编辑和视觉标注。
MedLM（已弃用） 医学问题回答和摘要。

您可以在 Model Garden 中探索 Google 模型，以及 Google 合作伙伴提供的开放模型和其他模型。

模型自定义

您可以自定义 Google 基础模型的默认行为，以便在不使用复杂提示的情况下始终生成所需的结果。此自定义过程称为模型调优。模型调优可让您简化提示，从而帮助您降低请求的费用并缩短延迟时间。

Vertex AI 还提供模型评估工具，可帮助您评估经过调优的模型的性能。在经过调优的模型可用于生产后，您可以像在标准 MLOps 工作流中一样将其部署到端点并监控性能。

访问外部信息

Vertex AI 提供多种方法，可让模型访问外部 API 和实时信息。

选项 说明 使用场景
标准答案关联 将模型回答连接到真实来源（例如您自己的数据或网页搜索）。 通过将回答与特定数据相关联，减少幻觉并提高事实准确性。
检索增强生成 (RAG) 将模型连接到外部知识源（例如文档和数据库）。 通过从大型知识库中检索相关信息，生成更准确、信息更丰富的回答。
函数调用 让模型与外部 API 交互。 获取实时信息（例如天气、股价）或执行现实世界中的任务（例如预订航班、发送电子邮件）。

引用检查

生成回答后，Vertex AI 会检查回答中是否需要包含引用。如果回答中有大量文本来自特定来源，则该来源会添加到回答中的引用元数据。

Responsible AI 和安全

在返回提示和回答之前要经过的最后一层检查是安全过滤器。Vertex AI 会检查提示和回答，以了解提示或回答属于安全类别的程度。如果一个或多个类别超过阈值，则响应会被阻止，Vertex AI 将返回后备响应。

响应

如果提示和回答通过了安全过滤条件检查，则系统会返回回答。通常，系统会一次性返回所有回答。不过，您还可以使用 Vertex AI 通过启用流式传输来逐步接收生成的响应。

开始使用

请尝试使用以下快速入门之一开始使用 Vertex AI 上的生成式 AI。