本新手指南介绍了生成式 AI 的核心技术，并说明了这些技术如何协同运作以助力聊天机器人和应用。生成式 AI（也称为 genAI）是机器学习 (ML) 的一个领域，用于开发和使用机器学习模型来生成新内容。
生成式 AI 模型通常被称为大语言模型 (LLM)，因为它们很大，并且能够理解和生成自然语言。不过，这些模型可以根据用于训练模型的数据，理解并生成来自多种模态（包括文本、图片、视频和音频）的内容。处理多种数据模态的模型称为多模态模型。
内容生成
为了让生成式 AI 模型生成在实际应用中实用的内容，它们需要具备以下功能：
了解如何执行新任务：
生成式 AI 模型旨在执行一般任务。如果您希望模型执行特定于您用例的任务，则需要能够自定义模型。在 Vertex AI 上，您可以通过模型调优来自定义模型。
访问外部信息：
生成式 AI 模型基于大量数据进行训练。但是，为了使这些模型发挥作用，它们需要能够访问其训练数据之外的信息。例如，如果您想创建一个由生成式 AI 模型提供支持的客户服务聊天机器人，该模型需要能够访问您提供的产品和服务的相关信息。在 Vertex AI 中，您可以使用连接和函数调用功能来帮助模型访问外部信息。
屏蔽有害内容：
生成式 AI 模型可能会生成意料之外的输出，包括令人反感或不顾他人感受的文本。为了确保安全并防止滥用，模型需要安全过滤器来屏蔽被确定为可能有害的提示和回答。Vertex AI 具有内置安全功能，可促进对生成式 AI 服务的负责任使用。
下图展示了这些不同功能如何协同工作以生成您想要的内容：
提示
|
生成式 AI 工作流通常从提示开始。提示是发送到生成式 AI 模型以引出回答的自然语言请求。根据模型的不同，提示可以包含文本、图片、视频、音频、文档和其他模态，甚至包含多模态（多模态提示）。 创建提示以从模型获取所需回答的做法称为提示设计。 虽然提示设计是一个试验和试错过程，但您可以利用提示设计原则和策略来智能调整模型，使其行为符合预期。Vertex AI Studio 提供提示管理工具，可帮助您管理提示。 |
基础模型
|
提示会发送到生成式 AI 模型以生成回答。 Vertex AI 具有可通过托管 API 访问的各种生成式 AI 基础模型，包括：
这些模型的大小、模态和费用各有不同。您可以在 Model Garden 中探索 Google 模型，以及 Google 合作伙伴提供的开放模型和其他模型。 |
模型自定义
|
您可以自定义 Google 基础模型的默认行为，以便在不使用复杂提示的情况下始终生成所需的结果。此自定义过程称为模型调优。模型调优可让您简化提示，从而帮助您降低请求的费用并缩短延迟时间。 Vertex AI 还提供模型评估工具，可帮助您评估经过调优的模型的性能。在经过调优的模型可用于生产后，您可以像在标准 MLOps 工作流中一样将其部署到端点并监控性能。 |
访问外部信息
|
Vertex AI 提供了多种方法，让模型能够访问外部 API 和实时信息。 |
引用检查
|
生成响应后，Vertex AI 会检查响应中是否需要包含引用。如果响应中有大量文本来自特定来源，则该来源会添加到响应中的引用元数据。 |
Responsible AI 和安全
|
在返回提示和响应之前要经过的最后一层检查是安全过滤器。Vertex AI 会检查提示和回答，以了解提示或回答属于安全类别的程度。如果一个或多个类别超过阈值，则响应会被阻止，Vertex AI 将返回后备响应。 |
响应
|
如果提示和响应通过了安全过滤器检查，则系统会返回响应。通常，系统会一次性返回所有回答。但是，您还可以使用 Vertex AI 通过启用流式传输来逐步接收生成的响应。 |
Vertex AI Studio 控制台体验
使用免费试用版 Vertex AI Studio 或未登录 Google Cloud 时，某些功能不可用。如需试用 Vertex AI Studio，请在 Google Cloud 控制台中接受 Vertex AI Studio 服务条款窗口。
| 在没有 Google Cloud 账号的情况下使用 | 与 Google Cloud 免费试用账号搭配使用 | 与现有 Google Cloud 账号搭配使用 | |
|---|---|---|---|
| （需要登录） | 否 | 是 | 是 |
| 每分钟查询次数 (QPM) | 所有多模态模型都为 2 次 QPM | 查看配额限制 | 查看配额限制 |
| 提供的赠金 | $0 | 90 天最高 $300 | $0 |
| 提示库 | 否 | 是 | 是 |
| 提示设计师 | 是 | 是 | 是 |
| 保存提示 | 否 | 是 | 是 |
| 提示历史记录 | 否 | 是 | 是 |
| 高级参数 | 否 | 否 | 是 |
| 调优 | 否 | 否 | 是 |
| API 用量 | 否 | 是 | 是 |
| 需要启用结算功能 | 否 | 否 | 是 |
| 如何开始 | 前往 Vertex AI Studio | 注册以进行免费试用 | 在您的控制台中试用 Vertex AI Studio |
开始使用 Vertex AI 上的生成式 AI
- 使用 Vertex AI Studio 或 Vertex AI API 尝试学习快速入门教程。
- 探索 Model Garden 中的预训练模型。
- 探索适用于 Python、Node.js、Java、Go 或 C# 的 Vertex AI Gemini API SDK 参考文档。
- 了解 Responsible AI 最佳实践和 Vertex AI 的安全过滤条件。
- 了解价格。
- 了解如何使用 OpenAI 库调用 Gemini。