借助 Generative AI on Vertex AI（也称为 genAI 或生成式 AI），您可以访问 Google 的大型生成式 AI 模型，以便测试、调整和部署模型，以用于 AI 驱动的应用。本页面简要介绍了 Vertex AI 上的生成式 AI 工作流、可用的功能和模型，并引导您了解入门资源。
生成式 AI 工作流
下图简要介绍了生成式 AI 工作流。
提示
|
生成式 AI 工作流通常从提示开始。提示是发送到语言模型以引发响应的自然语言请求。编写提示以从模型获取所需响应的做法称为提示设计。虽然提示设计是一个试验和试错过程，但您可以利用提示设计原则和策略来智能调整模型，使其行为符合预期。 |
基础模型
|
提示会发送到模型以生成响应。Vertex AI 具有可通过 API 访问的各种生成式 AI 基础模型，包括：
这些模型的大小、模态和费用各有不同。您可以在 Model Garden 中探索 Google 专有模型和 OSS 模型。 |
模型自定义
|
您可以自定义 Google 基础模型的默认行为，以便在不使用复杂提示的情况下始终生成所需的结果。此自定义过程称为模型调优。模型调优可让您简化提示，从而帮助您降低请求的费用并缩短延迟时间。 Vertex AI 还提供模型评估工具，可帮助您评估经过调优的模型的性能。在经过调优的模型可用于生产后，您可以像在标准 MLOps 工作流中一样将其部署到端点并监控性能。 |
Vertex AI 地面服务
|
如果您需要模型响应以可靠来源为基础，例如您自己的数据语料库，则可以使用 Vertex AI 中的基础功能。落地有助于减少模型幻觉（尤其是在未知主题方面），并且还可让模型访问新信息。 |
引用检查
|
生成响应后，Vertex AI 会检查响应中是否需要包含引用。如果响应中有大量文本来自特定来源，则该来源会添加到响应中的引用元数据。 |
Responsible AI 和安全
|
在返回提示和响应之前要经过的最后一层检查是安全过滤器。Vertex AI 会检查提示和响应以了解提示或响应属于安全类别的程度。如果一个或多个类别超过阈值，则响应会被阻止，Vertex AI 将返回后备响应。 |
响应
|
如果提示和响应通过了安全过滤器检查，则系统会返回响应。通常，响应会一次性返回。但是，您也可以通过启用流式传输来逐步接收生成的响应。 |
生成式 AI API 和模型
Vertex AI 中提供的生成式 AI 模型（也称为基础模型）按其设计生成的内容类型进行分类。这些内容包括文本、聊天、图片、代码、视频、多模态数据和嵌入。每个模型都通过特定于您的 Google Cloud 项目的发布者端点公开，因此您无需部署基础模型，除非您需要针对特定应用场景进行调优。
Gemini API 产品
Vertex AI Gemini API 包含由 Google DeepMind 开发的 Gemini 模型的发布商端点。
- Gemini 1.0 Pro 旨在处理自然语言任务、多轮文本和代码聊天以及代码生成。
- Gemini 1.0 Pro Vision 支持多模态提示。您可以在提示请求中包含文本、图片和视频，并获取文本或代码回答。
PaLM API 产品
Vertex AI PaLM API 包含发布商端点以用于 Google 的 Pathways 语言模型 2 (PaLM 2)，该模型是大语言模型 (LLM)，可生成文本和代码来回复自然环境语言提示。
- 用于文本的 PaLM API 针对分类、汇总和实体提取等语言任务进行了微调。
- 用于聊天的 PaLM API 针对多轮聊天进行了微调，模型可以在聊天中跟踪之前的消息，并将其用作生成新回复的上下文。
其他生成式 AI 产品
Codey API 会生成代码。Codey API 包括三个模型，用于生成代码、推荐代码以补全代码以及让开发者通过聊天获取有关代码相关问题的帮助。如需了解详情，请参阅代码模型概览。
文本嵌入 API 为输入文本生成向量嵌入。您可以将嵌入用于语义搜索、推荐、分类和离群值检测等任务。
多模态嵌入根据图像和文本输入生成嵌入向量。这些嵌入稍后可用于其他后续任务，例如图片分类或内容推荐。如需了解详情，请参阅多模态嵌入页面。
我们的文字转图片基础模型 Imagen 让组织能够根据任何业务需求大规模生成和自定义工作室级图片。如需了解详情，请参阅 Imagen on Vertex AI 概览。
MedLM 是针对医疗保健行业微调的一系列基础模型。如需了解详情，请参阅 MedLM 模型概览。
Vertex AI Studio
Vertex AI Studio 是一款 Google Cloud 控制台工具，用于对生成式 AI 模型快速进行原型设计和测试。您可以测试示例提示，设计自己的提示，并自定义基础模型来处理符合应用需求的任务。本页面介绍了您可以在 Vertex AI Studio 中执行的不同任务，包括：
- 使用提示示例测试模型。
- 设计并保存您自己的提示。
- 对基础模型进行调优。
- 在语音和文字之间转换。
使用提示示例测试模型
提示库（位于 Vertex AI Studio 的语言部分）包含各种示例提示，这些提示经过预先设计，用于帮助演示模型功能。示例提示按任务类型分类，例如汇总、分类和提取。每个提示都预配置了指定的模型和参数值，因此您只需打开示例提示，然后点击提交即可让模型生成回复。
设计并保存您自己的提示
提示设计是指手动创建提示，以从语言模型中引出所需回复的过程。通过精心设计提示，您可以智能地调整模型以生成所需的结果。通过提示设计，可以有效地尝试针对特定应用场景调整语言模型。
您可以在 Vertex AI Studio 中创建并保存您自己的提示。创建新提示时，您需要输入提示文本、指定要使用的模型、配置参数值，并通过生成回复来测试提示。您可以迭代提示及其配置，直到获得所需的结果。完成提示设计后，您可以将其保存在 Vertex AI Studio 中。
回复引用
如果您在 Vertex AI Studio 中使用文本模型（如 text-bison），则会根据输入收到文本回复。我们的功能旨在生成原创内容，而不是大量复制现有内容。如果 Vertex AI Studio 长篇引用了某个网页的内容，则会在输出结果中引用该网页。
您可以通过在 Vertex AI Studio 中调整温度（输出随机程度）和尝试其他回复参数来更改回复的质量。
可以在 Vertex AI Studio 和 API 中使用引用。如需详细了解 Responsible AI 和引用，请参阅引用元数据。
在 Model Garden 中探索生成式 AI 模型
Model Garden 是一个平台，可帮助您发现、测试、自定义和部署 Google 专有的以及部分 OSS 模型和资产。如需探索 Vertex AI 上可用的生成式 AI 模型和 API，请转到 Google Cloud 控制台中的 Model Garden。
如需详细了解 Model Garden，包括可用的模型和功能，请参阅在 Model Garden 中探索 AI 模型。
调整基础模型
虽然提示设计非常适合快速实验，但如果训练数据可用，则可以通过调整模型本身来达到更高的质量。通过调整模型，您可以根据您希望模型执行的任务示例自定义模型的回复。
如需了解如何调整基础模型，请参阅调整基础模型。
在语音和文字之间转换。
在 Vertex AI Studio 的语音工具中，您可以截取一小段文本，并将其转换为您可以播放和下载的语音音频文件。您可以从多种语音中进行选择，并调整语速。
相反，如果您有语音音频文件，也可以将其上传到 Vertex AI Studio，然后将其转写为文本。
如需了解详情，请参阅以下页面：
试用 Vertex AI Studio
Vertex AI Studio 位于 Google Cloud 控制台的 Vertex AI 页面中。
认证和安全控制
Vertex AI 支持 CMEK、VPC Service Controls、数据驻留和 Access Transparency。生成式 AI 功能有一些限制。如需了解详情，请参阅生成式 AI 安全控制。
开始使用
- 使用 Vertex AI Studio 或 Vertex AI API 尝试学习快速入门教程。
- 探索 Model Garden 中的预训练模型。
- 了解如何调整基础模型。
- 了解 Responsible AI 最佳实践和 Vertex AI 的安全过滤条件。
- 了解配额和限制。
- 了解价格。