借助 Generative AI on Vertex AI(也称为 genAI 或生成式 AI),您可以访问许多大型生成式 AI 模型,以便对其进行评估、调整和部署,从而用于 AI 赋能的应用。本页面简要介绍了 Vertex AI 上的生成式 AI 工作流、可用的功能和模型,并引导您了解入门资源。
生成式 AI 工作流
下图简要介绍了生成式 AI 工作流。
提示
生成式 AI 工作流通常从提示开始。提示是发送到生成式 AI 模型以引出回答的请求。根据模型的不同,提示可以包含文本、图片、视频、音频、文档和其他模态,甚至包含多模态(多模态提示)。 创建提示以从模型获取所需回答的做法称为提示设计。 虽然提示设计是一个试验和试错过程,但您可以利用提示设计原则和策略来智能调整模型,使其行为符合预期。Vertex AI Studio 提供提示管理工具,可帮助您管理提示。 |
基础模型
提示会发送到生成式 AI 模型以生成回答。 Vertex AI 具有可通过托管 API 访问的各种生成式 AI 基础模型,包括:
这些模型的大小、模态和费用各有不同。您可以在 Model Garden 中探索 Google 模型,以及 Google 合作伙伴提供的开放模型和其他模型。 |
模型自定义
您可以自定义 Google 基础模型的默认行为,以便在不使用复杂提示的情况下始终生成所需的结果。此自定义过程称为模型调优。模型调优可让您简化提示,从而帮助您降低请求的费用并缩短延迟时间。 Vertex AI 还提供模型评估工具,可帮助您评估经过调优的模型的性能。在经过调优的模型可用于生产后,您可以像在标准 MLOps 工作流中一样将其部署到端点并监控性能。 |
请求增强
Vertex AI 提供多种请求增强方法,可让模型访问外部 API 和实时信息。 |
引用检查
生成响应后,Vertex AI 会检查响应中是否需要包含引用。如果响应中有大量文本来自特定来源,则该来源会添加到响应中的引用元数据。 |
Responsible AI 和安全
在返回提示和响应之前要经过的最后一层检查是安全过滤器。Vertex AI 会检查提示和回答,以了解提示或回答属于安全类别的程度。如果一个或多个类别超过阈值,则响应会被阻止,Vertex AI 将返回后备响应。 |
响应
如果提示和响应通过了安全过滤器检查,则系统会返回响应。通常,系统会一次性返回所有回答。但是,您也可以通过启用流式传输来逐步接收生成的响应。 |
生成式 AI API 和模型
Vertex AI 中提供的生成式 AI 模型(也称为基础模型)按其设计生成的内容类型进行分类。这些内容包括文本、聊天、图片、代码、视频、多模态数据和嵌入。每个模型都通过特定于您的 Google Cloud 项目的发布者端点公开,因此您无需部署基础模型,除非您需要针对特定应用场景进行调优。
Gemini API 产品
Vertex AI Gemini API 包含由 Google DeepMind 开发的 Gemini 模型的发布商端点。
- Gemini 1.5 Pro(预览版)支持多模态提示。您可以在提示请求中添加文本、图片、音频、视频和 PDF 文件,并获取文本或代码回答。与 Gemini 1.0 Pro Vision 相比,Gemini 1.5 Pro(预览版)可以处理更大的图片集合、更大的文本文档和更长的视频。
- Gemini 1.0 Pro 旨在处理自然语言任务、多轮文本和代码聊天以及代码生成。
- Gemini 1.0 Pro Vision 支持多模态提示。您可以在提示请求中包含文本、图片、视频和 PDF,并获取文本或代码回答。
下表显示了 Gemini 模型之间的一些差异,可帮助您选择最适合自己的模型:
Gemini 模型 | 模态 | 上下文窗口 |
---|---|---|
Gemini 1.0 Pro/Gemini 1.0 Pro Vision |
|
|
Gemini 1.5 Pro(预览版) |
|
|
PaLM API 产品
Vertex AI PaLM API 包含发布商端点以用于 Google 的 Pathways 语言模型 2 (PaLM 2),该模型是大语言模型 (LLM),可生成文本和代码来回复自然环境语言提示。
- 用于文本的 PaLM API 针对分类、汇总和实体提取等语言任务进行了微调。
- 用于聊天的 PaLM API 针对多轮聊天进行了微调,模型可以在聊天中跟踪之前的消息,并将其用作生成新回复的上下文。
其他生成式 AI 产品
文本嵌入为输入文本生成向量嵌入。您可以将嵌入用于语义搜索、推荐、分类和离群值检测等任务。
多模态嵌入根据图片和文本输入生成向量嵌入。这些嵌入稍后可用于其他后续任务,例如图片分类或内容推荐。
Imagen 是我们的文本转图片基础模型,可让您大规模生成和自定义工作室级图片。
合作伙伴模型是由 Google 合作伙伴公司开发的一系列精选生成式 AI 模型。这些生成式 AI 模型以托管式 API 的形式提供。例如,Anthropic 以 Vertex AI 上的服务形式提供其 Claude 模型。
您可以在 Vertex AI 或其他平台上部署开放模型(如 Llama)。
MedLM 是面向医疗保健行业微调的一系列基础模型。
认证和安全控制
Vertex AI 支持 CMEK、VPC Service Controls、数据驻留和 Access Transparency。生成式 AI 功能有一些限制。如需了解详情,请参阅生成式 AI 安全控制。
开始使用
- 使用 Vertex AI Studio 或 Vertex AI API 尝试学习快速入门教程。
- 探索 Model Garden 中的预训练模型。
- 了解如何调整基础模型。
- 了解 Responsible AI 最佳实践和 Vertex AI 的安全过滤条件。
- 了解配额和限制。
- 了解价格。