试用 Gemini 1.5 模型，这是 Vertex AI 中最新的多模态模型，看看您可以运用多达 200 万词元的上下文窗口构建怎样的应用。 试用 Gemini 1.5 模型，这是 Vertex AI 中最新的多模态模型，看看您可以运用多达 200 万词元的上下文窗口构建怎样的应用。

此页面由 Cloud Translation API 翻译。

在 Model Garden 中探索 AI 模型

Google Cloud 控制台中的 Model Garden 是一个机器学习模型库，可帮助您发现、测试、自定义和部署 Google 拥有的以及部分 OSS 模型和资产。

以下主题介绍 Model Garden 中提供的 AI 模型及其使用方法。

探索模型

如需查看可用的 Vertex AI 和开源基础，以及可微调和任务专用模型的列表，请转到 Google Cloud 控制台中的“Model Garden”页面。

转到 Model Garden

Model Garden 中提供的模型类别包括：

类别	说明
基础模型	预训练的多任务大型模型，可使用 Vertex AI Studio、Vertex AI API 和 Vertex AI SDK for Python 针对特定任务进行调优或自定义。
可微调的模型	您可以使用自定义笔记本或流水线微调模型。
针对特定任务的解决方案	其中大多数预构建模型都可以使用。其中许多数据都可以使用您自己的数据进行自定义。

如需在过滤条件窗格中过滤模型，请指定以下内容：

模态：点击模型中所需的模态（数据类型）。
任务：点击您希望模型执行的任务。
特征：点击所需的模型特征。

如需详细了解每个模型，请点击其模型卡片。

Model Garden 中提供的模型

您可以在 Model Garden 中找到 Google 的第一方模型和部分开源模型。

Google 的第一方模型列表

下表列出了 Model Garden 中提供的 Google 第一方模型：

模型名称	模态	说明	快速入门
Gemini 1.5 Flash	语言、音频、视觉	最快、最具成本效益的多模态 Gemini 模型。它专为高数据量任务和对延迟敏感且经济实惠的应用而构建。由于 Gemini 1.5 Flash 响应速度很快，因此非常适合用于创建聊天助理和点播内容生成应用。	模型卡片
Gemini 1.5 Pro	语言、音频、视觉	此多模态模型支持在文本或聊天提示中添加图片、音频、视频和 PDF 文件，以提供文本或代码回答。	模型卡片
Gemini 1.0 Pro	语言	主要用于处理自然语言任务、多轮文本、代码聊天和代码生成。	模型卡片
Gemini 1.0 Pro Vision	语言、视觉	此多模态模型支持在文本或聊天提示中添加图片、视频和 PDF 文件，以提供文本或代码回答。	模型卡片
PaLM 2 for Text	语言	专门为了遵循自然语言指令而进行了调优，适用于各种语言任务。	模型卡片
PaLM 2 for Chat	语言	经过微调，可以进行自然对话。使用此模型构建和自定义您自己的聊天机器人应用。	模型卡片
Codey for Code Completion	语言	根据代码提示生成代码。适合用于提供代码建议以及最大限度地减少代码中的 bug。	模型卡片
Codey for Code Generation	语言	根据自然语言输入生成代码。适合用于编写函数、类、单元测试等。	模型卡片
Codey for Code Chat	语言	通过自然对话获得与代码相关的帮助。适合有关 API 的问题、支持的语言的语法等。	模型卡片
Embeddings for Text	语言	将文本数据转换为可由机器学习算法（尤其是大型模型）处理的数值向量。	模型卡片
Imagen for Image Generation	Vision	使用文本提示大规模创建或编辑工作室级图片。	模型卡片
Imagen for Captioning & VQA	语言	为给定图片生成相关说明。	模型卡片
Embeddings for Multimodal	Vision	基于图片生成向量，这些向量可用于图片分类和图片搜索等下游任务。	模型卡片
Chirp	语音	通用语音模型的一个版本，包含超过 20 亿个参数，可在单个模型中转写 100 多种语言。	模型卡片

Model Garden 中使用开源调优或服务配方的模型列表

下表列出了 Model Garden 中支持开源调优或服务配方的 OSS 模型：

模型名称	模态	说明	快速入门
Qwen2	语言	部署基础大语言模型系列 Qwen2。	Colab 模型卡片
Phi-3	语言	部署基础大语言模型系列 Phi-3。	Colab 模型卡片
E5	语言	部署 E5（文本嵌入模型系列）。	Colab 模型卡片
Instant ID	语言、视觉	部署 Instant ID，这是一种保护身份的文字转图片生成模型。	Colab 模型卡片
Llama 3	语言	在 Vertex AI 上使用 Meta 的 Llama 3 模型（8B、70B、405B）进行探索和构建。	模型卡片
Gemma 2	语言	开放式权重模型（9B、27B），基于创建 Google Gemini 模型所用的研究和技术构建而成。	模型卡片
Gemma	语言	开放式权重模型（2B、7B），基于创建 Google Gemini 模型所用的研究和技术构建而成。	模型卡片
CodeGemma	语言	开放式权重模型（2B、7B）（专为代码生成和代码补全而设计的模型）使用用于创建 Google Gemini 模型所用的研究和技术构建而成。	模型卡片
PaliGemma	语言	开放权重 3B 模型（专为图片标注任务和视觉问答任务而设计的模型）使用创建 Google Gemini 模型所用的研究和技术构建而成。	模型卡片
Vicuna v1.5	语言	部署 Vicuna v1.5 系列模型，它们是根据 LLama2 微调的基础模型，用于文本生成。	模型卡片
NLLB	语言	部署 nllb 系列模型，用于多语言翻译。	模型卡片 Colab
Mistral-7B	语言	部署 Mistral-7B，这是一个用于文本生成的基础模型。	模型卡片
BioGPT	语言	部署 BioGPT，这是一种用于生物医学领域的文本生成模型。	模型卡片 Colab
BiomedCLIP	语言、视觉	部署 BiomedCLIP，这是一种用于生物医学领域的多模态基础模型。	模型卡片 Colab
ImageBind	语言、视觉、音频	部署 ImageBind，这是一种用于多模态嵌入的基础模型。	模型卡片 Colab
DITO	语言、视觉	微调和部署 DITO，这是一种用于开放词汇对象检测任务的多模态基础模型。	模型卡片 Colab
OWL-ViT v2	语言、视觉	部署 OWL-ViT v2，这是一种用于开放词汇对象检测任务的多模态基础模型。	模型卡片 Colab
FaceStylizer (Mediapipe)	Vision	将人脸图像转换为新风格的生成式流水线。	模型卡片 Colab
Llama 2	语言	在 Vertex AI 上微调和部署 Meta 的 Llama 2 基础模型（7B、13B、70B）。	模型卡片
Code Llama	语言	在 Vertex AI 上部署 Meta 的 Code Llama 基础模型（7B、13B、34B）。	模型卡片
Falcon-instruct	语言	使用 PEFT 微调和部署 Falcon-instruct 模型（7B、40B）。	Colab 模型卡片
OpenLLaMA	语言	使用 PEFT 微调和部署 OpenLLaMA 模型（3B、7B、13B）。	Colab 模型卡片
T5-FLAN	语言	微调和部署 T5-FLAN（基础、小、大）。	模型卡片（包含微调流水线）
BERT	语言	使用 PEFT 微调和部署 BERT。	Colab 模型卡片
BART-large-cnn	语言	部署 BART，这是一个转换器编码器-编码器 (seq2seq) 模型，具有双向（类似于 BERT）编码器和自动回归（类似于 GPT）解码器。	Colab 模型卡片
RoBERTa-large	语言	使用 PEFT 微调和部署 RoBERTa-large。	Colab 模型卡片
XLM-RoBERTa-large	语言	使用 PEFT 微调和部署 XLM-RoBERTa-large（多语言版 RoBERTa）。	Colab 模型卡片
Dolly-v2-7b	语言	部署 Dolly-v2-7b，这是一个具有 69 亿个参数的指令跟踪大型语言模型。	Colab 模型卡片
Stable Diffusion XL v1.0	语言、视觉	部署 Stable Diffusion XL v1.0，它支持文字转图片。	Colab 模型卡片
Stable Diffusion XL Lightning	语言、视觉	部署 Stable Diffusion XL Lightning，这是一种文字转图片生成模型。	Colab 模型卡片
Stable Diffusion v2.1	语言、视觉	使用 Dreambooth 微调和部署 Stable Diffusion v2.1（支持文字转图片）。	Colab 模型卡片
Stable Diffusion 4x upscaler	语言、视觉	部署 Stable Diffusion 4x upscaler，它支持文本条件式图片超分辨率。	Colab 模型卡片
InstructPix2Pix	语言、视觉	部署 InstructPix2Pix，它支持使用文本提示来编辑图片。	Colab 模型卡片
Stable Diffusion Inpainting	语言、视觉	微调和部署 Stable Diffusion Inpainting，它支持使用文本提示来修复遮盖图片。	Colab 模型卡片
SAM	语言、视觉	部署 Segment Anything，它支持零镜头图像分割。	Colab 模型卡片
Text-to-video (ModelScope)	语言、视觉	部署 ModelScope text-to-video，它支持文字转视频。	Colab 模型卡片
Pic2Word Composed Image Retrieval	语言、视觉	部署 Pic2Word，它支持多模态合成图片检索。	Colab 模型卡片
BLIP2	语言、视觉	部署 BLIP2，它支持图片描述和视觉问答。	Colab 模型卡片
Open-CLIP	语言、视觉	微调和部署 Open-CLIP，它支持零镜头分类。	Colab 模型卡片
F-VLM	语言、视觉	部署 F-VLM，它支持开放词汇图片对象检测。	Colab 模型卡片
tfhub/EfficientNetV2	Vision	微调和部署 EfficientNetV2 图片分类模型的 TensorFlow Vision 实现。	Colab 模型卡片
EfficientNetV2 (TIMM)	Vision	微调和部署 EfficientNetV2 图片分类模型的 PyTorch 实现。	Colab 模型卡片
Proprietary/EfficientNetV2	Vision	微调和部署 EfficientNetV2 图片分类模型的 Google 专有检查点。	Colab 模型卡片
EfficientNetLite (MediaPipe)	Vision	通过 MediaPipe Model Maker 微调 EfficientNetLite 图片分类模型。	Colab 模型卡片
tfvision/vit	Vision	微调和部署 ViT 图片分类模型的 TensorFlow Vision 实现。	Colab 模型卡片
ViT (TIMM)	Vision	微调和部署 ViT 图片分类模型的 PyTorch 实现。	Colab 模型卡片
Proprietary/ViT	Vision	微调和部署 ViT 图片分类模型的 Google 专有检查点。	Colab 模型卡片
Proprietary/MaxViT	Vision	微调和部署 MaxViT 混合 (CNN + ViT) 图片分类模型的 Google 专有检查点。	Colab 模型卡片
ViT (JAX)	Vision	微调和部署 ViT 图片分类模型的 JAX 实现。	Colab 模型卡片
tfvision/SpineNet	Vision	微调和部署 SpineNet 对象检测模型的 Tensorflow Vision 实现。	Colab 模型卡片
Proprietary/Spinenet	Vision	微调和部署 SpineNet 对象检测模型的 Google 专有检查点。	Colab 模型卡片
tfvision/YOLO	Vision	微调和部署 YOLO 单阶段对象检测模型的 TensorFlow Vision 实现。	Colab 模型卡片
Proprietary/YOLO	Vision	微调和部署 YOLO 单阶段对象检测模型的 Google 专有检查点。	Colab 模型卡片
YOLOv8 (Keras)	Vision	微调和部署 YOLOv8 对象检测模型的 Keras 实现。	Colab 模型卡片
tfvision/YOLOv7	Vision	微调和部署 YOLOv7 对象检测模型。	Colab 模型卡片
ByteTrack Video Object Tracking	Vision	使用 ByteTrack 跟踪器运行用于视频对象跟踪的批量预测。	Colab 模型卡片
ResNeSt (TIMM)	Vision	微调和部署 ResNeSt 图片分类模型的 PyTorch 实现。	Colab 模型卡片
ConvNeXt (TIMM)	Vision	微调和部署 ConvNeXt，这是一种用于图片分类的纯卷积模型，其灵感来自 Vision Transformer 的设计。	Colab 模型卡片
CspNet (TIMM)	Vision	微调和部署 CSPNet (Cross Stage Partial Network) 图片分类模型。	Colab 模型卡片
Inception (TIMM)	Vision	微调和部署 Inception 图片分类模型。	Colab 模型卡片
DeepLabv3+（带检查点）	Vision	微调和部署 DeepLab-v3 Plus 语义图像分割模型。	Colab 模型卡片
Faster R-CNN (Detectron2)	Vision	微调和部署 Faster R-CNN 图片对象检测模型的 Detectron2 实现。	Colab 模型卡片
RetinaNet (Detectron2)	Vision	微调和部署 RetinaNet 图片对象检测模型的 Detectron2 实现。	Colab 模型卡片
Mask R-CNN (Detectron2)	Vision	微调和部署 Mask R-CNN 图片对象检测和分割模型的 Detectron2 实现。	Colab 模型卡片
ControlNet	Vision	微调和部署 ControlNet 文字转图片生成模型。	Colab 模型卡片
MobileNet (TIMM)	Vision	微调和部署 MobileNet 图片分类模型的 PyTorch 实现。	Colab 模型卡片
MobileNetV2 (MediaPipe) Image Classification	Vision	使用 MediaPipe Model Maker 微调 MobileNetV2 图片分类模型。	Colab 模型卡片
MobileNetV2 (MediaPipe) Object Detection	Vision	使用 MediaPipe Model Maker 微调 MobileNetV2 对象检测模型。	Colab 模型卡片
MobileNet-MultiHW-AVG (MediaPipe)	Vision	使用 MediaPipe Model Maker 微调 MobileNet-MultiHW-AVG 对象检测模型。	Colab 模型卡片
DeiT	Vision	微调和部署 DeiT（数据高效的图片转换器）图片分类模型。	Colab 模型卡片
BEiT	Vision	微调和部署 BEiT（图片转换器的双向编码器表示法）图片分类模型。	Colab 模型卡片
Hand Gesture Recognition (MediaPipe)	Vision	使用 MediaPipe 微调和部署 Hand Gesture Recognition 模型。	Colab 模型卡片
Average Word Embedding Classifier (MediaPipe)	Vision	使用 MediaPipe 微调和部署 Average Word Embedding Classifier 模型。	Colab 模型卡片
MobileBERT Classifier (MediaPipe)	Vision	使用 MediaPipe 微调和部署 MobileBERT Classifier 模型。	Colab 模型卡片
MoViNet Video Clip Classification	视频	微调和部署 MoViNet 视频片段分类模型。	Colab 模型卡片
MoViNet Video Action Recognition	视频	微调和部署 MoViNet 动作识别推理模型。	Colab 模型卡片
Stable Diffusion XL LCM	Vision	部署此模型，它使用潜在一致性模型 (LCM) 增强潜在 Diffusion 模型中的文本转图片生成，可通过更少的步骤更快生成高质量的图片。	Colab 模型卡片
LLaVA 1.5	视觉、语言	部署 LLaVA 1.5 模型。	Colab 模型卡片
Pytorch-ZipNeRF	视觉、视频	训练 Pytorch-ZipNeRF 模型，它是 Pytorch 框架中最先进的 ZipNeRF 算法实现，专门用于根据 2D 图像进行高效准确的 3D 重建。	Colab 模型卡片
Mixtral	语言	部署 Mixtral 模型，它是 Mistral AI 开发的混合专家 (MoE) 大语言模型 (LLM)。	模型卡片
Llama 2（量化）	语言	微调和部署 Meta 的 Llama 2 模型的量化版本。	Colab 模型卡片
LaMa (Large Mask Inpainting)	Vision	部署 LaMa，它使用快速傅立叶卷积 (FFC)、高感受野感知损失和大型训练掩膜，可以实现高分辨率的图像修复。	Colab 模型卡片
AutoGluon	表格	利用 AutoGluon，您可以为表格数据训练和部署高准确率的机器学习模型和深度学习模型。	Colab 模型卡片
MaMMUT	语言、视觉	视觉编码器和文本解码器架构，适用于多模态任务，例如视觉问答、图片文本检索、文本图片检索以及多模态嵌入生成。	Colab 模型卡片

Model Garden 中提供的合作伙伴模型列表

下表列出了 Model Garden 中由 Google 合作伙伴提供的模型：

模型名称	模态	说明	快速入门
Anthropic Claude 3.5 Sonnet	语言	Anthropic 最强大的 AI 模型，保持了 Anthropic Claude 3 Sonnet 的速度和费用。	模型卡片
Anthropic Claude 3 Opus	语言	Anthropic 第二强大的 AI 模型，在高度复杂的任务上表现出色。	模型卡片
Anthropic Claude 3 Haiku	语言	Anthropic 最快且最紧凑的视觉和文本模型，可针对简单查询提供快速回答。其旨在打造模仿真人互动的 AI 体验。	模型卡片
Anthropic Claude 3 Sonnet	语言	一种视觉和文本模型，可平衡性能和速度以处理企业工作负载。该模型专为低成本、缩放式 AI 部署而设计。	模型卡片
Jamba 1.5 Large（预览版）	语言	AI21 Labs 的 Jamba 1.5 Large 旨在提供优质的回答、高吞吐量，并且价格与同类别的其他模型相比具有竞争力。	模型卡片
Jamba 1.5 Mini（预览版）	语言	AI21 Labs 的 Jamba 1.5 Mini 在质量、吞吐量和低成本方面取得了良好的平衡。	模型卡片
Llama 3.1 405B（预览版）	语言	Meta 到目前为止最强大且功能最多的模型。它是公开提供的最大基础模型，可提供从合成数据生成到模型蒸馏、可操纵性、数学、工具使用、多语言翻译等的功能。	模型卡片
Mistral Large (2407)	语言	Mistral Large (2407) 是 Mistral AI 用于文本生成的旗舰级模型。它达到了顶级推理能力，可用于复杂的多语言任务，包括文本理解、转换和代码生成。	模型卡片
Mistral Nemo	语言	Mistral AI 最具成本效益的专有模型。使用 Mistral Nemo 低延迟工作负载以及可批量完成的简单任务，例如分类、客户服务和文本生成。	模型卡片
Codestral	代码	专为代码生成而设计和优化的生成模型。您可以使用 Codestral 设计高级 AI 应用。	模型卡片

如何使用模型卡片

点击模型卡片可使用与其关联的模型。例如，您可以点击模型卡片来测试提示、调优模型、创建应用和查看代码示例。

如需了解如何使用与模型卡片关联的模型，请点击以下标签页之一：

测试提示

使用 Vertex AI PaLM API 模型卡片来测试提示。

在 Google Cloud 控制台中，转到 Model Garden 页面。

转到 Model Garden
找到要测试的受支持模型，然后点击查看详细信息。
点击打开提示设计。

您将转到提示设计页面。
在提示符中，输入要测试的提示。
可选：配置模型参数。
点击提交。

调整模型

如需调整支持的模型，请使用 Vertex AI 流水线或笔记本。

使用流水线进行微调

BERT 和 T5-FLAN 模型支持使用流水线进行模型调整。

在 Google Cloud 控制台中，转到 Model Garden 页面。

转到 Model Garden
在搜索模型中，输入 BERT 或 T5-FLAN，然后点击放大镜以进行搜索。
点击 T5-FLAN 或 BERT 模型卡片上的查看详细信息。
点击打开微调流水线。

您将进入 Vertex AI 流水线页面。
如需开始调整，请点击创建运行。

在笔记本中调整

大多数开源基础模型和可微调模型的模型卡都支持在笔记本中进行调整。

在 Google Cloud 控制台中，转到 Model Garden 页面。

转到 Model Garden
找到要调节的支持模型，然后点击查看详细信息。
点击打开笔记本。

部署模型

Stable Diffusion 模型的模型卡片支持部署到端点。

在 Google Cloud 控制台中，转到 Model Garden 页面。

转到 Model Garden
找到要部署的受支持模型。在其模型卡片上，点击查看详细信息。
点击部署。

系统会要求您将模型的副本保存到 Model Registry。
在模型名称中，输入模型的名称。
点击保存。

此时会显示部署到端点窗格。
按如下说明定义端点：
- 端点名称：输入端点的名称。
- 区域：选择创建端点的区域。
- 访问权限：如需使端点可通过 REST API 访问，请选择标准。如需创建与端点的专用连接，请选择专用。
点击继续。
按照 Google Cloud 控制台中的说明操作，并配置模型设置。
点击继续。
可选：点击为此端点启用模型监控切换开关，以启用模型监控。
点击部署。

查看代码示例

特定于任务的解决方案模型的大多数模型卡都包含您可以复制和测试的代码示例。

在 Google Cloud 控制台中，转到 Model Garden 页面。

转到 Model Garden
找到要查看其代码示例的支持模型，然后点击文档标签页。
页面会滚动到文档部分，其中嵌入了示例代码。

创建视觉应用

适用计算机视觉模型的模型卡支持创建视觉应用。

在 Google Cloud 控制台中，转到 Model Garden 页面。

转到 Model Garden
在“针对特定任务的解决方案”部分中找到要用于创建视觉应用的视觉模型，然后点击查看详细信息。
点击构建应用。

您将进入 Vertex AI Vision。
在应用名称中，输入应用的名称，然后点击继续。
选择结算方案，然后点击创建。

您将进入 Vertex AI Vision Studio，可以继续创建计算机视觉应用。

价格

对于 Model Garden 中的开源模型，您需要为在 Vertex AI 上使用以下各项付费：

模型调优：您需要按与自定义训练相同的费率为使用的计算资源付费。请参阅自定义训练价格。
模型部署：您需要为将模型部署到端点所使用的计算资源付费。请参阅预测价格。
Colab Enterprise：请参阅 Colab Enterprise 价格。