Google Cloud 控制台中的 Model Garden 是一个机器学习模型库，可帮助您发现、测试、自定义和部署 Google 拥有的以及部分 OSS 模型和资产。
以下主题介绍 Model Garden 中提供的 AI 模型及其使用方法。
探索模型
如需查看可用的 Vertex AI 和开源基础，以及可微调和任务专用模型的列表，请转到 Google Cloud 控制台中的“Model Garden”页面。
Model Garden 中提供的模型类别包括：
| Category | 说明 |
|---|---|
| 基础模型 | 预训练的多任务大型模型，可使用 Vertex AI Studio、Vertex AI API 和 Python 版 Vertex AI SDK 针对特定任务进行调优或自定义。 |
| 可微调的模型 | 您可以使用自定义笔记本或流水线微调模型。 |
| 针对特定任务的解决方案 | 其中大多数预构建模型都可以使用。其中许多数据都可以使用您自己的数据进行自定义。 |
如需在过滤条件窗格中过滤模型，请指定以下内容：
- 模态：点击模型中所需的模态（数据类型）。
- 任务：点击您希望模型执行的任务。
- 特征：点击所需的模型特征。
如需详细了解每个模型，请点击其模型卡片。
Model Garden 中提供的模型
您可以找到 Google 的第一方模型，并在 Model Garden 中选择开源模型。
Google 的第一方模型列表
下表列出了 Model Garden 中提供的 Google 第一方模型：
| 模型名称 | 模态 | 说明 | 快速入门 |
|---|---|---|---|
| Gemini 1.0 Pro | 语言 | 主要用于处理自然语言任务、多轮文本、代码聊天和代码生成。 | 模型卡片 |
| Gemini 1.0 Pro Vision | 语言、视觉 | 此多模态模型支持在文本或聊天提示中添加图片和视频，以提供文本或代码回答。 | 模型卡片 |
| PaLM 2 for Text | 语言 | 专门为了遵循自然语言指令而进行了调优，适用于各种语言任务。 | 模型卡片 |
| PaLM 2 for Chat | 语言 | 经过微调，可以进行自然对话。使用此模型构建和自定义您自己的聊天机器人应用。 | 模型卡片 |
| Codey for Code Completion | 语言 | 根据代码提示生成代码。适合提供代码建议并最大限度地减少代码中的 bug。 | 模型卡片 |
| Codey for Code Generation | 语言 | 根据自然语言输入生成代码。适合编写函数、类、单元测试等。 | 模型卡片 |
| Codey for Code Chat | 语言 | 通过自然对话获取与代码相关的帮助。适合有关 API 的问题、支持的语言的语法等。 | 模型卡片 |
| Embeddings for Text | 语言 | 将文本数据转换为可由机器学习算法（尤其是大型模型）处理的数值向量。 | 模型卡片 |
| Imagen for Image Generation | 视觉 | 使用文本提示大规模创建或编辑工作室级图片。 | 模型卡片 |
| Imagen for Captioning & VQA | 语言 | 为给定图片生成相关说明。 | 模型卡片 |
| Embeddings for Multimodal | 视觉 | 基于图片生成向量，这些向量可用于图片分类和图片搜索等下游任务。 | 模型卡片 |
| Sec-PaLM2 | 语言 | 针对各种特定于安全的任务（例如威胁情报、安全运营和恶意软件分析）进行了预训练。 | 模型卡片 |
| Chirp | 语音 | 通用语音模型的一个版本，包含超过 20 亿个参数，可在单个模型中转写 100 多种语言。 | 模型卡片 |
Model Garden 中使用开源调优或服务配方的模型列表
下表列出了 Model Garden 中支持开源调优或服务配方的 OSS 模型：
| 模型名称 | 模态 | 说明 | 快速入门 |
|---|---|---|---|
| Gemma | 语言 | 开放式权重模型（2B、7B），基于创建 Google Gemini 模型所用的研究和技术构建而成。 | 模型卡片 |
| Vicuna v1.5 | 语言 | 部署 Vicuna v1.5 系列模型，它们是根据 LLama2 微调的基础模型，用于文本生成。 | 模型卡片 |
| NLLB | 语言 | 部署 nllb 系列模型，用于多语言翻译。 | 模型卡片 Colab |
| Mistral-7B | 语言 | 部署 Mistral-7B，这是一个用于文本生成的基础模型。 | 模型卡片 Colab |
| BioGPT | 语言 | 部署 BioGPT，这是一种用于生物医学领域的文本生成模型。 | 模型卡片 Colab |
| BiomedCLIP | 语言、视觉 | 部署 BiomedCLIP，这是一种用于生物医学领域的多模态基础模型。 | 模型卡片 Colab |
| ImageBind | 语言、视觉、 音频 |
部署 ImageBind，这是一种用于多模态嵌入的基础模型。 | 模型卡片 Colab |
| DITO | 语言、视觉 | 微调和部署 DITO，这是一种用于开放词汇对象检测任务的多模态基础模型。 | 模型卡片 Colab |
| OWL-ViT v2 | 语言、视觉 | 部署 OWL-ViT v2，这是一种用于开放词汇对象检测任务的多模态基础模型。 | 模型卡片 Colab |
| FaceStylizer (Mediapipe) | 视觉 | 将人脸图像转换为新风格的生成式流水线。 | 模型卡片 Colab |
| Llama 2 | 语言 | 在 Vertex AI 上微调和部署 Meta 的 Llama 2 基础模型（7B、13B、70B）。 | 模型卡片 |
| Code Llama | 语言 | 在 Vertex AI 上部署 Meta 的 Code Llama 基础模型（7B、13B、34B）。 | 模型卡片 |
| Falcon-instruct | 语言 | 使用 PEFT 微调和部署 Falcon-instruct 模型（7B、40B）。 | Colab 模型卡片 |
| OpenLLaMA | 语言 | 使用 PEFT 微调和部署 OpenLLaMA 模型（3B、7B、13B）。 | Colab 模型卡片 |
| T5-FLAN | 语言 | 微调和部署 T5-FLAN（基本、小、大）。 | 模型卡片（包含微调流水线） |
| BERT | 语言 | 使用 PEFT 微调和部署 BERT。 | Colab 模型卡片 |
| BART-large-cnn | 语言 | 部署 BART，这是一个转换器编码器-编码器 (seq2seq) 模型，具有双向（类似于 BERT）编码器和自动回归（类似于 GPT）解码器。 | Colab 模型卡片 |
| RoBERTa-large | 语言 | 使用 PEFT 微调和部署 RoBERTa-large。 | Colab 模型卡片 |
| XLM-RoBERTa-large | 语言 | 使用 PEFT 微调和部署 XLM-RoBERTa-large（多语言版 RoBERTa）。 | Colab 模型卡片 |
| Dolly-v2-7b | 语言 | 部署 Dolly-v2-7b，这是一个具有 69 亿个参数的指令跟踪大型语言模型。 | Colab 模型卡片 |
| Stable Diffusion XL v1.0 | 语言、视觉 | 部署 Stable Diffusion XL v1.0，它支持文字转图片。 | Colab 模型卡片 |
| Stable Diffusion v2.1 | 语言、视觉 | 使用 Dreambooth 微调和部署 Stable Diffusion v2.1（支持文字转图片）。 | Colab 模型卡片 |
| Stable Diffusion 4x upscaler | 语言、视觉 | 部署 Stable Diffusion 4x upscaler，它支持文本条件式图片超分辨率。 | Colab 模型卡片 |
| InstructPix2Pix | 语言、视觉 | 部署 InstructPix2Pix，它支持使用文本提示来修改图片。 | Colab 模型卡片 |
| Stable Diffusion Inpainting | 语言、视觉 | 微调和部署 Stable Diffusion Inpainting，它支持使用文本提示来修复遮盖图片。 | Colab 模型卡片 |
| SAM | 语言、视觉 | 部署 Segment Anything，它支持零镜头图片分割。 | Colab 模型卡片 |
| Text-to-video (ModelScope) | 语言、视觉 | 部署 ModelScope text-to-video，它支持文字转视频。 | Colab 模型卡片 |
| 文字转视频零镜头 | 语言、视觉 | 部署 Stable Diffusion text-to-video 生成器，它支持零镜头文字转视频。 | Colab 模型卡片 |
| Pic2Word Composed Image Retrieval | 语言、视觉 | 部署 Pic2Word，它支持多模态组合图片检索。 | Colab 模型卡片 |
| BLIP2 | 语言、视觉 | 部署 BLIP2，它支持图片标注和视觉问答。 | Colab 模型卡片 |
| Open-CLIP | 语言、视觉 | 微调和部署 Open-CLIP，它支持零镜头分类。 | Colab 模型卡片 |
| F-VLM | 语言、视觉 | 部署 F-VLM，它支持开放词汇图片对象检测。 | Colab 模型卡片 |
| tfhub/EfficientNetV2 | 视觉 | 微调和部署 EfficientNetV2 图片分类模型的 Tensorflow Vision 实现。 | Colab 模型卡片 |
| EfficientNetV2 (TIMM) | 视觉 | 微调和部署 EfficientNetV2 图片分类模型的 PyTorch 实现。 | Colab 模型卡片 |
| Proprietary/EfficientNetV2 | 视觉 | 微调和部署 EfficientNetV2 图片分类模型的 Google 专有检查点。 | Colab 模型卡片 |
| EfficientNetLite (MediaPipe) | 视觉 | 通过 MediaPipe 模型制作器微调 EfficientNetLite 图片分类模型。 | Colab 模型卡片 |
| tfvision/vit | 视觉 | 微调和部署 ViT 图片分类模型的 TensorFlow Vision 实现。 | Colab 模型卡片 |
| ViT（TIMM） | 视觉 | 微调和部署 ViT 图片分类模型的 PyTorch 实现。 | Colab 模型卡片 |
| Proprietary/ViT | 视觉 | 微调和部署 ViT 图片分类模型的 Google 专有检查点。 | Colab 模型卡片 |
| Proprietary/MaxViT | 视觉 | 微调和部署 MaxViT Hybrid (CNN + ViT) 图片分类模型的 Google 专有检查点。 | Colab 模型卡片 |
| ViT (JAX) | 视觉 | 微调和部署 ViT 图片分类模型的 JAX 实现。 | Colab 模型卡片 |
| tfvision/SpineNet | 视觉 | 微调和部署 SpineNet 对象检测模型的 Tensorflow Vision 实现。 | Colab 模型卡片 |
| Proprietary/Spinenet | 视觉 | 微调和部署 SpineNet 对象检测模型的 Google 专有检查点。 | Colab 模型卡片 |
| tfvision/YOLO | 视觉 | 微调和部署 YOLO 单阶段对象检测模型的 TensorFlow Vision 实现。 | Colab 模型卡片 |
| Proprietary/YOLO | 视觉 | 微调和部署 YOLO 单阶段对象检测模型的 Google 专有检查点。 | Colab 模型卡片 |
| YOLOv8 (Keras) | 视觉 | 微调和部署 YOLOv8 对象检测模型的 Keras 实现。 | Colab 模型卡片 |
| tfvision/YOLOv7 | 视觉 | 微调和部署 YOLOv7 对象检测模型。 | Colab 模型卡片 |
| ByteTrack Video Object Tracking | 视觉 | 使用 ByteTrack 跟踪器运行视频对象跟踪的批量预测。 | Colab 模型卡片 |
| ResNeSt (TIMM) | 视觉 | 微调和部署 ResNeSt 图片分类模型的 PyTorch 实现。 | Colab 模型卡片 |
| ConvNeXt (TIMM) | 视觉 | 微调和部署 ConvNeXt，这是一种用于图片分类的纯卷积模型，其灵感来自 Vision Transformer 的设计。 | Colab 模型卡片 |
| CspNet (TIMM) | 视觉 | 微调和部署 CSPNet（跨阶段部分网络）图片分类模型。 | Colab 模型卡片 |
| Inception (TIMM) | 视觉 | 微调和部署 Inception 图片分类模型。 | Colab 模型卡片 |
| DeepLabv3+（带检查点） | 视觉 | 微调和部署 DeepLab-v3 Plus 语义图像分割模型。 | Colab 模型卡片 |
| Faster R-CNN (Detectron2) | 视觉 | 微调和部署 Faster R-CNN 图片对象检测模型的 Detectron2 实现。 | Colab 模型卡片 |
| RetinaNet (Detectron2) | 视觉 | 微调和部署 RetinaNet 图片对象检测模型的 Detectron2 实现。 | Colab 模型卡片 |
| Mask R-CNN (Detectron2) | 视觉 | 微调和部署 Mask R-CNN 图片对象检测和分割模型的 Detectron2 实现。 | Colab 模型卡片 |
| ControlNet | 视觉 | 微调和部署 ControlNet 文字转图片生成模型。 | Colab 模型卡片 |
| MobileNet (TIMM) | 视觉 | 微调和部署 MobileNet 图片分类模型的 PyTorch 实现。 | Colab 模型卡片 |
| MobileNetV2 (MediaPipe) Image Classification | 视觉 | 使用 MediaPipe 模型制作工具微调 MobileNetV2 图片分类模型。 | Colab 模型卡片 |
| MobileNetV2 (MediaPipe) Object Detection | 视觉 | 使用 MediaPipe 模型制作工具微调 MobileNetV2 对象检测模型。 | Colab 模型卡片 |
| MobileNet-MultiHW-AVG (MediaPipe) | 视觉 | 使用 MediaPipe 模型制作工具微调 MobileNet-MultiHW-AVG 对象检测模型。 | Colab 模型卡片 |
| DeiT | 视觉 | 微调和部署 DeiT（数据高效的图片转换器）图片分类模型。 | Colab 模型卡片 |
| BEiT | 视觉 | 微调和部署 BEiT（图片转换器的双向编码器表示法）图片分类模型。 | Colab 模型卡片 |
| Hand Gesture Recognition (MediaPipe) | 视觉 | 使用 MediaPipe 微调和部署 Hand Gesture Recognition 模型。 | Colab 模型卡片 |
| Average Word Embedding Classifier (MediaPipe) | 视觉 | 使用 MediaPipe 微调和部署 Average Word Embedding Classifier 模型。 | Colab 模型卡片 |
| MobileBERT Classifier (MediaPipe) | 视觉 | 使用 MediaPipe 微调和部署 MobileBERT Classifier 模型。 | Colab 模型卡片 |
| MoViNet Video Clip Classification | 视频 | 微调和部署 MoViNet 视频剪辑分类模型。 | Colab 模型卡片 |
| MoViNet Video Action Recognition | 视频 | 微调和部署 MoViNet 动作识别推断模型。 | Colab 模型卡片 |
| Stable Diffusion XL LCM | 视觉 | 部署此模型，它使用潜在一致性模型 (LCM) 增强潜在 Diffusion 模型中的文本转图片生成，可通过更少的步骤更快生成高质量的图片。 | Colab 模型卡片 |
| LLaVA 1.5 | 视觉、语言 | 部署 LLaVA 1.5 模型。 | Colab 模型卡片 |
| Pytorch-ZipNeRF | 视觉、视频 | 训练 Pytorch-ZipNeRF 模型，它是 Pytorch 框架中最先进的 ZipNeRF 算法实现，专门用于根据 2D 图像进行高效准确的 3D 重建。 | Colab 模型卡片 |
| WizardLM | 语言 | 部署 WizardLM，它是 Microsoft 开发的大语言模型 (LLM)，通过调整 Evol-Instruct 方法对复杂指令进行微调。 | Colab 模型卡片 |
| WizardCoder | 语言 | 部署 WizardCoder，它是 Microsoft 开发的大语言模型 (LLM)，通过调整 Evol-Instruct 方法以适应代码域来对复杂指令进行微调。 | Colab 模型卡片 |
| Mixtral 8x7B | 语言 | 部署 Mixtral 8x7B 模型，它是 Mistral AI 开发的混合专家 (MoE) 大语言模型 (LLM)。它是一个仅使用解码器的模型，包含 467 亿个参数。据称它在许多基准上匹敌或优于 LLaMA 2 70B 和 GPT 3.5。 | Colab 模型卡片 |
| Llama 2（量化） | 语言 | 微调和部署 Meta 的 Llama 2 模型的量化版本。 | Colab 模型卡片 |
| LaMa (Large Mask Inpainting) | 视觉 | 部署 LaMa，它使用快速傅立叶卷积 (FFC)、高感受野感知损失和大型训练掩膜，可以实现高分辨率的图像修复。 | Colab 模型卡片 |
| AutoGluon | 表格 | 利用 AutoGluon，您可以为表格数据训练和部署高准确率的机器学习模型和深度学习模型。 | Colab 模型卡片 |
Model Garden 中提供的合作伙伴模型列表
下表列出了 Model Garden 中由 Google 合作伙伴提供的模型：
| 模型名称 | 模态 | 说明 | 快速入门 |
|---|---|---|---|
| Anthropic Claude 3 Sonnet | 语言 | 一款经过平衡处理的视觉和文本模型，融合了智能与速度，适合企业工作负载。该模型专为低成本、缩放式 AI 部署而设计。 | 模型卡片 |
| Anthropic Claude 3 Haiku | 语言 | Anthropic 最快且最紧凑的视觉和文本模型，可对简单查询进行快速响应。其旨在打造模仿真人互动的 AI 体验。 | 模型卡片 |
如何使用模型卡片
点击模型卡片可使用与其关联的模型。例如，您可以点击模型卡片来测试提示、调优模型、创建应用和查看代码示例。
如需了解如何使用与模型卡片关联的模型，请点击以下标签页之一：
测试提示
使用 Vertex AI PaLM API 模型卡片来测试提示。
在 Google Cloud 控制台中，转到 Model Garden 页面。
找到要测试的受支持模型，然后点击查看详细信息。
点击打开提示设计。
您将转到提示设计页面。
在提示符中，输入要测试的提示。
可选：配置模型参数。
点击提交。
调整模型
如需调整支持的模型，请使用 Vertex AI 流水线或笔记本。
使用流水线进行微调
BERT 和 T5-FLAN 模型支持使用流水线进行模型调整。
在 Google Cloud 控制台中，转到 Model Garden 页面。
在搜索模型中，输入 BERT 或 T5-FLAN，然后点击放大镜以进行搜索。
点击 T5-FLAN 或 BERT 模型卡片上的查看详细信息。
点击打开微调流水线。
您将进入 Vertex AI 流水线页面。
如需开始调整，请点击创建运行。
在笔记本中调整
大多数开源基础模型和可微调模型的模型卡都支持在笔记本中进行调整。
在 Google Cloud 控制台中，转到 Model Garden 页面。
找到要调节的支持模型，然后点击查看详细信息。
点击打开笔记本。
部署模型
稳定偏移模型的模型卡支持部署到端点。
在 Google Cloud 控制台中，转到 Model Garden 页面。
找到要部署的受支持模型。在其模型卡片上，点击查看详细信息。
点击部署。
系统会要求您将模型的副本保存到 Model Registry。
在模型名称中，输入模型的名称。
点击保存。
此时系统会显示部署到端点窗格。
端点定义如下：
- 端点名称：输入端点的名称。
- 区域：选择要在其中创建端点的区域。
- 访问权限：如需使端点可通过 REST API 访问，请选择 标准。如需创建与端点的专用连接，请选择 专用。
点击继续。
按照 Google Cloud 控制台中的说明操作，并配置模型设置。
点击继续。
可选：点击为此端点启用模型监控切换开关，以启用模型监控。
点击部署。
查看代码示例
特定于任务的解决方案模型的大多数模型卡都包含您可以复制和测试的代码示例。
在 Google Cloud 控制台中，转到 Model Garden 页面。
找到要查看其代码示例的支持模型，然后点击文档标签页。
页面会滚动到文档部分，其中嵌入了示例代码。
创建视觉应用
适用计算机视觉模型的模型卡支持创建视觉应用。
在 Google Cloud 控制台中，转到 Model Garden 页面。
在“任务”专用解决方案部分中查找要用于创建视觉应用的解决方案模型，然后点击查看详情。
点击构建应用。
您将进入 Vertex AI Vision。
在应用名称中，输入应用的名称，然后点击继续。
选择结算方案，然后点击创建。
您将进入 Vertex AI Vision Studio，可以继续创建计算机视觉应用。
价格
对于 Model Garden 中的开源模型，您需要为在 Vertex AI 上使用以下资源付费：
- 模型调优：您需要按与自定义训练相同的费率为使用的计算资源付费。请参阅自定义训练价格。
- 模型部署：您需要为将模型部署到端点所使用的计算资源付费。请参阅预测价格。
- Colab Enterprise：请参阅 Colab Enterprise 价格。
后续步骤
- 了解负责任的 AI 最佳实践和 Vertex AI 的安全过滤条件。
- 了解 Vertex AI 上的生成式 AI。
- 了解如何调整基础模型。