使用 Gemma 开放模型

Gemma 是一组轻量级生成式人工智能 (AI) 开放模型。Gemma 模型可以在应用以及硬件、移动设备或托管服务上运行。您还可以使用调优技术自定义这些模型，使其善于执行您和您用户的重要任务。Gemma 模型基于 Gemini 模型，旨在供 AI 开发社区进行扩展和改进。

微调有助于提高模型在特定任务中的表现。由于 Gemma 模型系列中的模型是开放权重，因此您可以使用自己选择的 AI 框架和 Vertex AI SDK 调优任何模型。您可以使用 Model Garden 中的 Gemma 模型卡片上提供的链接，打开一个笔记本示例来微调 Gemma 模型。

以下 Gemma 模型可与 Vertex AI 搭配使用。如需详细了解和测试 Gemma 模型，请参阅其 Model Garden 模型卡片。

模型名称	使用场景	Model Garden 模型卡片
Gemma 2	最适合用于文本生成、总结和提取。	前往 Gemma 2 模型卡片
Gemma	最适合用于文本生成、总结和提取。	前往 Gemma 模型卡片
CodeGemma	最适合生成代码和代码补全。	前往 CodeGemma 模型卡片
PaliGemma	最适合图片说明任务和视觉问答任务。	前往 PaliGemma 模型卡片

以下是您可以使用 Gemma 的一些选项：

将 Gemma 与 Vertex AI 搭配使用

Vertex AI 提供了一个托管式平台，无需内部 MLOps 专业知识，即可快速构建和扩缩机器学习项目。您可以将 Vertex AI 用作提供 Gemma 模型的下游应用。例如，您可以从 Gemma 的 Keras 实现中移植权重。接下来，您可以使用 Vertex AI 提供该版本的 Gemma 以获取预测结果。如果您需要端到端 MLOps 功能、增值机器学习功能以及无服务器体验（用于简化开发），我们建议您使用 Vertex AI。

如需开始使用 Gemma，请参阅以下笔记本：

• 在 Vertex AI 中提供 Gemma

• 使用 PEFT 微调 Gemma，然后从 Vertex 部署到 Vertex AI

• 使用 PEFT 微调 Gemma，然后从 Huggingface 部署到 Vertex AI

• 使用 KerasNLP 微调 Gemma，然后部署到 Vertex AI

• 使用 Ray on Vertex AI 微调 Gemma 模型，然后将模型部署到 Vertex AI

在其他 Google Cloud 产品中使用 Gemma

您可以将 Gemma 与其他 Google Cloud 产品（例如 Google Kubernetes Engine 和 Dataflow）结合使用。

将 Gemma 与 GKE 搭配使用

Google Kubernetes Engine (GKE) 是托管式 Kubernetes 的 Google Cloud 解决方案，它提供可伸缩性、安全性、弹性和成本效益。如果您已有 Kubernetes 投资，您的组织拥有内部 MLOps 专业知识，或者您需要对复杂的 AI/机器学习工作负载进行精细控制并在安全性、数据流水线和资源管理方面具有独特的要求，则建议您使用此选项。如需了解详情，请参阅 GKE 文档中的以下教程：

• 使用 vLLM 提供 Gemma
• 使用 TGI 提供 Gemma
• 使用 Triton 和 TensorRT-LLM 提供 Gemma
• 使用 JetStream 提供 Gemma
• 使用 Saxml 提供 Gemma

将 Gemma 与 Dataflow 搭配使用

您可以将 Gemma 模型与 Dataflow 配合使用，以进行情感分析。使用 Dataflow 运行使用 Gemma 模型的推理流水线。如需了解详情，请参阅使用 Gemma 开放模型运行推理流水线。

将 Gemma 与 Colab 搭配使用

您可以将 Gemma 与 Colaboratory 结合使用来创建 Gemma 解决方案。在 Colab 中，您可以将 Gemma 与 PyTorch 和 JAX 等框架选项搭配使用。如需了解详情，请参阅：

• 通过 Keras 开始使用 Gemma。
• 通过 PyTorch 开始使用 Gemma。
• 使用 Keras 通过 Gemma 进行基本调优。
• 使用 Keras 通过 Gemma 进行分布式调优。

Gemma 模型大小和功能

Gemma 模型有多种大小，因此您可以根据可用的计算资源、所需的功能和运行位置来构建生成式 AI 解决方案。每个模型都有经过调优和未调优的版本：

• 预先训练 - 此版本的模型未针对 Gemma 核心数据训练集以外的任何特定任务或指令进行训练。我们不建议您在未执行某些调优的情况下使用此模型。

• 指令调优 - 此版本的模型通过人类语言交互进行训练，可以参与对话，类似于基本的聊天机器人。

• 混合微调 - 此版本的模型针对混合学术数据集进行了微调，并可接受自然语言提示。

参数值越小，资源要求就越低，部署灵活性则会更高。

模型名称	参数大小	输入	输出	调优后的版本	目标平台
Gemma 2
Gemma 27B	270 亿	文本	文本	预先训练 指令调优	大型服务器或服务器集群
Gemma 9B	9 个十亿	文本	文本	预先训练 指令调优	高端桌面设备和服务器
Gemma 2B	20 亿	文本	文本	预先训练 指令调优	移动设备和笔记本电脑
Gemma
Gemma 7B	70 亿	文本	文本	预先训练 指令调优	桌面设备和小型服务器
Gemma 2B	22 亿	文本	文本	预先训练 指令调优	移动设备和笔记本电脑
CodeGemma
CodeGemma 7B	70 亿	文本	文本	预先训练 指令调优	桌面设备和小型服务器
CodeGemma 2B	20 亿	文本	文本	预先训练	桌面设备和小型服务器
PaliGemma
PaliGemma 3B	30 亿	文本	文本	预先训练 混合微调	桌面设备和小型服务器

Gemma 已使用 Google 专门打造的 v5e TPU 硬件和 NVIDIA 的 L4 (G2 Standard)、A100 (A2 Standard)、H100 (A3 High) GPU 硬件进行了测试。

后续步骤

• 请参阅 Gemma 文档。