使用 Gemma 开放模型

Gemma 是一组轻量级生成式人工智能 (AI) 开放模型。Gemma 模型可以在应用以及硬件、移动设备或托管服务上运行。您还可以使用调优技术自定义这些模型，使其善于执行您和您用户的重要任务。Gemma 模型基于 Gemini 模型，旨在供 AI 开发社区进行扩展和改进。

微调有助于提高模型在特定任务中的表现。由于 Gemma 模型系列中的模型是开放权重，因此您可以使用自己选择的 AI 框架和 Vertex AI SDK 调优任何模型。您可以打开笔记本示例，使用 Model Garden 中的 Gemma 模型卡片上提供的链接微调 Gemma 模型。

以下 Gemma 模型可用于 Vertex AI。如需详细了解并测试 Gemma 模型，请参阅其 Model Garden 模型卡片。

模型名称 使用场景 Model Garden 模型卡片
Gemma 最适合用于文本生成、摘要和提取。 转到 Gemma 模型卡片
CodeGemma 最适合用于生成和补全代码。 转到 CodeGemma 模型卡片

以下是您可以使用 Gemma 的一些选项：

将 Gemma 与 Vertex AI 搭配使用

Vertex AI 提供了一个托管式平台，无需内部 MLOps 专业知识，即可快速构建和扩缩机器学习项目。您可以将 Vertex AI 用作提供 Gemma 模型的下游应用。例如，您可以从 Gemma 的 Keras 实现中移植权重。接下来，您可以使用 Vertex AI 提供该版本的 Gemma 以获取预测结果。如果您需要端到端 MLOps 功能、增值机器学习功能以及无服务器体验（用于简化开发），我们建议您使用 Vertex AI。

如需开始使用 Gemma，请参阅以下笔记本：

在其他 Google Cloud 产品中使用 Gemma

您可以将 Gemma 与其他 Google Cloud 产品（例如 Google Kubernetes Engine 和 Dataflow）结合使用。

将 Gemma 与 GKE 搭配使用

Google Kubernetes Engine (GKE) 是 Google Cloud 的托管式 Kubernetes 解决方案，它提供可伸缩性、安全性、弹性和成本效益。如果您已有 Kubernetes 投资，您的组织拥有内部 MLOps 专业知识，或者您需要对复杂的 AI/机器学习工作负载进行精细控制并在安全性、数据流水线和资源管理方面具有独特的要求，则建议您使用此选项。如需了解详情，请参阅 GKE 文档中的以下教程：

将 Gemma 与 Dataflow 搭配使用

您可以将 Gemma 模型与 Dataflow 配合使用，以进行情感分析。使用 Dataflow 运行使用 Gemma 模型的推理流水线。如需了解详情，请参阅使用 Gemma 开放模型运行推理流水线。

将 Gemma 与 Colab 搭配使用

您可以将 Gemma 与 Colaboratory 结合使用来创建 Gemma 解决方案。在 Colab 中，您可以将 Gemma 与 PyTorch 和 JAX 等框架选项搭配使用。如需了解详情，请参阅：

Gemma 模型大小和功能

Gemma 模型有多种大小，因此您可以根据可用的计算资源、所需的功能和运行位置来构建生成式 AI 解决方案。每个模型都有经过调优和未调优的版本：

  • 预先训练 - 此版本的模型未针对 Gemma 核心数据训练集以外的任何特定任务或指令进行训练。我们不建议您在未执行某些调优的情况下使用此模型。

  • 指令调优 - 此版本的模型通过人类语言交互进行训练，可以参与对话，类似于简单的聊天机器人。

如果您需要在 Gemma 2B 和 Gemma 7B 之间做出决定，请考虑使用 Gemma 2B。Gemma 2B 的参数大小较低意味着与 Gemma 7B 相比具有较低的资源要求，以及较强的部署灵活性。

模型名称 参数大小 输入 输出 调优后的版本 目标平台
Gemma 2B 22 亿 文本 文本
  • 预先训练
  • 指令调优
 移动设备和笔记本电脑
Gemma 7B 70 亿 文本 文本
  • 预先训练
  • 指令调优
 桌面设备和小型服务器
CodeGemma 2B 20 亿 文本 文本
  • 预先训练
 桌面设备和小型服务器
CodeGemma 7B 70 亿 文本 文本
  • 预先训练
  • 指令调优
 桌面设备和小型服务器

Gemma 已使用 Google 专门打造的 v5e TPU 硬件和 NVIDIA 的 L4（G2 标准）、A100（A2 标准）、H100（A3 标准）GPU 硬件进行了测试。