Gemma 是一组轻量级生成式人工智能 (AI) 开放模型。Gemma 模型可以在应用以及硬件、移动设备或托管服务上运行。您还可以使用调优技术自定义这些模型,使其善于执行您和您用户的重要任务。Gemma 模型基于 Gemini 模型,旨在供 AI 开发社区进行扩展和改进。
微调有助于提高模型在特定任务中的性能。由于 Gemma 模型系列中的模型是开放权重,因此您可以使用自己选择的 AI 框架和 Vertex AI SDK 调优任何模型。您可以使用 Model Garden 中 Gemma 模型卡片上的链接打开一个笔记本示例,以对 Gemma 模型进行微调。
以下 Gemma 模型可与 Vertex Generative AI 搭配使用。如需详细了解和测试 Gemma 模型,请参阅其 Model Garden 模型卡片。
模型名称 | 使用场景 | Model Garden 模型卡片 |
---|---|---|
Gemma | 最适合用于文本生成、摘要和提取。 | 前往 Gemma 模型卡片 |
CodeGemma | 最适合用于生成和补全代码。 | 前往 CodeGemma 模型卡片 |
PaliGemma | 最适合图片说明任务和视觉问答任务。 | 前往 PaliGemma 模型卡片 |
以下是您可以使用 Gemma 的一些选项:
将 Gemma 与 Vertex Generative AI 搭配使用
Vertex Generative AI 提供了一个托管式平台,无需内部 MLOps 专业知识,即可快速构建和扩缩机器学习项目。您可以将 Vertex Generative AI 用作提供 Gemma 模型的下游应用。例如,您可以从 Gemma 的 Keras 实现中移植权重。接下来,您可以使用 Vertex AI 提供该版本的 Gemma 以获取预测结果。如果您需要端到端 MLOps 功能、增值机器学习功能以及无服务器体验(用于简化开发),我们建议您使用 Vertex Generative AI。
如需开始使用 Gemma,请参阅以下笔记本:
在其他 Google Cloud 产品中使用 Gemma
您可以将 Gemma 与其他 Google Cloud 产品(例如 Google Kubernetes Engine 和 Dataflow)结合使用。
将 Gemma 与 GKE 搭配使用
Google Kubernetes Engine (GKE) 是 Google Cloud 的托管式 Kubernetes 解决方案,它提供可伸缩性、安全性、弹性和成本效益。如果您已有 Kubernetes 投资,您的组织拥有内部 MLOps 专业知识,或者您需要对复杂的 AI/机器学习工作负载进行精细控制并在安全性、数据流水线和资源管理方面具有独特的要求,则建议您使用此选项。如需了解详情,请参阅 GKE 文档中的以下教程:
- 使用 vLLM 提供 Gemma
- 使用 TGI 提供 Gemma
- 使用 Triton 和 TensorRT-LLM 提供 Gemma
- 使用 JetStream 提供 Gemma
- 使用 Saxml 提供 Gemma
将 Gemma 与 Dataflow 搭配使用
您可以将 Gemma 模型与 Dataflow 配合使用,以进行情感分析。使用 Dataflow 运行使用 Gemma 模型的推理流水线。如需了解详情,请参阅使用 Gemma 开放模型运行推理流水线。
将 Gemma 与 Colab 搭配使用
您可以将 Gemma 与 Colaboratory 结合使用来创建 Gemma 解决方案。在 Colab 中,您可以将 Gemma 与 PyTorch 和 JAX 等框架选项搭配使用。如需了解详情,请参阅:
Gemma 模型大小和功能
Gemma 模型有多种大小,因此您可以根据可用的计算资源、所需的功能和运行位置来构建生成式 AI 解决方案。每个模型都有经过调优和未调优的版本:
预先训练 - 此版本的模型未针对 Gemma 核心数据训练集以外的任何特定任务或指令进行训练。我们不建议您在未执行某些调优的情况下使用此模型。
指令调优 - 此版本的模型通过人类语言交互进行训练,可以参与对话,类似于基本的聊天机器人。
混合微调 - 此版本的模型针对混合学术数据集进行了微调,并接受自然语言提示。
如果您需要在 Gemma 2B 和 Gemma 7B 之间做出选择,请考虑使用 Gemma 2B。Gemma 2B 的参数大小较低意味着与 Gemma 7B 相比具有较低的资源要求,以及较强的部署灵活性。
模型名称 | 参数大小 | 输入 | 输出 | 调优后的版本 | 目标平台 |
---|---|---|---|---|---|
Gemma 2B | 22 亿 | 文本 | 文本 |
|
移动设备和笔记本电脑 |
Gemma 7B | 70 亿 | 文本 | 文本 |
|
桌面设备和小型服务器 |
CodeGemma 2B | 20 亿 | 文本 | 文本 |
|
桌面设备和小型服务器 |
CodeGemma 7B | 70 亿 | 文本 | 文本 |
|
桌面设备和小型服务器 |
PaliGemma 3B | 30 亿 | 文本 | 文本 |
|
桌面设备和小型服务器 |
Gemma 已使用 Google 专门打造的 v5e TPU 硬件和 NVIDIA 的 L4(G2 标准)、A100(A2 标准)、H100(A3 标准)GPU 硬件进行了测试。