使用 Gemma 開放式模型

Gemma 是一系列輕量級生成式人工智慧 (AI) 開放式模型，您可以在應用程式、硬體、行動裝置或代管服務中執行 Gemma 模型。您也可以使用調整技術自訂這些模型，讓模型擅長執行您和使用者重視的任務。Gemma 模型是以 Gemini 模型為基礎，供 AI 開發社群擴充及進一步運用。

微調模型有助於提升模型在特定工作上的成效，由於 Gemma 模型系列中的模型是開放權重，因此您可以使用所選的 AI 架構和 Vertex AI SDK 調整任何模型。您可以開啟筆記本範例，使用 Model Garden 中 Gemma 模型資訊卡上的連結，微調 Gemma 模型。

您可以在 Vertex AI 中使用下列 Gemma 模型。 如要進一步瞭解及測試 Gemma 模型，請參閱 Model Garden 的模型資訊卡。

模型名稱	用途	Model Garden 模型資訊卡
Gemma 3n	支援多模態輸入，可處理文字、圖片、影片和音訊輸入內容，並生成文字輸出內容。	前往 Gemma 3n 模型資訊卡
Gemma 3	最適合文字生成和圖像理解工作，包括回答問題、摘要和推理。	前往 Gemma 3 模型資訊卡
Gemma 2	最適合生成文字、摘要和擷取資訊。	前往 Gemma 2 模型資訊卡
Gemma	最適合生成文字、摘要和擷取資訊。	前往 Gemma 模型資訊卡
CodeGemma	最適合生成及補全程式碼。	前往 CodeGemma 模型資訊卡
PaliGemma 2	最適合圖像說明和圖像問答工作。	前往 PaliGemma 2 模型資訊卡
PaliGemma	最適合圖像說明和圖像問答工作。	前往 PaliGemma 模型資訊卡
ShieldGemma 2	檢查合成和自然圖像的安全性，協助您建構穩健的資料集和模型。	前往 ShieldGemma 2 模型資訊卡
TxGemma	最適合用於治療預測工作，包括分類、迴歸或生成，以及推論工作。	前往 TxGemma 模型資訊卡
MedGemma	Gemma 3 個變體，經過訓練，可有效理解醫療文字和圖片。	前往 MedGemma 模型資訊卡
MedSigLIP	SigLIP 變體，經過訓練可將醫療圖片和文字編碼至通用嵌入空間。	前往 MedSigLIP 模型資訊卡
T5Gemma	非常適合各種生成式工作，包括回答問題、摘要和推理。	前往 T5Gemma 模型資訊卡

以下是幾個可使用 Gemma 的選項：

在 Vertex AI 中使用 Gemma

Vertex AI 提供代管平台，可快速建構及擴展機器學習專案，無須具備內部機器學習運作專業知識。您可以將 Vertex AI 做為下游應用程式，提供 Gemma 模型。舉例來說，您可能會從 Gemma 的 Keras 實作項目匯入權重。接著，您可以使用 Vertex AI 提供該版本的 Gemma，以取得預測結果。如果您需要端對端 MLOps 功能、加值機器學習功能，以及簡化開發作業的無伺服器體驗，建議使用 Vertex AI。

如要開始使用 Gemma，請參閱下列筆記本：

• 在 Vertex AI 中提供 Gemma 3n 服務

• 在 Vertex AI 中提供 Gemma 3 服務

• 在 Vertex AI 中提供 Gemma 2 服務

• 在 Vertex AI 中提供 Gemma 服務

• 使用 PEFT 微調 Gemma 3，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma 2，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma，然後從 Huggingface 部署至 Vertex AI

• 使用 KerasNLP 微調 Gemma，然後部署至 Vertex AI

• 在 Vertex AI 上使用 Ray 微調 Gemma，然後部署至 Vertex AI

• 使用 Hugging Face Transformers 執行 ShieldGemma 2 的本機推論

• 在 Vertex AI 中提供 MedGemma 服務

• 在 Vertex AI 中提供 MedSigLIP 服務

• 使用 Hugging Face Transformers 執行 T5Gemma 的本機推論

在其他 Google Cloud 產品中使用 Gemma

您可以將 Gemma 與其他 Google Cloud 產品搭配使用，例如 Google Kubernetes Engine 和 Dataflow。

搭配 GKE 使用 Gemma

Google Kubernetes Engine (GKE) 是代管 Kubernetes 的 Google Cloud 解決方案 ，可提供擴充性、安全性、復原能力和成本效益。如果您已投資 Kubernetes、貴機構擁有內部 MLOps 專業知識，或是需要精細控管複雜的 AI/ML 工作負載，且這些工作負載有獨特的安全性、資料管道和資源管理需求，建議採用這個選項。詳情請參閱 GKE 說明文件中的下列教學課程：

• 使用 vLLM 提供 Gemma
• 使用 TGI 供應 Gemma
• 使用 Triton 和 TensorRT-LLM 提供 Gemma
• 使用 JetStream 供應 Gemma

搭配使用 Gemma 與 Dataflow

您可以使用 Gemma 模型搭配 Dataflow 進行情緒分析。使用 Dataflow 執行採用 Gemma 模型的推論管道。詳情請參閱「使用 Gemma 開放模型執行推論管道」。

搭配使用 Gemma 與 Colab

您可以使用 Colaboratory 搭配 Gemma 建立 Gemma 解決方案。在 Colab 中，您可以搭配 PyTorch 和 JAX 等架構選項使用 Gemma。詳情請參閱：

• 開始使用 Keras 存取 Gemma。
• 開始使用 PyTorch 版 Gemma。
• 使用 Keras 透過 Gemma 進行基本微調。
• 使用 Keras 搭配 Gemma 進行分散式微調。

Gemma 模型大小和功能

Gemma 模型提供多種大小，您可以根據可用的運算資源、所需功能和執行位置，建構生成式 AI 解決方案。每個模型都有經過調整和未經調整的版本：

• 預先訓練 - 這個版本的模型未接受任何特定工作或指令的訓練，僅使用 Gemma 核心資料訓練集。我們不建議在未進行任何調整的情況下使用這個模型。

• 指令微調：這個版本的模型經過人類語言互動訓練，因此可以參與對話，類似於基本聊天機器人。

• 混合微調：這個版本的模型經過微調，可處理學術資料集，並接受自然語言提示。

參數越小，資源需求就越低，部署彈性也越大。

模型名稱	參數大小	輸入內容	輸出內容	調整後的版本	預定平台
Gemma 3n
Gemma 3n E4B	40 億個有效參數	文字、圖片和音訊	文字	預先訓練 調整指示	行動裝置和筆電
Gemma 3n E2B	20 億個有效參數	文字、圖片和音訊	文字	預先訓練 調整指示	行動裝置和筆電
Gemma 3
Gemma 27B	270 億次	文字和圖片	文字	預先訓練 調整指示	大型伺服器或伺服器叢集
Gemma 12B	120 億次	文字和圖片	文字	預先訓練 調整指示	高階桌上型電腦和伺服器
Gemma 4B	40 億	文字和圖片	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
Gemma 1B	10 億	文字	文字	預先訓練 調整指示	行動裝置和筆電
Gemma 2
Gemma 27B	270 億次	文字	文字	預先訓練 調整指示	大型伺服器或伺服器叢集
Gemma 9B	90 億人	文字	文字	預先訓練 調整指示	高階桌上型電腦和伺服器
Gemma 2B	20 億	文字	文字	預先訓練 調整指示	行動裝置和筆電
Gemma
Gemma 7B	70 億	文字	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
Gemma 2B	22 億	文字	文字	預先訓練 調整指示	行動裝置和筆電
CodeGemma
CodeGemma 7B	70 億	文字	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
CodeGemma 2B	20 億	文字	文字	預先訓練	桌上型電腦和小型伺服器
PaliGemma 2
PaliGemma 28B	280 億	文字和圖片	文字	預先訓練 微調混音	大型伺服器或伺服器叢集
PaliGemma 10B	100 億	文字和圖片	文字	預先訓練 微調混音	高階桌上型電腦和伺服器
PaliGemma 3B	30 億	文字和圖片	文字	預先訓練 微調混音	桌上型電腦和小型伺服器
PaliGemma
PaliGemma 3B	30 億	文字和圖片	文字	預先訓練 微調混音	桌上型電腦和小型伺服器
ShieldGemma 2
ShieldGemma 2	40 億	文字和圖片	文字	微調	桌上型電腦和小型伺服器
TxGemma
TxGemma 27B	270 億次	文字	文字	預先訓練 調整指示	大型伺服器或伺服器叢集
TxGemma 9B	90 億人	文字	文字	預先訓練 調整指示	高階桌上型電腦和伺服器
TxGemma 2B	20 億	文字	文字	預先訓練	行動裝置和筆電
MedGemma
MedGemma 27B	270 億次	文字和圖片	文字	僅限文字的指令調整 調整指示	大型伺服器或伺服器叢集
MedGemma 4B	40 億	文字和圖片	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
MedSigLIP
MedSigLIP	8 億	文字和圖片	嵌入	微調	行動裝置和筆電
T5Gemma
T5Gemma 9B-9B	180 億次	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma 9B-2B	110 億次	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma 2B-2B	40 億	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma XL-XL	40 億	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma M-L	20 億	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma L-L	10 億	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma B-B	0.6 億	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電
T5Gemma S-S	0.3 億	文字	文字	PrefixLM (預先訓練) PrefixLM (經指令調整) UL2，預先訓練 UL2 (經過指令調整)	行動裝置和筆電

我們使用 Google 專為 v5e TPU 打造的硬體，以及 NVIDIA 的 L4(G2 Standard)、A100(A2 Standard)、H100(A3 High) GPU 硬體，測試 Gemma 模型。

後續步驟

• 請參閱 Gemma 說明文件。