使用 Gemma 開放式模型

Gemma 是一組輕量級生成式人工智慧 (AI) 開放式模型。Gemma 模型可在應用程式、硬體、行動裝置或代管服務中執行。您也可以使用調整技巧自訂這些模型，讓模型能執行對您和使用者重要的工作。Gemma 模型以 Gemini 模型為基礎，可供 AI 開發社群擴充及進一步開發。

微調可改善模型在特定任務上的效能，由於 Gemma 模型系列中的模型採用開放式權重，因此您可以使用所選 AI 架構和 Vertex AI SDK 調整任何模型。您可以透過 Model Garden 中 Gemma 模型資訊卡上的連結，開啟筆記本範例，進而微調 Gemma 模型。

下列 Gemma 模型可與 Vertex AI 搭配使用。如要進一步瞭解 Gemma 模型並進行測試，請參閱 Model Garden 的模型資訊卡。

模型名稱	用途	Model Garden 模型資訊卡
Gemma 3	最適合文字生成和圖像理解工作，包括回答問題、摘要和推論。	前往 Gemma 3 模型資訊卡
Gemma 2	最適合生成文字、摘要或擷取資訊。	前往 Gemma 2 模型資訊卡
Gemma	最適合生成文字、摘要或擷取資訊。	前往 Gemma 模型資訊卡
CodeGemma	最適合用於生成和補全程式碼。	前往 CodeGemma 模型資訊卡
PaliGemma 2	最適合圖像字幕和圖像問題回答任務。	前往 PaliGemma 2 模型資訊卡
PaliGemma	最適合圖像字幕和圖像問題回答任務。	前往 PaliGemma 模型資訊卡
ShieldGemma 2	檢查合成和自然圖片的安全性，協助您建立完善的資料集和模型。	前往 ShieldGemma 2 型號資訊卡
TxGemma	最適合用於治療預測工作，包括分類、迴歸或產生，以及推論工作。	前往 TxGemma 模型資訊卡

以下是可使用 Gemma 的幾個選項：

搭配使用 Gemma 與 Vertex AI

Vertex AI 提供代管平台，可讓您快速建構及擴充機器學習專案，無須具備機器學習運作專業知識。您可以使用 Vertex AI 做為提供 Gemma 模型的下游應用程式。舉例來說，您可以從 Gemma 的 Keras 實作項目移植權重。接著，您可以使用 Vertex AI 提供該版本的 Gemma 來取得預測結果。如果您想要使用端對端 MLOps 功能、附加價值的機器學習功能，以及無伺服器體驗來簡化開發流程，建議您使用 Vertex AI。

如要開始使用 Gemma，請參閱下列 Notebook：

• 在 Vertex AI 中提供 Gemma 3

• 在 Vertex AI 中提供 Gemma 2

• 在 Vertex AI 中提供 Gemma

• 使用 PEFT 微調 Gemma 3，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma 2，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma，然後從 Huggingface 部署至 Vertex AI

• 使用 KerasNLP 微調 Gemma，然後部署至 Vertex AI

• 在 Vertex AI 上使用 Ray 對 Gemma 進行精細調整，然後部署至 Vertex AI

• 使用 ShieldGemma 2 搭配 Hugging Face 轉換器執行本機推論

在其他 Google Cloud 產品中使用 Gemma

您可以將 Gemma 與其他 Google Cloud 產品搭配使用，例如 Google Kubernetes Engine 和 Dataflow。

搭配 GKE 使用 Gemma

Google Kubernetes Engine (GKE) 是 Google Cloud 代管 Kubernetes 的解決方案，可提供擴充性、安全性、彈性和成本效益。如果您已投資 Kubernetes、貴機構擁有內部 MLOps 專業知識，或是需要針對複雜的 AI/機器學習工作負載，以獨特的安全性、資料管道和資源管理需求進行精細控管，建議您採用這個選項。如需更多資訊，請參閱 GKE 說明文件中的下列教學課程：

• 透過 vLLM 提供 Gemma
• 透過 TGI 服務 Gemma
• 使用 Triton 和 TensorRT-LLM 為 Gemma 提供服務
• 透過 JetStream 提供 Gemma

搭配 Dataflow 使用 Gemma

您可以搭配 Dataflow 使用 Gemma 模型進行情緒分析。使用 Dataflow 執行使用 Gemma 模型的推論管道。詳情請參閱「使用 Gemma 開放式模型執行推論管道」。

搭配 Colab 使用 Gemma

您可以使用 Gemma 與 Colaboratory 建立 Gemma 解決方案。在 Colab 中，您可以使用 Gemma 搭配 PyTorch 和 JAX 等架構選項。如需更多資訊，請參閱：

• 使用 Keras 開始使用 Gemma。
• 使用 PyTorch 開始使用 Gemma。
• 使用 Keras 搭配 Gemma 進行基本調整。
• 使用 Keras 搭配 Gemma 進行分散式調整。

Gemma 模型大小和功能

Gemma 模型有不同大小，您可以根據可用的運算資源、所需功能和執行位置，建立生成式 AI 解決方案。每個模型都有經過調整和未經調整的版本：

• 預先訓練：這個版本的模型並未針對 Gemma 核心資料訓練集以外的任何特定任務或操作說明進行訓練。我們不建議在未進行調整的情況下使用這個模型。

• 按照指示微調：這個版本的模型是透過人類語言互動進行訓練，因此可參與對話，類似於基本聊天機器人。

• 混合微調：這個版本的模型是根據學術資料集的混合資料進行微調，並接受自然語言提示。

參數大小越小，資源需求就越低，部署作業的彈性也越高。

模型名稱	參數大小	輸入內容	輸出內容	調校版本	預定平台
Gemma 3
Gemma 27B	270 億	文字和圖片	文字	預先訓練 調整指示	大型伺服器或伺服器叢集
Gemma 12B	120 億	文字和圖片	文字	預先訓練 調整指示	高階桌上型電腦和伺服器
Gemma 4B	40 億	文字和圖片	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
Gemma 1B	10 億	文字	文字	預先訓練 調整指示	行動裝置和筆電
Gemma 2
Gemma 27B	270 億	文字	文字	預先訓練 調整指示	大型伺服器或伺服器叢集
Gemma 9B	90 億人	文字	文字	預先訓練 調整指示	高階桌上型電腦和伺服器
Gemma 2B	20 億	文字	文字	預先訓練 調整指示	行動裝置和筆電
Gemma
Gemma 7B	70 億	文字	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
Gemma 2B	22 億	文字	文字	預先訓練 調整指示	行動裝置和筆電
CodeGemma
CodeGemma 7B	70 億	文字	文字	預先訓練 調整指示	桌上型電腦和小型伺服器
CodeGemma 2B	20 億次	文字	文字	預先訓練	桌上型電腦和小型伺服器
PaliGemma 2
PaliGemma 28B	280 億	文字和圖片	文字	預先訓練 精細調校的混音	大型伺服器或伺服器叢集
PaliGemma 10B	100 億	文字和圖片	文字	預先訓練 精細調校的混音	高階桌上型電腦和伺服器
PaliGemma 3B	30 億	文字和圖片	文字	預先訓練 精細調校的混音	桌上型電腦和小型伺服器
PaliGemma
PaliGemma 3B	30 億	文字和圖片	文字	預先訓練 精細調校的混音	桌上型電腦和小型伺服器
ShieldGemma 2
ShieldGemma 2	40 億	文字和圖片	文字	經過微調	桌上型電腦和小型伺服器
TxGemma
TxGemma 27B	270 億	文字	文字	預先訓練 調整指示	大型伺服器或伺服器叢集
TxGemma 9B	90 億人	文字	文字	預先訓練 調整指示	高階桌上型電腦和伺服器
TxGemma 2B	20 億次	文字	文字	預先訓練	行動裝置和筆電

Gemma 已使用 Google 專用 v5e TPU 硬體和 NVIDIA 的 L4(G2 標準)、A100(A2 標準)、H100(A3 高效能) GPU 硬體進行測試。

後續步驟

• 請參閱 Gemma 說明文件。