Hugging Face 提供預先訓練模型、微調指令碼和開發用 API，讓您更輕鬆地建立及探索 LLM。模型園地可以提供 Hugging Face 的文字嵌入、文字轉圖像、文字生成和圖像文字轉文字模型。
Hugging Face 模型部署選項
您可以在 Vertex AI 或 Google Kubernetes Engine (GKE) 中部署支援的 Hugging Face 模型。選擇的部署選項取決於您使用的模型，以及您希望對工作負載的控管程度。
在 Vertex AI 中部署
Vertex AI 提供代管平台，可建構及擴展機器學習專案，不必具備內部機器學習運作專業知識。您可以將 Vertex AI 做為下游應用程式，提供 Hugging Face 模型。如果您需要端對端 MLOps 功能、加值機器學習功能，以及簡化開發作業的無伺服器體驗，建議使用 Vertex AI。
如要在 Vertex AI 中部署支援的 Hugging Face 模型，請前往 Model Garden。
前往「Hugging Face 中的開放原始碼模型」部分，然後按一下「顯示更多」。
找出並選取要部署的模型。
選用：在「部署環境」部分，選取「Vertex AI」。
選用：指定部署作業詳細資料。
按一下 [Deploy] (部署)。
如要開始使用，請參閱下列範例：
- 部分模型有詳細的模型資訊卡，且部署設定經過 Google 驗證，例如 google/gemma-3-27b-it、meta-llama/Llama-4-Scout-17B-16E-Instruct、Qwen/QwQ-32B、BAAI/bge-m3、intfloat/multilingual-e5-large-instruct、black-forest-labs/FLUX.1-dev 和 HuggingFaceFW/fineweb-edu-classifier。
- 部分模型已通過 Google 驗證部署設定，但沒有詳細的模型資訊卡，例如 NousResearch/Genstruct-7B。
- 部分模型會自動產生部署設定。
- 部分模型會根據模型中繼資料自動生成部署設定，例如文字生成、文字嵌入、文字轉圖像生成和圖像文字轉文字的最新熱門模型。
在 GKE 中部署
Google Kubernetes Engine (GKE) 是代管 Kubernetes 的 Google Cloud 解決方案 ，可提供擴充性、安全性、復原能力和成本效益。如果您已投資 Kubernetes、貴機構擁有內部 MLOps 專業知識，或是需要精細控管複雜的 AI/ML 工作負載，且這些工作負載有獨特的安全性、資料管道和資源管理需求，建議採用這個選項。
如要在 GKE 中部署支援的 Hugging Face 模型，請前往 Model Garden。
前往「Hugging Face 中的開放原始碼模型」部分，然後按一下「顯示更多」。
找出並選取要部署的模型。
在「部署環境」部分，選取「GKE」。
按照部署指示操作。
如要開始使用，請參閱下列範例：
- 部分模型提供詳細的模型資訊卡和經過驗證的部署設定，例如 google/gemma-3-27b-it、meta-llama/Llama-4-Scout-17B-16E-Instruct 和 Qwen/QwQ-32B。
- 部分模型已驗證部署設定，但沒有詳細模型資訊卡，例如 NousResearch/Genstruct-7B。
「由 Vertex AI 支援」是什麼意思？
我們會自動將最新、最熱門的 Hugging Face 模型新增至 Model Garden。 這個程序包括自動為每個模型產生部署設定。
為解決有關漏洞和惡意程式碼的疑慮，我們每天都會使用 Hugging Face 惡意軟體掃描器，評估每個 Hugging Face 模型存放區中檔案的安全性。如果模型存放區遭檢舉含有惡意軟體，我們會立即從 Hugging Face 資源庫頁面移除該模型。
模型標示為「Vertex AI 支援」表示該模型已通過測試，可在 Vertex AI 上部署，但我們無法保證模型沒有安全漏洞或惡意程式碼。建議您先自行進行安全驗證，再將模型部署到正式版環境。
針對特定用途調整部署設定
一鍵部署選項提供的預設部署設定無法滿足所有需求，因為用途廣泛，且延遲時間、輸送量、成本和準確度等方面的優先順序各不相同。
因此，您可以先透過一鍵部署功能進行實驗，建立基準，然後使用 Colab 筆記本 (vLLM、TGI、TEI、HF pytorch 推論) 或 Python SDK，微調部署設定。這種疊代方法可讓您根據確切需求調整部署作業，為特定應用程式爭取最佳效能。
如果 Model Garden 未列出您想要的模型，該怎麼辦？
如果想尋找特定模型，但 Model Garden 中未列出該模型，表示 Vertex AI 不支援該模型。以下各節說明原因和解決方法。
為什麼沒有列出型號？
模型可能未出現在 Model Garden 的原因如下：
- 並非熱門趨勢模型：我們通常會優先處理廣受歡迎且社群興趣濃厚的大型語言模型。
- 不相容：模型可能無法搭配支援的服務容器運作。例如
text-generation和image-text-to-text模型的 vLLM 容器。 - 不支援的管道工作：模型含有目前尚未完全支援的工作。我們支援下列工作：
text-generation、text2text-generation、text-to-image、feature-extraction、sentence-similarity和image-text-to-text。
有哪些選項？
您仍可使用 Model Garden 中的模型：
- 使用 Colab 筆記本自行部署：我們提供下列 Colab 筆記本：(vLLM、TGI、TEI、HF pytorch 推論)，可彈性部署模型並自訂設定。這樣一來，您就能完全掌控整個流程。
- 提交功能要求：與支援工程師合作，透過 Model Garden 提交功能要求，或參閱 Vertex Generative AI 支援，取得其他協助。
- 留意最新消息：我們會定期在 Model Garden 中新增模型。 你需要的模型可能在未來推出，請定期回來查看！