Vertex AI 支援精選的開放原始碼模型清單，並將這些模型視為代管模型。這些開放模型可搭配 Vertex AI 做為模型即服務 (MaaS) 使用，並以代管 API 形式提供。使用代管開放式模型時，您仍會將要求傳送至 Vertex AI 端點。代管開放模型是無伺服器模型，因此不需要佈建或管理基礎架構。
您可以使用 Model Garden 探索代管開放模型。您也可以使用 Model Garden 部署模型。詳情請參閱「探索 Model Garden 中的 AI 模型」。
開放式模型
Vertex AI Model Garden (MaaS) 提供下列開放式模型做為代管 API：
| 模型名稱 | 模態 | 說明 | 快速入門導覽課程 |
|---|---|---|---|
| gpt-oss 120B | 語言 | 120B 模型，在推理工作方面表現出色。 | Model Card |
| gpt-oss 20B | 語言 | 這個 200 億參數模型經過最佳化調整，可在消費型和邊緣硬體上有效率地部署及執行。 | Model Card |
| Qwen3-Next-80B Thinking | 語言、代碼 | Qwen3-Next 系列模型之一，專門用於解決複雜問題和深入推理。 | Model Card |
| Qwen3-Next-80B Instruct | 語言、代碼 | Qwen3-Next 系列模型，專門用於執行特定指令。 | Model Card |
| Qwen3 Coder | 語言、代碼 | 專為進階軟體開發工作設計的開放權重模型。 | Model Card |
| Qwen3 235B | 語言 | 這項開放權重的模型具備「混合思考」能力，可在有條理的推理和快速對話之間切換。 | Model Card |
| DeepSeek-V3.1 | 語言 | DeepSeek 的混合模型，支援思考模式和非思考模式。 | Model Card |
| DeepSeek R1 (0528) | 語言 | DeepSeek 最新版的 DeepSeek R1 模型。 | Model Card |
| Llama 4 Maverick 17B-128E | 語言、視覺 | 這是最大且最強大的 Llama 4 模型，具備程式設計、推論和圖像功能。Llama 4 Maverick 17B-128E 是多模態模型，採用混合專家 (MoE) 架構和早期融合技術。 | Model Card |
| Llama 4 Scout 17B-16E | 語言、視覺 | Llama 4 Scout 17B-16E 在同級模型中表現優異，在多項基準測試中，都優於先前的 Llama 版本和其他開放原始碼與專有模型。Llama 4 Scout 17B-16E 是多模態模型，採用混合專家 (MoE) 架構和早期融合技術。 | Model Card |
| Llama 3.3 | 語言 | Llama 3.3 是純文字 70B 指令微調模型，相較於 Llama 3.1 70B 和 Llama 3.2 90B，用於純文字應用程式時效能更佳。此外，在某些應用程式中，Llama 3.3 70B 的效能接近 Llama 3.1 405B。 | Model Card |
| Llama 3.2 (預覽版) | 語言、視覺 | 中型 90B 多模態模型，可支援圖像推理，例如圖表分析和圖像說明。 | Model Card |
| Llama 3.1 | 語言 |
這是一系列多語言 LLM，專為多語言對話用途最佳化，在常見的業界基準中，表現優於許多可用的開放原始碼和封閉式聊天模型。 Llama 3.1 405B 現已正式發布 (GA)。 Llama 3.1 8B 和 Llama 3.1 70B 均為預先發布版。 |
Model Card |
Vertex AI Model Garden (MaaS) 提供下列開放式嵌入模型做為代管 API：
| 模型名稱 | 說明 | 輸出尺寸 | 序列長度上限 | 支援的文字語言 | 快速入門導覽課程 |
|---|---|---|---|---|---|
| multilingual-e5-small | 屬於 E5 系列文字嵌入模型。小型變體包含 12 個圖層。 | 最多 384 個 | 512 個權杖 | 支援的語言 | Model Card |
| multilingual-e5-large | 屬於 E5 系列文字嵌入模型。大型變體包含 24 層。 | 最多 1024 個 | 512 個權杖 | 支援的語言 | Model Card |
區域和全域端點
如果是區域端點，系統會從您指定的區域提供要求。如有資料落地規定，或模型不支援全域端點，請使用區域端點。
使用全域端點時，Google 可以從您所用模型支援的任何區域處理及提供要求。在某些情況下，這可能會導致延遲時間變長。全域端點有助於提升整體可用性，並減少錯誤。
使用全域端點時，價格與區域端點相同。不過，全球端點的配額和支援的模型功能可能與區域端點不同。詳情請參閱相關的第三方模型頁面。
指定全域端點
如要使用全域端點，請將地區設為 global。
舉例來說，curl 指令的要求網址採用下列格式：
https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME
Vertex AI SDK 預設使用區域端點。將區域設為 GLOBAL，即可使用全域端點。
限制全球 API 端點用量
如要強制使用區域端點，請使用constraints/gcp.restrictEndpointUsage機構政策限制，封鎖對全域 API 端點的要求。詳情請參閱「限制端點用量」一文。
授予使用者開放模型的存取權
如要啟用開放模型並提出提示要求， Google Cloud管理員必須設定必要權限，並確認機構政策允許使用必要 API。
設定使用開放模型的必要權限
如要使用開放模型，必須具備下列角色和權限：
您必須具備「消費者採購授權管理員」身分與存取權管理 (IAM) 角色。獲得這項角色的使用者，都能在 Model Garden 中啟用開放模型。
您必須具備「
aiplatform.endpoints.predict」權限。Vertex AI 使用者 IAM 角色已具備此權限。詳情請參閱「Vertex AI 使用者」和「存取權控管」。
主控台
gcloud
-
In the Google Cloud console, activate Cloud Shell.
授予啟用 Model Garden 開放模型所需的「消費者採購授權管理員」角色
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager授予 Vertex AI 使用者角色，其中包含提出提示要求所需的
aiplatform.endpoints.predict權限：gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/aiplatform.user將
PRINCIPAL替換為主體的 ID。ID 格式為user|group|serviceAccount:email或domain:domain，例如user:cloudysanfrancisco@gmail.com、group:admins@example.com、serviceAccount:test123@example.domain.com或domain:example.domain.com。輸出內容是政策繫結清單，包含下列項目：
- members: - user:PRINCIPAL role: roles/roles/consumerprocurement.entitlementManager詳情請參閱「授予單一角色」 和「
gcloud projects add-iam-policy-binding」。
設定開放模型存取權的機構政策
如要啟用開放模型，機構政策必須允許下列 API：Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
如果貴機構設定機構政策來限制服務用量，機構管理員就必須設定機構政策，確認允許使用 cloudcommerceconsumerprocurement.googleapis.com。
此外，如果您的機構政策限制在 Model Garden 中使用模型，則政策必須允許存取開放模型。詳情請參閱控管模型存取權。
開放模型法規遵循
使用 Vertex AI 將開放式模型做為受管理 API 時，Vertex AI 生成式 AI的認證仍適用。如需模型本身的詳細資料，請參閱相應的模型資訊卡，或與相應的模型發布者聯絡。
Vertex AI 開放模型會將靜態資料儲存在所選區域或多區域，但資料處理的區域化程度可能有所不同。如需開放模型資料處理承諾的詳細清單，請參閱「開放模型的資料落地」。
使用 Vertex AI API (包括開放模型) 時，系統不會將客戶提示和模型回覆分享給第三方。Google 只會按照客戶指示處理客戶資料，詳情請參閱《Cloud 資料處理附加條款》。