自行部署模型總覽

Model Garden 提供自行部署的開放式、合作夥伴和自訂模型，您可以在 Vertex AI 上部署及提供這些模型。這些模型與模型即服務 (MaaS) 產品不同，後者屬於無伺服器模型，不需要手動部署。

自行部署模型時，您會在 Google Cloud 專案和虛擬私有雲網路中安全地部署模型。

自行部署開放式模型

開放式模型提供各種 AI 任務的預先訓練功能，包括擅長多模態處理的 Gemini 模型。開放式模型可免費使用，您可以自由發布其輸出內容，且只要遵守授權條款，就能在任何地方使用。Vertex AI 提供開放式 (也稱為開放權重) 和開放原始碼模型。

在 Vertex AI 中使用開放模型時，您會使用 Vertex AI 做為基礎架構。您也可以搭配其他基礎架構產品 (例如 PyTorch 或 Jax) 使用開放式模型。

開放權重模型

許多開放模型都屬於開放權重大型語言模型 (LLM)。開放模型比非開放權重的模型更透明。模型的權重是儲存在模型類神經網路架構中的數值，代表模型從訓練資料中學到的模式和關係。開放權重模型會發布預先訓練的參數或權重。您可以將開放權重模型用於推論和調整，但系統不會提供原始資料集、模型架構和訓練程式碼等詳細資料。

開放原始碼模型

開放模型與開放原始碼 AI 模型不同。開放模型通常會公開權重和所學模式的核心數值表示法，但不一定會提供完整原始碼或訓練詳細資料。提供權重可提升 AI 模型透明度，讓您瞭解模型功能，不必自行建構模型。

自行部署的合作夥伴模型

Model Garden 可協助您向合作夥伴購買及管理模型授權，這些合作夥伴提供專有模型做為自行部署選項。從 Cloud Marketplace 購買模型存取權後，您可以選擇在隨選硬體上部署，或使用 Compute Engine 預留項目和續用折扣，以符合預算需求。您需要支付模型使用費，以及為您使用的 Vertex AI 基礎架構支付費用。

如要要求使用自行部署的合作夥伴模型，請在 Model Garden 控制台中找到相關模型，按一下「聯絡銷售人員」，然後填寫表單，即可與銷售代表聯絡。 Google Cloud

如要進一步瞭解如何部署及使用合作夥伴模型，請參閱「部署合作夥伴模型並提出預測要求」。

注意事項

使用自行部署的合作夥伴模型時，請注意下列限制：

  • 與開放式模型不同，您無法匯出權重。
  • 如果專案已設定 VPC Service Controls，您就無法上傳模型，因此無法部署合作夥伴模型。
  • 端點僅支援共用公開端點類型。

進一步瞭解 Vertex AI 中的自行部署模型