在 Gemini 機構中部署主要元件

本頁詳細說明如何將 GenAI Router 和模型伺服器部署到您建立的 Gemini 機構。如要進一步瞭解這些元件，請參閱主要元件。

事前準備

如要在 Gemini 機構中部署重要元件，您必須具備下列條件：

• 在 Gemini 機構中，覆寫 GEMINI 和 GPU 可操作元件功能閘。
• 確認 Gemini 機構已啟動並運作中。
• 將 Gemini 模型權重載入 Gemini 機構。

部署 GenAI 路由器和模型伺服器

如要在 Gemini 機構中部署 GenAI Router 和模型伺服器，請按照下列步驟操作：

1. 從 Gemini 機構將 GeminiPackage 自訂資源套用至管理 API 伺服器：

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   將 GEM_ORG_MGMT_KUBECONFIG_PATH 替換為 Gemini 機構中管理 API 伺服器的 kubeconfig 檔案路徑。

2. 按照 GEMINI-R0008 執行手冊中的步驟，部署 ServoConfig 自訂資源。或者，套用下列自訂資源：

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

後續步驟

• 設定影片儲存空間