Gemini 組織に主要コンポーネントをデプロイする

このページでは、作成した Gemini 組織に GenAI Router とモデルサーバーをデプロイする方法について詳しく説明します。これらのコンポーネントの詳細については、主要コンポーネントをご覧ください。

始める前に

Gemini 組織に主要コンポーネントをデプロイするには、次のものが必要です。

• Gemini 組織で、GEMINI と GPU の操作可能なコンポーネントの機能ゲートをオーバーライドします。
• Gemini 組織が稼働していることを確認します。
• Gemini 組織に Gemini モデルの重みを読み込みます。

GenAI Router とモデルサーバーをデプロイする

Gemini 組織に GenAI Router とモデルサーバーをデプロイする手順は次のとおりです。

1. Gemini 組織から管理 API サーバーに GeminiPackage カスタム リソースを適用します。

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   GEM_ORG_MGMT_KUBECONFIG_PATH は、Gemini 組織の管理 API サーバーの kubeconfig ファイルのパスに置き換えます。

2. GEMINI-R0008 ランブックの手順に沿って、ServoConfig カスタム リソースをデプロイします。または、次のカスタム リソースを適用します。

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

次のステップ

• 動画のストレージを構成する