Implementare i componenti chiave nell'organizzazione Gemini

Questa pagina descrive in dettaglio come eseguire il deployment del router GenAI e del server di modelli nell'organizzazione Gemini che hai creato. Per saperne di più su questi componenti, consulta la sezione Componenti chiave.

Prima di iniziare

Per eseguire il deployment dei componenti chiave nell'organizzazione Gemini, devi disporre di:

• Ignora i GEMINI e GPU feature gate dei componenti operabili nell'organizzazione Gemini.
• Verifica che l'organizzazione Gemini sia attiva e funzionante.
• Carica i pesi del modello Gemini nell'organizzazione Gemini.

Esegui il deployment del router GenAI e del server dei modelli

Per eseguire il deployment del router GenAI e del server del modello nell'organizzazione Gemini, segui questi passaggi:

1. Applica la risorsa personalizzata GeminiPackage al server API di gestione dall'organizzazione Gemini:

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   Sostituisci GEM_ORG_MGMT_KUBECONFIG_PATH con il percorso del file kubeconfig del server API di gestione dell'organizzazione Gemini.

2. Esegui il deployment della risorsa personalizzata ServoConfig seguendo i passaggi del runbook GEMINI-R0008. In alternativa, applica la seguente risorsa personalizzata:

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

Passaggi successivi

• Configurare lo spazio di archiviazione per i video