Implementa i componenti chiave nell'organizzazione del cliente

Questa pagina descrive in dettaglio come eseguire il deployment di Inference Gateway nell'organizzazione del cliente. Per ulteriori informazioni su questo componente, vedi Componenti chiave.

Prima di iniziare

Per eseguire il deployment dei componenti chiave nell'organizzazione del cliente, devi disporre di quanto segue:

• Esegui l'override del gate della funzionalità del componente operabile AICS nell'organizzazione del cliente.
• Verifica che le organizzazioni del cliente e di Gemini siano attive e funzionanti.
• Verifica che il router GenAI nell'organizzazione Gemini sia attivo e in esecuzione.

Esegui il deployment di Inference Gateway

Per eseguire il deployment di Inference Gateway nell'organizzazione del cliente:

1. Applica la risorsa personalizzata AICSPackage al server API di gestione dall'organizzazione del cliente:

   CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
   apiVersion: aics.gdc.goog/v1
   kind: AICSPackage
   metadata:
     name: aics-l1opr-cr
     namespace: aics-system
   spec:
     applications:
     - name: inference-gateway
       path: inference-gateway
     - name: l2crd
       path: vai-l2crd
     - name: l2opr
       path: aics-l2operator
   EOF
   

   Sostituisci CUS_ORG_MGMT_KUBECONFIG_PATH con il percorso del file kubeconfig del server API di gestione dell'organizzazione del cliente.

2. Recupera il nome di dominio completo (FQDN) del router GenAI:

   GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
     get dnsregistrations.network.private.gdc.goog/genai-router \
     -n gemini-system -o json | jq '.status.fqdn')
   
   echo $GEN_AI_ROUTER_FQDN
   

   Sostituisci GEM_ORG_MGMT_KUBECONFIG_PATH con il percorso del file kubeconfig del server API di gestione dell'organizzazione Gemini.

   L'output è simile al seguente esempio:

   "genai-router.org-1.zone1.google.gdch.test"
   

3. Crea un ConfigMap contenente l'FQDN del router AI generativa nel cluster di infrastruttura dell'organizzazione cliente:

   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: inference-gateway-config
     namespace: aics-system
   data:
     GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
   EOF
   

   Sostituisci CUS_ORG_CP_KUBECONFIG_PATH con il percorso del file kubeconfig del cluster di infrastruttura dell'organizzazione per l'organizzazione del cliente.

4. Copia il bundle di attendibilità dal cluster dell'infrastruttura dell'organizzazione Gemini al cluster dell'infrastruttura dell'organizzazione cliente:

   GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
     -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml
   
   (echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
   echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml
   
   kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml
   

   Sostituisci quanto segue:

   • GEM_ORG_CP_KUBECONFIG_PATH: il percorso del file kubeconfig del cluster di infrastruttura dell'organizzazione per l'organizzazione Gemini.
   • CUS_ORG_CP_KUBECONFIG_PATH: il percorso del file kubeconfig del cluster di infrastruttura dell'organizzazione per l'organizzazione cliente.

Passaggi successivi

• Attivare la comunicazione tra organizzazioni