Implementar componentes clave en la organización del cliente

En esta página se explica cómo implementar Inference Gateway en la organización del cliente. Para obtener más información sobre este componente, consulte Componentes clave.

Antes de empezar

Para implementar componentes clave en la organización del cliente, debe tener lo siguiente:

• Anular la AICS puerta de función del componente operable en la organización del cliente.
• Verifica que las organizaciones del cliente y de Gemini estén operativas.
• Comprueba que el router de IA generativa de la organización de Gemini esté en funcionamiento.

Desplegar Inference Gateway

Para implementar Inference Gateway en la organización del cliente, sigue estos pasos:

1. Aplica el recurso personalizado AICSPackage al servidor de la API de gestión desde la organización del cliente:

   CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
   apiVersion: aics.gdc.goog/v1
   kind: AICSPackage
   metadata:
     name: aics-l1opr-cr
     namespace: aics-system
   spec:
     applications:
     - name: inference-gateway
       path: inference-gateway
     - name: l2crd
       path: vai-l2crd
     - name: l2opr
       path: aics-l2operator
   EOF
   

   Sustituye CUS_ORG_MGMT_KUBECONFIG_PATH por la ruta al archivo kubeconfig del servidor de la API de gestión de la organización del cliente.

2. Obtén el nombre de dominio completo (FQDN) del router de GenAI:

   GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
     get dnsregistrations.network.private.gdc.goog/genai-router \
     -n gemini-system -o json | jq '.status.fqdn')
   
   echo $GEN_AI_ROUTER_FQDN
   

   Sustituye GEM_ORG_MGMT_KUBECONFIG_PATH por la ruta al archivo kubeconfig del servidor de la API de gestión de la organización de Gemini.

   La salida tiene el siguiente aspecto:

   "genai-router.org-1.zone1.google.gdch.test"
   

3. Crea un ConfigMap que contenga el nombre de dominio completo (FQDN) del router de IA generativa en el clúster de infraestructura de la organización del cliente:

   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: inference-gateway-config
     namespace: aics-system
   data:
     GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
   EOF
   

   Sustituye CUS_ORG_CP_KUBECONFIG_PATH por la ruta al archivo kubeconfig del clúster de infraestructura de la organización del cliente.

4. Copia el paquete de confianza del clúster de infraestructura de la organización de Gemini al clúster de infraestructura de la organización del cliente:

   GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
     -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml
   
   (echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
   echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml
   
   kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml
   

   Haz los cambios siguientes:

   • GEM_ORG_CP_KUBECONFIG_PATH: la ruta al archivo kubeconfig del clúster de infraestructura de la organización de la organización de Gemini.
   • CUS_ORG_CP_KUBECONFIG_PATH: la ruta al archivo kubeconfig del clúster de infraestructura de la organización del cliente.

Siguientes pasos

• Habilitar la comunicación entre organizaciones