Implementa componentes clave en la organización del cliente

En esta página, se detalla cómo implementar Inference Gateway en la organización del cliente. Para obtener más información sobre este componente, consulta Componentes clave.

Antes de comenzar

Para implementar componentes clave en la organización del cliente, debes tener lo siguiente:

Implementa la puerta de enlace de inferencia

Para implementar Inference Gateway en la organización del cliente, sigue estos pasos:

  1. Aplica el recurso personalizado AICSPackage al servidor de la API de administración de la organización del cliente:

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    Reemplaza CUS_ORG_MGMT_KUBECONFIG_PATH por la ruta de acceso al archivo kubeconfig del servidor de la API de administración de la organización del cliente.

  2. Recupera el nombre de dominio completamente calificado (FQDN) del enrutador de IA generativa:

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    Reemplaza GEM_ORG_MGMT_KUBECONFIG_PATH por la ruta de acceso al archivo kubeconfig del servidor de la API de administración de la organización de Gemini.

    El resultado se ve como en el siguiente ejemplo:

    "genai-router.org-1.zone1.google.gdch.test"

  3. Crea un archivo ConfigMap que contenga el FQDN del enrutador de IA generativa en el clúster de infraestructura de la organización del cliente:

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    Reemplaza CUS_ORG_CP_KUBECONFIG_PATH por la ruta de acceso al archivo kubeconfig del clúster de infraestructura de la organización para la organización del cliente.

  4. Copia el paquete de confianza del clúster de infraestructura de la organización de Gemini al clúster de infraestructura de la organización del cliente:

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    Reemplaza lo siguiente:

    • GEM_ORG_CP_KUBECONFIG_PATH: Es la ruta al archivo kubeconfig del clúster de infraestructura de la organización para la organización de Gemini.
    • CUS_ORG_CP_KUBECONFIG_PATH: Es la ruta al archivo kubeconfig del clúster de infraestructura de la organización para la organización del cliente.

¿Qué sigue?