Cette page a été traduite par l'API Cloud Translation.

Déployer les composants clés dans l'organisation du client

Cette page explique comment déployer Inference Gateway dans l'organisation du client. Pour en savoir plus sur ce composant, consultez Composants clés.

Avant de commencer

Pour déployer des composants clés dans l'organisation du client, vous devez disposer des éléments suivants :

Remplacez le feature gate du composant actionnable AICS dans l'organisation cliente.
Vérifiez que les organisations client et Gemini sont opérationnelles.
Vérifiez que le routeur d'IA générative de l'organisation Gemini est opérationnel.

Déployer la passerelle d'inférence

Pour déployer Inference Gateway dans l'organisation du client, procédez comme suit :

Appliquez la ressource personnalisée AICSPackage au serveur de l'API Management depuis l'organisation cliente :

CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

Remplacez CUS_ORG_MGMT_KUBECONFIG_PATH par le chemin d'accès au fichier kubeconfig du serveur d'API de gestion de l'organisation cliente.

Récupérez le nom de domaine complet du routeur d'IA générative :

GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

Remplacez GEM_ORG_MGMT_KUBECONFIG_PATH par le chemin d'accès au fichier kubeconfig du serveur d'API Management de l'organisation Gemini.

Le résultat ressemble à l'exemple suivant :

"genai-router.org-1.zone1.google.gdch.test"

Créez un fichier ConfigMap contenant le nom de domaine complet du routeur d'IA générative dans le cluster d'infrastructure de l'organisation cliente :
```
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF
```
Remplacez CUS_ORG_CP_KUBECONFIG_PATH par le chemin d'accès au fichier kubeconfig du cluster d'infrastructure de l'organisation pour l'organisation cliente.

Copiez le groupe de confiance du cluster d'infrastructure de l'organisation Gemini vers le cluster d'infrastructure de l'organisation cliente :

GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

Remplacez les éléments suivants :

GEM_ORG_CP_KUBECONFIG_PATH : chemin d'accès au fichier kubeconfig du cluster d'infrastructure de l'organisation pour l'organisation Gemini.
CUS_ORG_CP_KUBECONFIG_PATH : chemin d'accès au fichier kubeconfig du cluster d'infrastructure de l'organisation pour l'organisation cliente.

Étapes suivantes

Activer la communication entre organisations