Schlüsselkomponenten in der Kundenorganisation bereitstellen

Auf dieser Seite wird beschrieben, wie Sie das Inference Gateway in der Organisation des Kunden bereitstellen. Weitere Informationen zu dieser Komponente finden Sie unter Schlüsselkomponenten.

Hinweise

Für die Bereitstellung wichtiger Komponenten in der Organisation des Kunden benötigen Sie Folgendes:

• Überschreiben Sie das Feature-Gate für die bedienbare Komponente AICS in der Organisation des Kunden.
• Prüfen Sie, ob die Kunden- und Gemini-Organisationen aktiv sind.
• Prüfen Sie, ob der GenAI-Router in der Gemini-Organisation ausgeführt wird.

Inference Gateway bereitstellen

So stellen Sie das Inference Gateway in der Kundenorganisation bereit:

1. Wenden Sie die benutzerdefinierte Ressource AICSPackage auf den Management-API-Server der Kundenorganisation an:

   CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
   apiVersion: aics.gdc.goog/v1
   kind: AICSPackage
   metadata:
     name: aics-l1opr-cr
     namespace: aics-system
   spec:
     applications:
     - name: inference-gateway
       path: inference-gateway
     - name: l2crd
       path: vai-l2crd
     - name: l2opr
       path: aics-l2operator
   EOF
   

   Ersetzen Sie CUS_ORG_MGMT_KUBECONFIG_PATH durch den Pfad zur kubeconfig-Datei des Management-API-Servers der Kundenorganisation.

2. Rufen Sie den vollqualifizierten Domainnamen (Fully Qualified Domain Name, FQDN) des GenAI-Routers ab:

   GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
     get dnsregistrations.network.private.gdc.goog/genai-router \
     -n gemini-system -o json | jq '.status.fqdn')
   
   echo $GEN_AI_ROUTER_FQDN
   

   Ersetzen Sie GEM_ORG_MGMT_KUBECONFIG_PATH durch den Pfad zur kubeconfig-Datei des Management-API-Servers der Gemini-Organisation.

   Die Ausgabe sieht so aus:

   "genai-router.org-1.zone1.google.gdch.test"
   

3. Erstellen Sie eine ConfigMap-Datei mit dem FQDN des GenAI-Routers im Infrastrukturcluster der Kundenorganisation:

   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: inference-gateway-config
     namespace: aics-system
   data:
     GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
   EOF
   

   Ersetzen Sie CUS_ORG_CP_KUBECONFIG_PATH durch den Pfad zur kubeconfig-Datei des Infrastrukturclusters der Organisation für die Kundenorganisation.

4. Kopieren Sie das Trust-Bundle aus dem Organisationsinfrastrukturcluster der Gemini-Organisation in den Organisationsinfrastrukturcluster der Kundenorganisation:

   GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
     -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml
   
   (echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
   echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml
   
   kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml
   

   Ersetzen Sie Folgendes:

   • GEM_ORG_CP_KUBECONFIG_PATH: Der Pfad zur kubeconfig-Datei des Infrastrukturclusters der Organisation für die Gemini-Organisation.
   • CUS_ORG_CP_KUBECONFIG_PATH: Der Pfad zur kubeconfig-Datei des Infrastrukturclusters der Organisation für die Kundenorganisation.

Nächste Schritte

• Organisationsübergreifende Kommunikation aktivieren