Men-deploy komponen utama di organisasi pelanggan

Halaman ini menjelaskan cara men-deploy Inference Gateway ke organisasi pelanggan. Untuk mengetahui informasi selengkapnya tentang komponen ini, lihat Komponen utama.

Sebelum memulai

Untuk men-deploy komponen utama di organisasi pelanggan, Anda harus memiliki hal berikut:

• Ganti gerbang fitur komponen yang dapat dioperasikan AICS di organisasi pelanggan.
• Pastikan organisasi pelanggan dan Gemini sudah aktif dan berjalan.
• Pastikan GenAI Router di organisasi Gemini sudah aktif dan berjalan.

Men-deploy Inference Gateway

Untuk men-deploy Inference Gateway di organisasi pelanggan, ikuti langkah-langkah berikut:

1. Terapkan resource kustom AICSPackage ke server Management API dari organisasi pelanggan:

   CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
   apiVersion: aics.gdc.goog/v1
   kind: AICSPackage
   metadata:
     name: aics-l1opr-cr
     namespace: aics-system
   spec:
     applications:
     - name: inference-gateway
       path: inference-gateway
     - name: l2crd
       path: vai-l2crd
     - name: l2opr
       path: aics-l2operator
   EOF
   

   Ganti CUS_ORG_MGMT_KUBECONFIG_PATH dengan jalur ke file kubeconfig server API pengelolaan dari organisasi pelanggan.

2. Ambil Nama Domain yang Sepenuhnya Memenuhi Syarat (FQDN) GenAI Router:

   GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
     get dnsregistrations.network.private.gdc.goog/genai-router \
     -n gemini-system -o json | jq '.status.fqdn')
   
   echo $GEN_AI_ROUTER_FQDN
   

   Ganti GEM_ORG_MGMT_KUBECONFIG_PATH dengan jalur ke file kubeconfig server API pengelolaan dari organisasi Gemini.

   Outputnya akan terlihat seperti contoh berikut:

   "genai-router.org-1.zone1.google.gdch.test"
   

3. Buat ConfigMap yang berisi FQDN GenAI Router di cluster infrastruktur org organisasi pelanggan:

   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: inference-gateway-config
     namespace: aics-system
   data:
     GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
   EOF
   

   Ganti CUS_ORG_CP_KUBECONFIG_PATH dengan jalur ke file kubeconfig cluster infrastruktur org untuk organisasi pelanggan.

4. Salin paket kepercayaan dari cluster infrastruktur org organisasi Gemini ke cluster infrastruktur org organisasi pelanggan:

   GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
   CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
     -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml
   
   (echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
   echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml
   
   kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml
   

   Ganti kode berikut:

   • GEM_ORG_CP_KUBECONFIG_PATH: jalur ke file kubeconfig cluster infrastruktur org untuk organisasi Gemini.
   • CUS_ORG_CP_KUBECONFIG_PATH: jalur ke file kubeconfig cluster infrastruktur org untuk organisasi pelanggan.

Langkah berikutnya

• Mengaktifkan komunikasi lintas organisasi