Men-deploy komponen utama di organisasi Gemini

Halaman ini menjelaskan cara men-deploy GenAI Router dan server model ke organisasi Gemini yang Anda buat. Untuk mengetahui informasi selengkapnya tentang komponen ini, lihat Komponen utama.

Sebelum memulai

Untuk men-deploy komponen utama di organisasi Gemini, Anda harus memiliki hal berikut:

• Ganti gerbang fitur komponen yang dapat dioperasikan GEMINI dan GPU di organisasi Gemini.
• Pastikan organisasi Gemini sudah siap dan berjalan.
• Muat bobot model Gemini ke organisasi Gemini.

Men-deploy GenAI Router dan server model

Untuk men-deploy GenAI Router dan server model di organisasi Gemini, ikuti langkah-langkah berikut:

1. Terapkan resource kustom GeminiPackage ke server API pengelolaan dari organisasi Gemini:

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   Ganti GEM_ORG_MGMT_KUBECONFIG_PATH dengan jalur ke file kubeconfig server API pengelolaan dari organisasi Gemini.

2. Deploy resource kustom ServoConfig dengan mengikuti langkah-langkah dari buku panduan GEMINI-R0008. Atau, terapkan resource kustom berikut:

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

Langkah berikutnya

• Mengonfigurasi penyimpanan untuk video