Membuat organisasi Gemini

Halaman ini memandu Anda cara membuat organisasi baru di Google Distributed Cloud (GDC) yang terisolasi dan mengonfigurasi organisasi tersebut untuk menggunakan Gemini.

Halaman ini menggunakan dua istilah yang merujuk pada konsep yang berbeda: organisasi pelanggan dan organisasi Gemini. Setiap istilah didefinisikan sebagai berikut:

  • Organisasi pelanggan: organisasi GDC tempat pengguna menjalankan beban kerja, mengakses infrastruktur platform, dan menggunakan layanan Vertex AI. Untuk mengetahui informasi selengkapnya tentang organisasi pelanggan, lihat Membuat organisasi pelanggan.
  • Organisasi Gemini: resource organisasi yang dikonfigurasi untuk menjalankan server model Gemini. Untuk keamanan, beban kerja pengguna tidak diizinkan berjalan di organisasi ini. Hanya kode pihak ketiga yang disetujui Google yang dapat berjalan dalam organisasi Gemini. Organisasi Gemini adalah organisasi terpisah dari organisasi pelanggan yang mengikuti model multi-single tenancy, di mana setiap organisasi pelanggan memiliki organisasi Gemini yang sesuai.

Untuk mengetahui informasi selengkapnya tentang perbedaan organisasi, lihat Ringkasan operator.

Sebelum memulai

Untuk membuat organisasi Gemini, Anda harus memiliki hal berikut:

  • Organisasi pelanggan sudah siap dan berjalan.
  • Browser di sistem Anda.
  • Antarmuka command line (CLI) Git.
  • kubectl CLI.
  • gdcloud CLI.
  • Alat CLI jq dan yq. Untuk mengetahui detail penyiapan penampung alat, yang berisi jq dan yq, lihat buku pedoman OOPS-P0065.
  • Peran Infrastructure Operator (IO) yang diperlukan. Untuk mengetahui informasi selengkapnya tentang peran ini, lihat Menyiapkan izin IAM.

Selain itu, pastikan Anda memenuhi pemeriksaan pra-deployment.

Buat organisasi Gemini

Ikuti langkah-langkah berikut untuk membuat organisasi Gemini:

  1. Ikuti panduan membuat organisasi hingga Anda selesai menghubungkan penyedia identitas IO ke organisasi dengan IAC. Tindakan ini akan membuat organisasi terpisah yang berfungsi sebagai organisasi Gemini dalam satu zona. Ikuti panduan berikut saat membuat organisasi:

    • Salah satu server yang tersedia harus berupa server Dell XE9680 dengan class mesin d3-highgpu1-256-gdc-metal. Langkah pertama dalam petunjuk Membuat organisasi dengan IaC memberikan perintah untuk memeriksa server yang tersedia. Jika server dengan class mesin d3-highgpu1-256-gdc-metal tidak tersedia, lihat Ringkasan ekspansi dinamis untuk mempelajari opsi ekspansi server. Kemudian, tambahkan server workload baru.

    • Saat membuat organisasi dengan IaC, setelah membuat resource kustom Organization, tambahkan anotasi organizations.resourcemanager.private.gdc.goog/shared-service-cluster-skip-create-cluster: "true" di resource kustom untuk melewati pembuatan cluster layanan bersama dan mengoptimalkan resource.

    • Buat resource kustom OrganizationZonalConfig di satu zona. Zona ini digunakan sebagai zona Gemini. Organisasi pelanggan harus berada di zona yang sama, tetapi juga dapat di-deploy di lebih banyak zona. Untuk mengetahui informasi selengkapnya, lihat Model deployment multi-zona untuk Gemini.

  2. Tambahkan label lcm.private.gdc.goog/org-tenant="gemini" ke Organization resource kustom dari organisasi Gemini:

    KUBECONFIG=ROOT_ADMIN_KUBECONFIG_PATH
GEMINI_ORG_NAME=GEMINI_ORGANIZATION_NAME

kubectl label organization -n gpc-system ${GEMINI_ORG_NAME:?} \
  lcm.private.gdc.goog/org-tenant="gemini" --kubeconfig ${KUBECONFIG:?}

    Ganti kode berikut:

    • ROOT_ADMIN_KUBECONFIG_PATH: jalur ke file kubeconfig cluster admin root.
    • GEMINI_ORGANIZATION_NAME: nama organisasi Gemini.

  3. Periksa apakah cluster infrastruktur org dari organisasi Gemini sudah aktif dan berjalan:

    kubectl get cluster/${GEMINI_ORG_NAME:?}-admin -n ${GEMINI_ORG_NAME:?}

    Output berikut menunjukkan contoh untuk organisasi Gemini bernama org-1:

    NAMESPACE   NAME          ABM VERSION        DESIRED ABM VERSION   CLUSTER STATE
org-1       org-1-admin   1.30.500-gke.128   1.30.500-gke.128      Running

  4. Temukan semua worker node yang memiliki GPU H200 yang dikonfigurasi di dalam cluster infrastruktur organisasi Gemini:

    KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${KUBECONFIG:?} get nodes \
  -o json | jq -r \
  '.items[] | select(.status.capacity."nvidia.com/gpu-pod-NVIDIA_H200"=="8") | .metadata.name'

    Ganti GEM_ORG_CP_KUBECONFIG_PATH dengan jalur ke file kubeconfig cluster infrastruktur org untuk organisasi Gemini.

  5. Terapkan label gemini.gdc.goog/large-gemini=true ke semua worker node dengan GPU H200 yang Anda peroleh dari perintah sebelumnya:

    NODE_NAME=H200_WORKER_NODE_NAME

kubectl label node ${NODE_NAME:?} \
  "gemini.gdc.goog/large-gemini=true" \
  --kubeconfig ${KUBECONFIG:?}

    Ganti H200_WORKER_NODE_NAME dengan nama node pekerja dengan GPU H200.

Mengganti feature gate untuk komponen yang dapat dioperasikan Gemini

Setelah Anda menyelesaikan penyediaan organisasi Gemini dan mengonfirmasi bahwa organisasi tersebut memiliki status READY, Anda harus mengganti gerbang fitur untuk mengaktifkan komponen yang dapat dioperasikan di organisasi Gemini atau pelanggan.

Tabel berikut merangkum runbook yang harus Anda ikuti untuk mengganti gerbang fitur dan mengaktifkan komponen yang dapat dioperasikan:

Komponen yang dapat dioperasikan Target organisasi Referensi runbook
GEMINI Organisasi Gemini GEMINI-F0001
AICS Organisasi pelanggan AICS-F0001
GPU Organisasi Gemini GPU-F0001

Membuat kunci enkripsi

Membuat kunci enkripsi untuk organisasi adalah operasi satu kali. Jika Anda menjalankan kembali perintah, sistem tidak akan dapat mendekripsi model yang diupload. Untuk membuat kunci, Anda harus menjalankan tugas di organisasi baru yang baru saja Anda buat.

KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
kubectl --kubeconfig=${KUBECONFIG:?} -n gemini create job --from=cronjob/gemini-weights-transfer-keygen

Setelah tugas selesai, Anda akan dapat membaca kunci menggunakan perintah berikut

KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
kubectl --kubeconfig=${KUBECONFIG:?} -n gemini-system \
  logs job.batch/gemini-weights-transfer-keygen \
  | grep -oP '<PublicKey.*?</PublicKey>' | head -n 1

Langkah berikutnya