Halaman ini diterjemahkan oleh Cloud Translation API.

Mengaktifkan komunikasi lintas organisasi

Halaman ini menjelaskan cara Anda dapat menjalin komunikasi antara organisasi pelanggan dan Gemini.

Organisasi pelanggan mengirimkan permintaan dari Inference Gateway ke organisasi Gemini yang menghosting server model dan GenAI Router. Integrasi Platform API (APIP) GenAI Router memeriksa permintaan dari Inference Gateway. Integrasi APIP memastikan permintaan memiliki kredensial yang sesuai (token STS) dan izin peran.

Untuk mengetahui informasi selengkapnya tentang Gemini dan organisasi pelanggan, lihat Gemini dan organisasi pelanggan.

Sebelum memulai

Untuk mengaktifkan komunikasi lintas organisasi, Anda harus memiliki hal berikut:

Organisasi pelanggan yang sudah ada dan organisasi Gemini yang berjalan di zona yang sama.
Alat CLI jq dan yq. Untuk mengetahui detail penyiapan penampung alat, yang berisi jq dan yq, lihat buku pedoman OOPS-P0065.
Klien OIDC dan penyedia identitas untuk organisasi pelanggan dan Gemini. Untuk membuat klien OIDC, lihat Membuat klien OIDC di OC IT ADFS.

Buat konektivitas antara organisasi pelanggan dan Gemini

Untuk memenuhi bandwidth jaringan yang diperlukan untuk Gemini di GDC, konfigurasi jaringan hardware kustom tersedia untuk organisasi Gemini. Untuk menggunakan hardware dan meningkatkan bandwidth, Anda memerlukan konfigurasi tambahan dengan interkoneksi.

Untuk membuat konektivitas antara kedua organisasi, buat resource AttachmentGroup di cluster admin root untuk menyambungkan Gemini dan organisasi pelanggan.

Resource kustom harus terlihat seperti contoh berikut:

IDENTIFIER=ag-gdc-gemini
GEMINI_ORG_NAME=GEMINI_ORG_NAME
CUSTOMER_ORG_NAME=CUSTOMER_ORG_NAME

apiVersion: system.private.gdc.goog/v1alpha1
kind: AttachmentGroup
metadata:
  name: attachment-group-$IDENTIFIER
  namespace: gpc-system
spec:
  entities:
  - domainType: OrgMixed
    orgName: $CUSTOMER_ORG_NAME
  - domainType: OrgMixed
    orgName: $GEMINI_ORG_NAME
  identifier: $IDENTIFIER

Ganti kode berikut:

GEMINI_ORG_NAME: nama organisasi Gemini.
CUSTOMER_ORG_NAME: nama organisasi pelanggan.

Mengonfigurasi permintaan Inference Gateway untuk menggunakan jaringan data

Layanan Inference Gateway dan GenAI Router berjalan di cluster infrastruktur org masing-masing organisasi. Secara default, kedua layanan dirutekan melalui jaringan infrastruktur, tetapi harus menggunakan jaringan data.

Untuk memastikan bahwa bandwidth jaringan yang memadai tersedia untuk permintaan Gemini, Anda harus merutekan permintaan Inference Gateway yang ditujukan untuk GenAI Router melalui jaringan data. Anda harus menggunakan resource jaringan Istio untuk merutekan permintaan melalui gateway masuk data organisasi Gemini, bukan gateway masuk infrastruktur default.

Ikuti langkah-langkah berikut untuk mengonfigurasi permintaan Inference Gateway yang ditujukan untuk GenAI Router agar menggunakan jaringan data:

Ambil Nama Domain yang Sepenuhnya Memenuhi Syarat (FQDN) komponen GenAI Router:

KUBECONFIG=GEMINI_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

Ganti GEMINI_ORG_MGMT_KUBECONFIG_PATH dengan jalur ke file kubeconfig server API pengelolaan dari organisasi Gemini.

Output harus terlihat seperti contoh berikut:

"genai-router.org-1.zone1.google.gdch.test"

Ambil FQDN akun layanan dari organisasi Gemini:

GEM_ORG_SERVICE_ACCOUNT_SERVICE_FQDN=$(kubectl --kubeconfig ${KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/service-accounts-infra-external \
  -n iam-system -o json | jq '.status.fqdn')

echo $GEM_ORG_SERVICE_ACCOUNT_SERVICE_FQDN

Output harus terlihat seperti contoh berikut:

"service-accounts.org-1.zone1.google.gdch.test"

Ambil alamat IP ELB Ingress Gateway dari bidang data organisasi Gemini:

KUBECONFIG=GEMINI_ORG_MGMT_KUBECONFIG_PATH

GEM_DATA_INGRSS_ELB_IP_ADDRESS=$(kubectl get Forwardingruleexternals/dataplane-ingress-gateway \
  -n istio-system -ojson | jq .status.cidr)

echo $GEM_DATA_INGRSS_ELB_IP_ADDRESS

Output harus terlihat seperti contoh berikut:

"10.137.14.0/32"

Tambahkan resource ServiceEntry untuk GenAI Router dan FQDN identitas. Kemudian, selesaikan ke alamat IP statis alamat IP ELB Gateway Ingress dari bidang data organisasi Gemini:

KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: networking.istio.io/v1beta1
kind: ServiceEntry
metadata:
  name: genai-service-entry
  namespace: aics-system
spec:
  hosts:
  - $GEN_AI_ROUTER_FQDN
  ports:
  - number: 443
    name: https
    protocol: TLS
  location: MESH_EXTERNAL
  resolution: STATIC
  endpoints:
  - address: $GEM_DATA_INGRSS_ELB_IP_ADDRESS
EOF

kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: networking.istio.io/v1beta1
kind: ServiceEntry
metadata:
  name: identity-service-entry
  namespace: aics-system
spec:
  hosts:
  -  $GEM_ORG_SERVICE_ACCOUNT_SERVICE_FQDN
  ports:
  - number: 443
    name: https
    protocol: TLS
  location: MESH_EXTERNAL
  resolution: STATIC
  endpoints:
  - address: $GEM_DATA_INGRSS_ELB_IP_ADDRESS
EOF

Ganti CUS_ORG_CP_KUBECONFIG_PATH dengan jalur ke file kubeconfig bidang data cluster infrastruktur org dari organisasi pelanggan.

Ambil alamat IP NAT keluar project sistem aics-system:

KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

IG_PROJECT_EGRESS_IP=$(kubectl --kubeconfig ${KUBECONFIG:?} get projects/aics-system \
  -n gpc-system -ojson | jq .status.clusters[0].egressNATIPAddress)

echo $IG_PROJECT_EGRESS_IP

Ganti CUS_ORG_MGMT_KUBECONFIG_PATH dengan jalur ke file kubeconfig server API pengelolaan dari organisasi pelanggan.

Output harus terlihat seperti contoh berikut:

"10.200.32.29"

Terapkan kebijakan jaringan organisasi ke server Management API dari organisasi Gemini untuk mengizinkan permintaan dari organisasi pelanggan:
```
KUBECONFIG=GEMINI_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: networking.gdc.goog/v1
kind: OrganizationNetworkPolicy
metadata:
  name: allow-all-access
  namespace: platform
spec:
  subject:
    services:
      matchTypes:
      - "all"
  ingress:
    - from:
      - ipBlock:
         cidr: $IG_PROJECT_EGRESS_IP
EOF
```
Ganti GEMINI_ORG_MGMT_KUBECONFIG_PATH dengan jalur ke file kubeconfig server API pengelolaan dari organisasi Gemini.

Catatan: Untuk keamanan, cakupan kebijakan allow-all ini dibatasi untuk permintaan yang berasal dari project sistem aics-system. Hal ini juga dapat diperluas ke blok CIDR keluar organisasi pelanggan.

Opsional: Terapkan kebijakan jaringan organisasi ke server Management API dari organisasi pelanggan untuk mengizinkan permintaan ke organisasi Gemini:

KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: networking.gdc.goog/v1
kind: OrganizationNetworkPolicy
metadata:
  name: allow-all-access
  namespace: platform
spec:
  ingress:
  - from:
    - ipBlock:
        cidr: CUSTOMER_ORG_OIQ
  subject:
    services:
      matchTypes:
      - all
    subjectType: ManagedService
EOF

Ganti kode berikut:

CUS_ORG_MGMT_KUBECONFIG_PATH: jalur ke file kubeconfig server Management API dari organisasi pelanggan.
CUSTOMER_ORG_OIQ: OIQ organisasi pelanggan.

Langkah berikutnya

Ringkasan Gemini