Menyiapkan mesh multi-cluster di luar Google Cloud

Panduan ini menjelaskan cara menyiapkan mesh multi-cluster untuk platform berikut:

• GKE on VMware
• Google Distributed Cloud Virtual untuk Bare Metal

Panduan ini menunjukkan cara menyiapkan dua cluster, tetapi Anda dapat memperluas proses ini untuk menggabungkan sejumlah cluster ke dalam mesh Anda.

Catatan platform: Perintah asmcli create-mesh yang Anda gunakan untuk mengaktifkan penemuan endpoint mengharuskan semua cluster berada di platform yang sama. Saat ini, asmcli create-mesh tidak mendukung penyiapan mesh hybrid atau multi-cloud.

Sebelum memulai

Panduan ini mengasumsikan bahwa Anda telah menginstal Anthos Service Mesh menggunakan asmcli install. Anda memerlukan asmcli dan paket konfigurasi yang didownload oleh asmcli ke direktori yang Anda tentukan di --output_dir saat menjalankan asmcli install. Jika perlu melakukan penyiapan, ikuti langkah-langkah dalam Menginstal alat dependen dan memvalidasi cluster untuk:

• Instal alat yang diperlukan
• Download asmcli
• Memberikan izin admin cluster
• Memvalidasi project dan cluster

Anda memerlukan akses ke file kubeconfig untuk semua cluster yang Anda siapkan di mesh.

Peringatan: Hanya gunakan file kubeconfig dari sumber tepercaya. Menggunakan file kubeconfig yang dibuat secara khusus dapat mengakibatkan eksekusi kode atau eksposur file yang berbahaya. Jika Anda harus menggunakan file kubeconfig yang tidak tepercaya, periksa file tersebut dengan cermat terlebih dahulu, seperti halnya skrip shell.

Menyiapkan variabel dan placeholder lingkungan

Anda memerlukan variabel lingkungan berikut saat menginstal gateway east-west.

1. Buat variabel lingkungan untuk nomor project. Dalam perintah berikut, ganti FLEET_PROJECT_ID dengan project ID dari project host armada.

   export PROJECT_NUMBER=$(gcloud projects describe FLEET_PROJECT_ID --format="value(projectNumber)")
   

2. Buat variabel lingkungan untuk ID mesh.

   export MESH_ID="proj-${PROJECT_NUMBER}"
   

3. Buat variabel lingkungan untuk nama cluster dalam format yang diperlukan asmcli.

   export CLUSTER_1="cn-FLEET_PROJECT_ID-global-CLUSTER_NAME_1"
   export CLUSTER_2="cn-FLEET_PROJECT_ID-global-CLUSTER_NAME_2"
   

4. Dapatkan nama konteks untuk cluster dengan menggunakan nilai di kolom NAME dalam output perintah ini:

   kubectl config get-contexts

5. Tetapkan variabel lingkungan ke nama konteks cluster, yang akan digunakan oleh panduan ini dalam banyak langkah nanti:

   export CTX_1=CLUSTER1_CONTEXT_NAME
   export CTX_2=CLUSTER2_CONTEXT_NAME
   

Menginstal gateway timur-barat

Dalam perintah berikut:

• Ganti CLUSTER_NAME_1 dan CLUSTER_NAME_2 dengan nama cluster Anda.

• Ganti PATH_TO_KUBECONFIG_1 dan PATH_TO_KUBECONFIG_2 dengan file kubeconfig untuk cluster Anda.

Mesh CA atau CA Service

1. Instal gateway di cluster1 yang dikhususkan untuk traffic timur-barat ke $CLUSTER_2. Secara default, gateway ini akan bersifat publik di Internet. Untuk mencegah serangan eksternal, sistem produksi mungkin memerlukan pembatasan akses tambahan, misalnya aturan firewall.

   Catatan: Jika Anda menginstal Anthos Service Mesh menggunakan nilai yang berbeda untuk --network_id, Anda harus meneruskan nilai yang sama ke gen-eastwest-gateway.sh dengan flag --network.

   asm/istio/expansion/gen-eastwest-gateway.sh \
       --mesh ${MESH_ID} \
       --cluster ${CLUSTER_1} \
       --network default \
       --revision asm-1146-16 | \
       ./istioctl --kubeconfig=PATH_TO_KUBECONFIG_1 install -y --set spec.values.global.pilotCertProvider=kubernetes -f -
   

2. Instal gateway di $CLUSTER_2 yang dikhususkan untuk traffic timur-barat untuk $CLUSTER_1.

   asm/istio/expansion/gen-eastwest-gateway.sh \
       --mesh ${MESH_ID} \
       --cluster ${CLUSTER_2} \
       --network default \
       --revision asm-1146-16 | \
       ./istioctl install --kubeconfig=PATH_TO_KUBECONFIG_2 -y --set spec.values.global.pilotCertProvider=kubernetes -f -
   

Istio CA

1. Instal gateway di cluster1 yang dikhususkan untuk traffic timur-barat ke $CLUSTER_2. Secara default, gateway ini akan bersifat publik di Internet. Untuk mencegah serangan eksternal, sistem produksi mungkin memerlukan pembatasan akses tambahan, misalnya aturan firewall.

   Catatan: Jika Anda menginstal Anthos Service Mesh menggunakan nilai yang berbeda untuk --network_id, Anda harus meneruskan nilai yang sama ke gen-eastwest-gateway.sh dengan flag --network.

   asm/istio/expansion/gen-eastwest-gateway.sh \
       --mesh ${MESH_ID} \
       --cluster ${CLUSTER_1} \
       --network default \
       --revision asm-1146-16 | \
       ./istioctl --kubeconfig=PATH_TO_KUBECONFIG_1 install -y -f -
   

2. Instal gateway di $CLUSTER_2 yang dikhususkan untuk traffic timur-barat untuk $CLUSTER_1.

   asm/istio/expansion/gen-eastwest-gateway.sh \
       --mesh ${MESH_ID} \
       --cluster ${CLUSTER_2} \
       --network default \
       --revision asm-1146-16 | \
       ./istioctl --kubeconfig=PATH_TO_KUBECONFIG_2 install -y -f -
   

Catatan platform: Untuk GKE di VMware, alamat IP eksternal tidak akan ditetapkan hingga nanti, setelah Anda menyelesaikan langkah-langkah yang dijelaskan dalam Mengonfigurasi alamat IP eksternal untuk GKE di VMware.

Layanan yang menampakkan

Karena cluster berada di jaringan terpisah, Anda harus mengekspos semua layanan (*.local) di gateway timur-barat pada kedua cluster. Meskipun gateway ini bersifat publik di Internet, layanan di belakangnya hanya dapat diakses oleh layanan yang memiliki sertifikat mTLS dan ID workload tepercaya, seolah-olah berada di jaringan yang sama.

1. Mengekspos layanan melalui gateway timur-barat untuk CLUSTER_NAME_1.

   kubectl --kubeconfig=PATH_TO_KUBECONFIG_1 apply -n istio-system -f \
       asm/istio/expansion/expose-services.yaml
   

2. Mengekspos layanan melalui gateway timur-barat untuk CLUSTER_NAME_2.

   kubectl --kubeconfig=PATH_TO_KUBECONFIG_2 apply -n istio-system -f \
       asm/istio/expansion/expose-services.yaml
   

Aktifkan penemuan endpoint

Catatan: Untuk mengetahui informasi selengkapnya tentang penemuan endpoint, lihat Penemuan endpoint dengan beberapa bidang kontrol.

Jalankan perintah asmcli create-mesh untuk mengaktifkan penemuan endpoint. Contoh ini hanya menampilkan dua cluster, tetapi Anda dapat menjalankan perintah untuk mengaktifkan penemuan endpoint pada cluster tambahan, sesuai dengan batas layanan GKE Hub.

  ./asmcli create-mesh \
      FLEET_PROJECT_ID \
      PATH_TO_KUBECONFIG_1 \
      PATH_TO_KUBECONFIG_2

Memverifikasi konektivitas multi-cluster

Bagian ini menjelaskan cara men-deploy sampel layanan HelloWorld dan Sleep ke lingkungan multi-cluster Anda untuk memverifikasi bahwa load balancing lintas cluster berfungsi.

Catatan: Layanan contoh ini berada di direktori samples Istio disertakan dalam tarball istioctl (berada di OUTPUT_DIR/istio-${ASM_VERSION%+*}/samples) dan bukan direktori samples yang didownload oleh asmcli (berada di OUTPUT_DIR/samples).

Aktifkan injeksi file bantuan

1. Temukan nilai label revisi yang akan Anda gunakan di langkah-langkah berikutnya. Langkah ini bergantung pada jenis Anthos Service Mesh Anda (baik terkelola atau dalam cluster).

   Catatan: Jika setiap cluster memiliki versi Anthos Service Mesh yang berbeda, Anda harus menjalankan perintah berikut untuk setiap cluster.

   Terkelola

   Gunakan perintah berikut untuk menemukan label revisi, yang akan Anda gunakan di langkah selanjutnya.

   kubectl get controlplanerevision -n istio-system

   Outputnya terlihat mirip dengan yang berikut ini:

    NAME                RECONCILED   STALLED   AGE
    asm-managed-rapid   True         False     89d
    

   Dalam output, di kolom NAME, catat nilai label revisi. Dalam contoh ini, nilainya adalah asm-managed-rapid. Gunakan nilai revisi pada langkah-langkah di bagian berikutnya.

   Dalam cluster

   Gunakan perintah berikut untuk menemukan label revisi, yang akan Anda gunakan di langkah selanjutnya.

   kubectl -n istio-system get pods -l app=istiod --show-labels

   Outputnya terlihat mirip dengan yang berikut ini:

    NAME                                READY   STATUS    RESTARTS   AGE   LABELS
    istiod-asm-173-3-5788d57586-bljj4   1/1     Running   0          23h   app=istiod,istio.io/rev=asm-173-3,istio=istiod,pod-template-hash=5788d57586
    istiod-asm-173-3-5788d57586-vsklm   1/1     Running   1          23h   app=istiod,istio.io/rev=asm-173-3,istio=istiod,pod-template-hash=5788d57586
    

   Pada output, di kolom LABELS, catat nilai label revisi istiod, yang mengikuti awalan istio.io/rev=. Dalam contoh ini, nilainya adalah asm-173-3. Gunakan nilai revisi di langkah-langkah di bagian berikutnya.

Menginstal layanan HelloWorld

Catatan: Contoh layanan HelloWorld menggunakan Docker Hub. Di cluster pribadi, runtime container dapat mengambil image container dari Artifact Registry secara default. Runtime container tidak dapat mengambil image dari registry image container lain di internet. Anda dapat mendownload image dan mengirimnya ke Artifact Registry atau menggunakan Cloud NAT untuk memberikan akses internet keluar untuk node pribadi tertentu. Untuk mengetahui informasi selengkapnya, lihat Memigrasikan penampung eksternal dan Membuat cluster pribadi.

1. Buat contoh namespace dan Definisi Layanan di setiap cluster. Dalam perintah berikut, ganti REVISION dengan label revisi istiod yang Anda catat dari langkah sebelumnya.

   Penting: Jika Anda menggunakan bidang kontrol terkelola Anthos Service Mesh, ganti REVISION dengan asm-managed pada langkah berikut.

   for CTX in ${CTX_1} ${CTX_2}
   do
       kubectl create --context=${CTX} namespace sample
       kubectl label --context=${CTX} namespace sample \
           istio-injection- istio.io/rev=REVISION --overwrite
   done
   

   dengan REVISION adalah label revisi istiod yang sebelumnya Anda catat.

   Output-nya adalah:

   label "istio-injection" not found.
   namespace/sample labeled
   

   Anda dapat mengabaikan label "istio-injection" not found. dengan aman

2. Buat layanan HelloWorld di kedua cluster:

   kubectl create --context=${CTX_1} \
       -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
       -l service=helloworld -n sample
   

   kubectl create --context=${CTX_2} \
       -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
       -l service=helloworld -n sample
   

Men-deploy HelloWorld v1 dan v2 ke setiap cluster

1. Deploy HelloWorld v1 ke CLUSTER_1 dan v2 ke CLUSTER_2, yang nantinya akan membantu memverifikasi load balancing lintas cluster:

   kubectl create --context=${CTX_1} \
     -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
     -l version=v1 -n sample

   kubectl create --context=${CTX_2} \
     -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
     -l version=v2 -n sample

2. Pastikan HelloWorld v1 dan v2 berjalan menggunakan perintah berikut. Pastikan outputnya mirip dengan yang ditunjukkan.:

   kubectl get pod --context=${CTX_1} -n sample

   NAME                            READY     STATUS    RESTARTS   AGE
   helloworld-v1-86f77cd7bd-cpxhv  2/2       Running   0          40s

   kubectl get pod --context=${CTX_2} -n sample

   NAME                            READY     STATUS    RESTARTS   AGE
   helloworld-v2-758dd55874-6x4t8  2/2       Running   0          40s

Men-deploy layanan Tidur

1. Deploy layanan Sleep ke kedua cluster. Pod ini menghasilkan traffic jaringan buatan untuk tujuan demonstrasi:

   for CTX in ${CTX_1} ${CTX_2}
   do
       kubectl apply --context=${CTX} \
           -f ${SAMPLES_DIR}/samples/sleep/sleep.yaml -n sample
   done
   

2. Tunggu hingga layanan Sleep dimulai di setiap cluster. Pastikan outputnya mirip dengan yang ditampilkan:

   kubectl get pod --context=${CTX_1} -n sample -l app=sleep

   NAME                             READY   STATUS    RESTARTS   AGE
   sleep-754684654f-n6bzf           2/2     Running   0          5s

   kubectl get pod --context=${CTX_2} -n sample -l app=sleep

   NAME                             READY   STATUS    RESTARTS   AGE
   sleep-754684654f-dzl9j           2/2     Running   0          5s

Memverifikasi load balancing lintas cluster

Panggil layanan HelloWorld beberapa kali dan periksa output untuk memverifikasi balasan alternatif dari v1 dan v2:

1. Panggil layanan HelloWorld:

   kubectl exec --context="${CTX_1}" -n sample -c sleep \
       "$(kubectl get pod --context="${CTX_1}" -n sample -l \
       app=sleep -o jsonpath='{.items[0].metadata.name}')" \
       -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'
   

   Outputnya akan mirip dengan yang ditunjukkan:

   Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
   Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
   ...

2. Panggil layanan HelloWorld lagi:

   kubectl exec --context="${CTX_2}" -n sample -c sleep \
       "$(kubectl get pod --context="${CTX_2}" -n sample -l \
       app=sleep -o jsonpath='{.items[0].metadata.name}')" \
       -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'
   

   Outputnya akan mirip dengan yang ditunjukkan:

   Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
   Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
   ...

Selamat, Anda telah memverifikasi Anthos Service Mesh multi-cluster Anda yang di-load balanced.

Pembersihan

Setelah selesai memverifikasi load balancing, hapus layanan HelloWorld dan Sleep dari cluster Anda.

kubectl delete ns sample --context ${CTX_1}
kubectl delete ns sample --context ${CTX_2}