Topik ini menjelaskan deployment multi-region untuk Apigee Hybrid di GKE, Anthos GKE yang di-deploy secara lokal, Microsoft® Azure Kubernetes Service (AKS), Amazon Elastic Kubernetes Service (EKS), dan di RedHat OpenShift. Pilih platform Anda di prasyarat dan prosedur.
Topologi untuk deployment multi-region mencakup hal berikut:
- Active-Active: Jika Anda memiliki aplikasi yang di-deploy di beberapa lokasi geografis dan memerlukan respons API latensi rendah untuk deployment Anda. Anda memiliki opsi untuk men-deploy hybrid di beberapa lokasi geografis yang paling dekat dengan klien Anda. Misalnya: Pantai Barat AS, Pantai Timur AS, Eropa, Asia Pasifik (APAC).
- Active-Passive: Saat Anda memiliki region utama dan region failover atau pemulihan dari bencana (disaster recovery).
Region dalam deployment hybrid multi-region berkomunikasi melalui Cassandra, seperti yang ditampilkan pada gambar berikut:
Prasyarat
Sebelum mengonfigurasi hybrid untuk beberapa region, Anda harus menyelesaikan prasyarat berikut:
GKE
- Saat menginstal deployment Apigee multi-region di antara jaringan yang berbeda (misalnya penyedia cloud yang berbeda, jaringan VPC yang berbeda, cloud dan infrastruktur lokal, dll.), Anda harus menyediakan konektivitas internal antara jaringan terpisah ini yang dapat digunakan Cassandra untuk berkomunikasi antar-node. Hal ini dapat dilakukan dengan VPN atau solusi konektivitas khusus cloud.
- Jika Anda menggunakan Workload Identity dalam satu cluster untuk mengautentikasi akun layanan, kami sangat menyarankan agar Anda menggunakan Workload Identity untuk setiap cluster yang diperluas. Lihat Mengaktifkan Workload Identity di GKE atau Mengaktifkan Workload Identity Federation di AKS dan EKS.
- Siapkan cluster Kubernetes di beberapa region dengan blok CIDR yang berbeda.
- Pastikan cert-manager telah diinstal di setiap cluster.
- Menyiapkan komunikasi lintas region.
- Memastikan semua pod Cassandra dapat me-resolve nama host-nya sendiri. Jika hostNetwork disetel ke false, nama host-nya adalah nama pod Cassandra. Jika hostNetwork disetel ke true, nama host-nya adalah nama host node Kubernetes yang menjalankan pod Cassandra.
- Persyaratan Cassandra Multi-Region:
- Pastikan namespace jaringan pod memiliki konektivitas di seluruh region, termasuk firewall, vpn, peering vpc, dan peering vNet. Hal ini berlaku untuk sebagian besar penginstalan GKE.
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster berjalan dalam "mode jaringan pulau"), aktifkan fitur
hostNetwork
Kubernetes dengan menetapkancassandra.hostNetwork: true
dalam file penggantian untuk semua region dalam penginstalan multi-region hybrid Apigee.Untuk informasi lebih lanjut tentang perlunya
hostNetwork
, lihat Cluster mode pulau dan hostNetwork di bawah. - Aktifkan
hostNetwork
pada cluster yang ada sebelum memperluas konfigurasi multi-region ke region baru. - Saat
hostNetwork
diaktifkan, pastikan node pekerja dapat melakukan pencarian DNS maju untuk nama host-nya. Apigee Cassandra menggunakan pencarian DNS penerusan untuk mendapatkan IP host saat memulai. - Buka port TCP 7001 antara cluster Kubernetes di semua region agar node pekerja di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk mengetahui informasi tentang nomor port Cassandra.
Untuk informasi selengkapnya, lihat dokumentasi Kubernetes.
GKE on-prem
- Saat menginstal deployment Apigee multi-region di antara jaringan yang berbeda (misalnya penyedia cloud yang berbeda, jaringan VPC yang berbeda, cloud dan infrastruktur lokal, dll.), Anda harus menyediakan konektivitas internal antara jaringan terpisah ini yang dapat digunakan Cassandra untuk berkomunikasi antar-node. Hal ini dapat dilakukan dengan VPN atau solusi konektivitas khusus cloud.
- Siapkan cluster Kubernetes di beberapa region dengan blok CIDR yang berbeda.
- Pastikan cert-manager telah diinstal di setiap cluster.
- Menyiapkan komunikasi lintas region.
- Memastikan semua pod Cassandra dapat me-resolve nama host-nya sendiri. Jika hostNetwork disetel ke false, nama host-nya adalah nama pod Cassandra. Jika hostNetwork disetel ke true, nama host-nya adalah nama host node Kubernetes yang menjalankan pod Cassandra.
- Persyaratan Cassandra Multi-Region:
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster
berjalan dalam "mode jaringan pulau", yaitu kasus default dalam penginstalan GKE lokal), aktifkan
fitur
hostNetwork
Kubernetes dengan menyetelcassandra.hostNetwork: true
dalam file penggantian untuk semua region dalam penginstalan multi-region hybrid Apigee.Untuk informasi lebih lanjut tentang perlunya
hostNetwork
, lihat Cluster mode pulau dan hostNetwork di bawah. - Aktifkan
hostNetwork
pada cluster yang ada sebelum memperluas konfigurasi multi-region ke region baru. - Saat
hostNetwork
diaktifkan, pastikan node pekerja dapat melakukan pencarian DNS maju untuk nama host-nya. Apigee Cassandra menggunakan pencarian DNS penerusan untuk mendapatkan IP host saat memulai. - Buka port Cassandra antara cluster Kubernetes di semua region agar worker node di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk nomor port Cassandra.
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster
berjalan dalam "mode jaringan pulau", yaitu kasus default dalam penginstalan GKE lokal), aktifkan
fitur
Untuk informasi selengkapnya, lihat dokumentasi Kubernetes.
AKS
- Saat menginstal deployment Apigee multi-region di antara jaringan yang berbeda (misalnya penyedia cloud yang berbeda, jaringan VPC yang berbeda, cloud dan infrastruktur lokal, dll.), Anda harus menyediakan konektivitas internal antara jaringan terpisah ini yang dapat digunakan Cassandra untuk berkomunikasi antar-node. Hal ini dapat dilakukan dengan VPN atau solusi konektivitas khusus cloud.
- Ikuti panduan penginstalan hybrid untuk mengetahui prasyarat seperti Google Cloud dan konfigurasi organisasi sebelum beralih ke langkah penyiapan cluster.
- Pastikan cert-manager telah diinstal di setiap cluster.
- Memastikan semua pod Cassandra dapat me-resolve nama host-nya sendiri. Jika hostNetwork disetel ke false, nama host-nya adalah nama pod Cassandra. Jika hostNetwork disetel ke true, nama host-nya adalah nama host node Kubernetes yang menjalankan pod Cassandra.
- Persyaratan Cassandra Multi-Region:
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster tersebut berjalan dalam "mode jaringan pulau", yaitu kasus default dalam penginstalan AKS), aktifkan fitur
hostNetwork
Kubernetes dengan menetapkancassandra.hostNetwork: true
dalam file penggantian untuk semua region dalam penginstalan multi-region hybrid Apigee.Untuk informasi lebih lanjut tentang perlunya
hostNetwork
, lihat Cluster mode pulau dan hostNetwork di bawah. - Aktifkan
hostNetwork
pada cluster yang ada sebelum memperluas konfigurasi multi-region ke region baru. - Saat
hostNetwork
diaktifkan, pastikan node pekerja dapat melakukan pencarian DNS maju untuk nama host-nya. Apigee Cassandra menggunakan pencarian DNS penerusan untuk mendapatkan IP host saat memulai. - Buka port Cassandra antara cluster Kubernetes di semua region agar worker node di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk nomor port Cassandra.
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster tersebut berjalan dalam "mode jaringan pulau", yaitu kasus default dalam penginstalan AKS), aktifkan fitur
Untuk informasi selengkapnya, lihat dokumentasi Kubernetes.
EKS
- Saat menginstal deployment Apigee multi-region di antara jaringan yang berbeda (misalnya penyedia cloud yang berbeda, jaringan VPC yang berbeda, cloud dan infrastruktur lokal, dll.), Anda harus menyediakan konektivitas internal antara jaringan terpisah ini yang dapat digunakan Cassandra untuk berkomunikasi antar-node. Hal ini dapat dilakukan dengan VPN atau solusi konektivitas khusus cloud.
- Ikuti panduan penginstalan hybrid untuk mengetahui prasyarat seperti Google Cloud dan konfigurasi organisasi sebelum beralih ke langkah penyiapan cluster.
- Pastikan cert-manager telah diinstal di setiap cluster.
- Memastikan semua pod Cassandra dapat me-resolve nama host-nya sendiri. Jika hostNetwork disetel ke false, nama host-nya adalah nama pod Cassandra. Jika hostNetwork disetel ke true, nama host-nya adalah nama host node Kubernetes yang menjalankan pod Cassandra.
- Persyaratan Cassandra Multi-Region:
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster berjalan dalam "mode jaringan pulau"), aktifkan fitur
hostNetwork
Kubernetes dengan menetapkancassandra.hostNetwork: true
dalam file penggantian untuk semua region dalam penginstalan multi-region hybrid Apigee. Amazon EKS menggunakan model jaringan yang terintegrasi sepenuhnya secara default.Untuk informasi lebih lanjut tentang perlunya
hostNetwork
, lihat Cluster mode pulau dan hostNetwork di bawah. - Aktifkan
hostNetwork
pada cluster yang ada sebelum memperluas konfigurasi multi-region ke region baru. - Saat
hostNetwork
diaktifkan, pastikan node pekerja dapat melakukan pencarian DNS maju untuk nama host-nya. Apigee Cassandra menggunakan pencarian DNS penerusan untuk mendapatkan IP host saat memulai. - Buka port Cassandra antara cluster Kubernetes di semua region agar worker node di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk nomor port Cassandra.
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster berjalan dalam "mode jaringan pulau"), aktifkan fitur
Untuk informasi selengkapnya, lihat dokumentasi Kubernetes.
OpenShift
- Saat menginstal deployment Apigee multi-region di antara jaringan yang berbeda (misalnya penyedia cloud yang berbeda, jaringan VPC yang berbeda, cloud dan infrastruktur lokal, dll.), Anda harus menyediakan konektivitas internal antara jaringan terpisah ini yang dapat digunakan Cassandra untuk berkomunikasi antar-node. Hal ini dapat dilakukan dengan VPN atau solusi konektivitas khusus cloud.
- Ikuti panduan penginstalan hybrid untuk mengetahui prasyarat seperti Google Cloud dan konfigurasi organisasi sebelum beralih ke langkah penyiapan cluster.
- Pastikan cert-manager telah diinstal di setiap cluster.
- Memastikan semua pod Cassandra dapat me-resolve nama host-nya sendiri. Jika hostNetwork disetel ke false, nama host-nya adalah nama pod Cassandra. Jika hostNetwork disetel ke true, nama host-nya adalah nama host node Kubernetes yang menjalankan pod Cassandra.
- Persyaratan Cassandra Multi-Region:
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster berjalan dalam "mode jaringan pulau", yaitu kasus default dalam penginstalan OpenShift), aktifkan
fitur
hostNetwork
Kubernetes dengan menetapkancassandra.hostNetwork: true
dalam file penggantian untuk semua region dalam penginstalan multi-region hybrid Apigee.Untuk informasi lebih lanjut tentang perlunya
hostNetwork
, lihat Cluster mode pulau dan hostNetwork di bawah. - Aktifkan
hostNetwork
pada cluster yang ada sebelum memperluas konfigurasi multi-region ke region baru. - Saat
hostNetwork
diaktifkan, pastikan node pekerja dapat melakukan pencarian DNS maju untuk nama host-nya. Apigee Cassandra menggunakan pencarian DNS penerusan untuk mendapatkan IP host saat memulai. - Buka port Cassandra antara cluster Kubernetes di semua region agar worker node di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk nomor port Cassandra.
- Jika namespace jaringan pod tidak memiliki konektivitas antar-cluster (cluster berjalan dalam "mode jaringan pulau", yaitu kasus default dalam penginstalan OpenShift), aktifkan
fitur
Untuk informasi selengkapnya, lihat dokumentasi Kubernetes.
Cluster mode pulau dan hostNetwork
Ada dua model jaringan utama untuk cluster Kubernetes: terintegrasi penuh (atau datar) dan mode pulau. Apigee merekomendasikan penggunaan model jaringan datar jika memungkinkan, karena model ini akan menyederhanakan konektivitas Cassandra multi-region. Saat cluster Kubernetes dikonfigurasi dalam mode pulau, jaringan pod akan diisolasi. Pod tidak dapat berkomunikasi langsung dengan pod yang berjalan di cluster lain menggunakan alamat IP pod. Lihat Penerapan model jaringan standar untuk mengetahui informasi lebih lanjut tentang perbedaan antara kedua model jaringan tersebut dan contohnya masing-masing.
Saat Apigee Hybrid berjalan di dua cluster Kubernetes atau lebih menggunakan model jaringan mode pulau, setelan hostNetwork
untuk Cassandra harus diaktifkan melalui properti cassandra.hostNetwork. Secara default, pod Kubernetes diisolasi ke dalam namespace jaringan individual yang mencegahnya menggunakan IP node pekerja Kubernetes. Jika hostNetwork
disetel ke true
, pod tidak diisolasi dalam namespace jaringannya sendiri, melainkan menggunakan alamat IP dan nama host node pekerja Kubernetes tempat pod dijadwalkan. Hal ini memungkinkan Cassandra menggunakan IP node worker Kubernetes sebagai IP-nya, sehingga Cassandra dapat membuat mesh penuh di antara semua pod Cassandra di beberapa cluster yang berjalan dalam mode pulau.
Resolusi nama host Cassandra
Meskipun pod Cassandra tidak menyelesaikan pod Cassandra lainnya berdasarkan nama host, saat memulai, Cassandra akan memeriksa apakah nama host-nya sendiri dapat diselesaikan oleh DNS. Karena nama host pod sama dengan nama host node pekerja Kubernetes saat hostNetwork
ditetapkan ke true, nama host node pekerja harus dapat diselesaikan ke alamat IP melalui layanan DNS cluster. Jika nama host node worker Kubernetes tidak dapat diselesaikan, pod Cassandra akan gagal dimulai sepenuhnya. Oleh karena itu, nama host node pekerja Kubernetes harus dapat diselesaikan dari pod dalam cluster saat hostNetwork
ditetapkan ke true
.
Mengonfigurasi Apigee Hybrid untuk multi-region
Bagian ini menjelaskan cara mengonfigurasi Apigee Hybrid untuk multi-region.
GKE
Mengonfigurasi host seed multi-region
Bagian ini menjelaskan cara memperluas cluster Cassandra yang ada ke region baru. Penyiapan ini memungkinkan region baru mem-bootstrap cluster dan menggabungkan pusat data yang ada. Tanpa konfigurasi ini, cluster Kubernetes multi-region tidak akan saling mengetahui.
-
Untuk region pertama yang dibuat, dapatkan pod di namespace apigee Anda:
kubectl get pods -o wide -n apigee
- Identifikasi alamat host inti multi-region untuk Cassandra di wilayah ini, misalnya
10.0.0.11
. -
Siapkan file
overrides.yaml
untuk region kedua, lalu tambahkan alamat IP host seed sebagai berikut:cassandra: multiRegionSeedHost: "SEED_HOST_IP_ADDRESS" datacenter: "DATACENTER_NAME" rack: "RACK_NAME" hostNetwork: false clusterName: CLUSTER_NAME
Ganti kode berikut:
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
10.0.0.11
. - DATACENTER_NAME dengan nama pusat data, misalnya
dc-2
. - RACK_NAME dengan nama rak, misalnya
ra-1
. - CLUSTER_NAME dengan nama cluster Cassandra Anda. Secara default, nilainya adalah
apigeecluster
. Jika menggunakan nama cluster yang berbeda, Anda harus menentukan nilai untuk cassandra.clusterName. Anda bebas memilih nilai Anda sendiri, tetapi nilai tersebut harus sama di semua wilayah.
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
Mengonfigurasi region kedua
Untuk menyiapkan region baru:
-
Instal cert-manager di region kedua.
- Salin sertifikat Anda dari cluster yang ada ke cluster baru.
Root CA yang baru digunakan oleh Cassandra dan komponen hibrida lainnya untuk mTLS.
Oleh karena itu, penting untuk memiliki sertifikat yang konsisten di seluruh cluster.
-
Setel konteks ke namespace asli:
kubectl config use-context ORIGINAL_CLUSTER_NAME
-
Ekspor konfigurasi namespace saat ini ke file:
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
-
Ekspor rahasia
apigee-ca
ke file:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
-
Tetapkan konteks ke nama cluster region baru:
kubectl config use-context NEW_CLUSTER_NAME
-
Impor konfigurasi namespace ke cluster baru. Pastikan untuk memperbarui namespace dalam file jika Anda menggunakan namespace berbeda di region baru:
kubectl apply -f apigee-namespace.yaml
-
Impor rahasia ke cluster baru:
kubectl -n cert-manager apply -f apigee-ca.yaml
-
-
Ikuti langkah-langkah untuk Menginstal CRD hybrid Apigee ke region baru.
-
Sekarang, gunakan chart Helm untuk menginstal Apigee Hybrid di region baru dengan perintah Helm Chart berikut (seperti yang dilakukan di region 1):
helm upgrade operator apigee-operator \ --install \ --create-namespace \ --namespace apigee-system \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrideshelm upgrade ENV_NAME apigee-env/ \ --install \ --namespace apigee \ --atomic \ --set env=ENV_NAME \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrideshelm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \ --install \ --namespace apigee \ --atomic \ --set envgroup=ENV_GROUP_NAME \ -f overrides-DATACENTER_NAME.yaml
- Verifikasi penyiapan cluster Cassandra dengan menjalankan perintah berikut. Output akan
menampilkan pusat data yang sudah ada dan baru.
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh yang menampilkan penyiapan yang berhasil:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- Siapkan Cassandra di semua pod di pusat data baru.
- Dapatkan
apigeeorg
dari cluster dengan perintah berikut:kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
Contoh:
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" "rg-hybrid-b7d3b9c"
- Buat file resource kustom replikasi data cassandra (
YAML
). File dapat memiliki nama apa saja. Dalam contoh berikut, file akan memiliki namadatareplication.yaml
.File tersebut harus berisi hal berikut:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
Dengan keterangan:
- REGION_EXPANSION adalah nama yang Anda berikan untuk metadata ini. Anda dapat menggunakan nama apa pun.
- NAMESPACE adalah namespace yang sama dengan yang disediakan di
overrides.yaml
. Nama ini biasanya "apigee
". - APIGEEORG_VALUE adalah output nilai dari
perintah
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
di langkah sebelumnya. Misalnya,rg-hybrid-b7d3b9c
- SOURCE_REGION adalah region sumber, nilai pusat data di bagian cassandra dari penggantian region sumber.yaml
Contoh:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- Terapkan
CassandraDataReplication
dengan perintah berikut:kubectl apply -f datareplication.yaml
- Dapatkan
- Verifikasi status build ulang menggunakan perintah berikut.
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
Hasilnya akan terlihat seperti:
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- Setelah replikasi data selesai dan diverifikasi, perbarui host seed:
-
Menghapus
multiRegionSeedHost: 10.0.0.11
darioverrides-DATACENTER_NAME.yaml
. -
Terapkan kembali perubahan untuk memperbarui CR apigee datastore:
helm upgrade datastore apigee-datastore/ \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
-
Menghapus
- Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah
nodetool status
.kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh berikut menunjukkan contoh entri log:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
Memeriksa status cluster Cassandra
Perintah berikut berguna untuk melihat apakah penyiapan cluster berhasil di dua pusat data. Perintah ini memeriksa status nodetool untuk dua region.
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 100.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 100.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 100.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
GKE on-prem
Mengonfigurasi host seed multi-region
Bagian ini menjelaskan cara memperluas cluster Cassandra yang ada ke region baru. Penyiapan ini memungkinkan region baru mem-bootstrap cluster dan menggabungkan pusat data yang ada. Tanpa konfigurasi ini, cluster Kubernetes multi-region tidak akan saling mengetahui.
-
Untuk region pertama yang dibuat, dapatkan pod di namespace apigee Anda:
kubectl get pods -o wide -n apigee
- Identifikasi alamat host inti multi-region untuk Cassandra di wilayah ini, misalnya
10.0.0.11
. -
Siapkan file
overrides.yaml
untuk region kedua, lalu tambahkan alamat IP host seed sebagai berikut:cassandra: multiRegionSeedHost: "SEED_HOST_IP_ADDRESS" datacenter: "DATACENTER_NAME" rack: "RACK_NAME" hostNetwork: false clusterName: CLUSTER_NAME
Ganti kode berikut:
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
10.0.0.11
. - DATACENTER_NAME dengan nama pusat data, misalnya
dc-2
. - RACK_NAME dengan nama rak, misalnya
ra-1
. - CLUSTER_NAME dengan nama cluster Cassandra Anda. Secara default, nilainya adalah
apigeecluster
. Jika menggunakan nama cluster yang berbeda, Anda harus menentukan nilai untuk cassandra.clusterName. Anda bebas memilih nilai Anda sendiri, tetapi nilai tersebut harus sama di semua wilayah.
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
Mengonfigurasi region kedua
Untuk menyiapkan region baru:
-
Instal cert-manager di region kedua.
- Salin sertifikat Anda dari cluster yang ada ke cluster baru.
Root CA yang baru digunakan oleh Cassandra dan komponen hibrida lainnya untuk mTLS.
Oleh karena itu, penting untuk memiliki sertifikat yang konsisten di seluruh cluster.
-
Setel konteks ke namespace asli:
kubectl config use-context ORIGINAL_CLUSTER_NAME
-
Ekspor konfigurasi namespace saat ini ke file:
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
-
Ekspor rahasia
apigee-ca
ke file:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
-
Tetapkan konteks ke nama cluster region baru:
kubectl config use-context NEW_CLUSTER_NAME
-
Impor konfigurasi namespace ke cluster baru. Pastikan untuk memperbarui namespace dalam file jika Anda menggunakan namespace berbeda di region baru:
kubectl apply -f apigee-namespace.yaml
-
Impor rahasia ke cluster baru:
kubectl -n cert-manager apply -f apigee-ca.yaml
-
-
Ikuti langkah-langkah untuk Menginstal CRD hybrid Apigee ke region baru.
-
Sekarang, gunakan chart Helm untuk menginstal Apigee Hybrid di region baru dengan perintah Helm Chart berikut (seperti yang dilakukan di region 1):
helm upgrade operator apigee-operator \ --install \ --create-namespace \ --namespace apigee-system \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrideshelm upgrade ENV_NAME apigee-env/ \ --install \ --namespace apigee \ --atomic \ --set env=ENV_NAME \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrideshelm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \ --install \ --namespace apigee \ --atomic \ --set envgroup=ENV_GROUP_NAME \ -f overrides-DATACENTER_NAME.yaml
- Verifikasi penyiapan cluster Cassandra dengan menjalankan perintah berikut. Output akan
menampilkan pusat data yang sudah ada dan baru.
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh yang menampilkan penyiapan yang berhasil:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- Siapkan Cassandra di semua pod di pusat data baru.
- Dapatkan
apigeeorg
dari cluster dengan perintah berikut:kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
Contoh:
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" "rg-hybrid-b7d3b9c"
- Buat file resource kustom replikasi data cassandra (
YAML
). File dapat memiliki nama apa saja. Dalam contoh berikut, file akan memiliki namadatareplication.yaml
.File tersebut harus berisi hal berikut:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
Dengan keterangan:
- REGION_EXPANSION adalah nama yang Anda berikan untuk metadata ini. Anda dapat menggunakan nama apa pun.
- NAMESPACE adalah namespace yang sama dengan yang disediakan di
overrides.yaml
. Nama ini biasanya "apigee
". - APIGEEORG_VALUE adalah output nilai dari
perintah
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
di langkah sebelumnya. Misalnya,rg-hybrid-b7d3b9c
- SOURCE_REGION adalah region sumber, nilai pusat data di bagian cassandra dari penggantian region sumber.yaml
Contoh:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- Terapkan
CassandraDataReplication
dengan perintah berikut:kubectl apply -f datareplication.yaml
- Dapatkan
- Verifikasi status build ulang menggunakan perintah berikut.
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
Hasilnya akan terlihat seperti:
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- Setelah replikasi data selesai dan diverifikasi, perbarui host seed:
-
Menghapus
multiRegionSeedHost: 10.0.0.11
darioverrides-DATACENTER_NAME.yaml
. -
Terapkan kembali perubahan untuk memperbarui CR apigee datastore:
helm upgrade datastore apigee-datastore/ \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
-
Menghapus
- Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah
nodetool status
.kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh berikut menunjukkan contoh entri log:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
Memeriksa status cluster Cassandra
Perintah berikut berguna untuk melihat apakah penyiapan cluster berhasil di dua pusat data. Perintah ini memeriksa status nodetool untuk dua region.
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 100.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 100.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 100.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
AKS
Buat jaringan virtual di setiap region
Ikuti rekomendasi Azure untuk membuat komunikasi lintas region di sini: VNet-to-VNet: Menghubungkan Jaringan Virtual di Azure di Berbagai Region.
Membuat cluster multi-regional
Siapkan cluster Kubernetes di beberapa region dengan blok CIDR yang berbeda. Lihat juga Langkah 1: Buat cluster. Gunakan nama lokasi dan jaringan virtual yang Anda buat sebelumnya.
Buka port Cassandra antara cluster Kubernetes di semua region agar worker node di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk nomor port Cassandra.
Mengonfigurasi host seed multi-region
Bagian ini menjelaskan cara memperluas cluster Cassandra yang ada ke region baru. Penyiapan ini memungkinkan region baru mem-bootstrap cluster dan menggabungkan pusat data yang ada. Tanpa konfigurasi ini, cluster Kubernetes multi-region tidak akan saling mengetahui.
-
Untuk region pertama yang dibuat, dapatkan pod di namespace apigee Anda:
kubectl get pods -o wide -n apigee
- Identifikasi alamat host inti multi-region untuk Cassandra di wilayah ini, misalnya
10.0.0.11
. -
Siapkan file
overrides.yaml
untuk region kedua, lalu tambahkan alamat IP host seed sebagai berikut:cassandra: multiRegionSeedHost: "SEED_HOST_IP_ADDRESS" datacenter: "DATACENTER_NAME" rack: "RACK_NAME" hostNetwork: false clusterName: CLUSTER_NAME
Ganti kode berikut:
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
10.0.0.11
. - DATACENTER_NAME dengan nama pusat data, misalnya
dc-2
. - RACK_NAME dengan nama rak, misalnya
ra-1
. - CLUSTER_NAME dengan nama cluster Cassandra Anda. Secara default, nilainya adalah
apigeecluster
. Jika menggunakan nama cluster yang berbeda, Anda harus menentukan nilai untuk cassandra.clusterName. Anda bebas memilih nilai Anda sendiri, tetapi nilai tersebut harus sama di semua wilayah.
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
Mengonfigurasi region kedua
Untuk menyiapkan region baru:
-
Instal cert-manager di region kedua.
- Salin sertifikat Anda dari cluster yang ada ke cluster baru.
Root CA yang baru digunakan oleh Cassandra dan komponen hibrida lainnya untuk mTLS.
Oleh karena itu, penting untuk memiliki sertifikat yang konsisten di seluruh cluster.
-
Setel konteks ke namespace asli:
kubectl config use-context ORIGINAL_CLUSTER_NAME
-
Ekspor konfigurasi namespace saat ini ke file:
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
-
Ekspor rahasia
apigee-ca
ke file:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
-
Tetapkan konteks ke nama cluster region baru:
kubectl config use-context NEW_CLUSTER_NAME
-
Impor konfigurasi namespace ke cluster baru. Pastikan untuk memperbarui namespace dalam file jika Anda menggunakan namespace berbeda di region baru:
kubectl apply -f apigee-namespace.yaml
-
Impor rahasia ke cluster baru:
kubectl -n cert-manager apply -f apigee-ca.yaml
-
-
Ikuti langkah-langkah untuk Menginstal CRD hybrid Apigee ke region baru.
-
Sekarang, gunakan chart Helm untuk menginstal Apigee Hybrid di region baru dengan perintah Helm Chart berikut (seperti yang dilakukan di region 1):
helm upgrade operator apigee-operator \ --install \ --create-namespace \ --namespace apigee-system \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrideshelm upgrade ENV_NAME apigee-env/ \ --install \ --namespace apigee \ --atomic \ --set env=ENV_NAME \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrideshelm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \ --install \ --namespace apigee \ --atomic \ --set envgroup=ENV_GROUP_NAME \ -f overrides-DATACENTER_NAME.yaml
- Verifikasi penyiapan cluster Cassandra dengan menjalankan perintah berikut. Output akan
menampilkan pusat data yang sudah ada dan baru.
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh yang menampilkan penyiapan yang berhasil:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- Siapkan Cassandra di semua pod di pusat data baru.
- Dapatkan
apigeeorg
dari cluster dengan perintah berikut:kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
Contoh:
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" "rg-hybrid-b7d3b9c"
- Buat file resource kustom replikasi data cassandra (
YAML
). File dapat memiliki nama apa saja. Dalam contoh berikut, file akan memiliki namadatareplication.yaml
.File tersebut harus berisi hal berikut:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
Dengan keterangan:
- REGION_EXPANSION adalah nama yang Anda berikan untuk metadata ini. Anda dapat menggunakan nama apa pun.
- NAMESPACE adalah namespace yang sama dengan yang disediakan di
overrides.yaml
. Nama ini biasanya "apigee
". - APIGEEORG_VALUE adalah output nilai dari
perintah
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
di langkah sebelumnya. Misalnya,rg-hybrid-b7d3b9c
- SOURCE_REGION adalah region sumber, nilai pusat data di bagian cassandra dari penggantian region sumber.yaml
Contoh:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- Terapkan
CassandraDataReplication
dengan perintah berikut:kubectl apply -f datareplication.yaml
- Dapatkan
- Verifikasi status build ulang menggunakan perintah berikut.
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
Hasilnya akan terlihat seperti:
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- Setelah replikasi data selesai dan diverifikasi, perbarui host seed:
-
Menghapus
multiRegionSeedHost: 10.0.0.11
darioverrides-DATACENTER_NAME.yaml
. -
Terapkan kembali perubahan untuk memperbarui CR apigee datastore:
helm upgrade datastore apigee-datastore/ \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
-
Menghapus
- Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah
nodetool status
.kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh berikut menunjukkan contoh entri log:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
Memeriksa status cluster Cassandra
Perintah berikut berguna untuk melihat apakah penyiapan cluster berhasil di dua pusat data. Perintah ini memeriksa status nodetool untuk dua region.
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 100.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 100.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 100.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
EKS
Buat jaringan virtual di setiap region
Ikuti rekomendasi AWS untuk membuat komunikasi lintas region seperti yang dijelaskan dalam: Apa yang dimaksud dengan peering VPC?. Istilah AWS untuk menggunakan region yang berbeda adalah peering VPC antar-Region.
Membuat cluster multi-regional
Siapkan cluster Kubernetes di beberapa region dengan blok CIDR yang berbeda. Lihat juga Langkah 1: Buat cluster. Gunakan nama lokasi dan jaringan virtual yang Anda buat sebelumnya.
Buka port Cassandra antara cluster Kubernetes di semua region agar worker node di seluruh region dan pusat data dapat berkomunikasi. Lihat Mengonfigurasi port untuk nomor port Cassandra.
Mengonfigurasi host seed multi-region
Bagian ini menjelaskan cara memperluas cluster Cassandra yang ada ke region baru. Penyiapan ini memungkinkan region baru mem-bootstrap cluster dan menggabungkan pusat data yang ada. Tanpa konfigurasi ini, cluster Kubernetes multi-region tidak akan saling mengetahui.
-
Untuk region pertama yang dibuat, dapatkan pod di namespace apigee Anda:
kubectl get pods -o wide -n apigee
- Identifikasi alamat host inti multi-region untuk Cassandra di wilayah ini, misalnya
10.0.0.11
. -
Siapkan file
overrides.yaml
untuk region kedua, lalu tambahkan alamat IP host seed sebagai berikut:cassandra: multiRegionSeedHost: "SEED_HOST_IP_ADDRESS" datacenter: "DATACENTER_NAME" rack: "RACK_NAME" hostNetwork: false clusterName: CLUSTER_NAME
Ganti kode berikut:
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
10.0.0.11
. - DATACENTER_NAME dengan nama pusat data, misalnya
dc-2
. - RACK_NAME dengan nama rak, misalnya
ra-1
. - CLUSTER_NAME dengan nama cluster Cassandra Anda. Secara default, nilainya adalah
apigeecluster
. Jika menggunakan nama cluster yang berbeda, Anda harus menentukan nilai untuk cassandra.clusterName. Anda bebas memilih nilai Anda sendiri, tetapi nilai tersebut harus sama di semua wilayah.
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
Mengonfigurasi region kedua
Untuk menyiapkan region baru:
-
Instal cert-manager di region kedua.
- Salin sertifikat Anda dari cluster yang ada ke cluster baru.
Root CA yang baru digunakan oleh Cassandra dan komponen hibrida lainnya untuk mTLS.
Oleh karena itu, penting untuk memiliki sertifikat yang konsisten di seluruh cluster.
-
Setel konteks ke namespace asli:
kubectl config use-context ORIGINAL_CLUSTER_NAME
-
Ekspor konfigurasi namespace saat ini ke file:
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
-
Ekspor rahasia
apigee-ca
ke file:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
-
Tetapkan konteks ke nama cluster region baru:
kubectl config use-context NEW_CLUSTER_NAME
-
Impor konfigurasi namespace ke cluster baru. Pastikan untuk memperbarui namespace dalam file jika Anda menggunakan namespace berbeda di region baru:
kubectl apply -f apigee-namespace.yaml
-
Impor rahasia ke cluster baru:
kubectl -n cert-manager apply -f apigee-ca.yaml
-
-
Ikuti langkah-langkah untuk Menginstal CRD hybrid Apigee ke region baru.
-
Sekarang, gunakan chart Helm untuk menginstal Apigee Hybrid di region baru dengan perintah Helm Chart berikut (seperti yang dilakukan di region 1):
helm upgrade operator apigee-operator \ --install \ --create-namespace \ --namespace apigee-system \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrideshelm upgrade ENV_NAME apigee-env/ \ --install \ --namespace apigee \ --atomic \ --set env=ENV_NAME \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrideshelm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \ --install \ --namespace apigee \ --atomic \ --set envgroup=ENV_GROUP_NAME \ -f overrides-DATACENTER_NAME.yaml
- Verifikasi penyiapan cluster Cassandra dengan menjalankan perintah berikut. Output akan
menampilkan pusat data yang sudah ada dan baru.
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh yang menampilkan penyiapan yang berhasil:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- Siapkan Cassandra di semua pod di pusat data baru.
- Dapatkan
apigeeorg
dari cluster dengan perintah berikut:kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
Contoh:
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" "rg-hybrid-b7d3b9c"
- Buat file resource kustom replikasi data cassandra (
YAML
). File dapat memiliki nama apa saja. Dalam contoh berikut, file akan memiliki namadatareplication.yaml
.File tersebut harus berisi hal berikut:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
Dengan keterangan:
- REGION_EXPANSION adalah nama yang Anda berikan untuk metadata ini. Anda dapat menggunakan nama apa pun.
- NAMESPACE adalah namespace yang sama dengan yang disediakan di
overrides.yaml
. Nama ini biasanya "apigee
". - APIGEEORG_VALUE adalah output nilai dari
perintah
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
di langkah sebelumnya. Misalnya,rg-hybrid-b7d3b9c
- SOURCE_REGION adalah region sumber, nilai pusat data di bagian cassandra dari penggantian region sumber.yaml
Contoh:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- Terapkan
CassandraDataReplication
dengan perintah berikut:kubectl apply -f datareplication.yaml
- Dapatkan
- Verifikasi status build ulang menggunakan perintah berikut.
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
Hasilnya akan terlihat seperti:
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- Setelah replikasi data selesai dan diverifikasi, perbarui host seed:
-
Menghapus
multiRegionSeedHost: 10.0.0.11
darioverrides-DATACENTER_NAME.yaml
. -
Terapkan kembali perubahan untuk memperbarui CR apigee datastore:
helm upgrade datastore apigee-datastore/ \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
-
Menghapus
- Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah
nodetool status
.kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh berikut menunjukkan contoh entri log:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
Memeriksa status cluster Cassandra
Perintah berikut berguna untuk melihat apakah penyiapan cluster berhasil di dua pusat data. Perintah ini memeriksa status nodetool untuk dua region.
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 100.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 100.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 100.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
OpenShift
Mengonfigurasi host seed multi-region
Bagian ini menjelaskan cara memperluas cluster Cassandra yang ada ke region baru. Penyiapan ini memungkinkan region baru mem-bootstrap cluster dan menggabungkan pusat data yang ada. Tanpa konfigurasi ini, cluster Kubernetes multi-region tidak akan saling mengetahui.
-
Untuk region pertama yang dibuat, dapatkan pod di namespace apigee Anda:
kubectl get pods -o wide -n apigee
- Identifikasi alamat host inti multi-region untuk Cassandra di wilayah ini, misalnya
10.0.0.11
. -
Siapkan file
overrides.yaml
untuk region kedua, lalu tambahkan alamat IP host seed sebagai berikut:cassandra: multiRegionSeedHost: "SEED_HOST_IP_ADDRESS" datacenter: "DATACENTER_NAME" rack: "RACK_NAME" hostNetwork: false clusterName: CLUSTER_NAME
Ganti kode berikut:
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
10.0.0.11
. - DATACENTER_NAME dengan nama pusat data, misalnya
dc-2
. - RACK_NAME dengan nama rak, misalnya
ra-1
. - CLUSTER_NAME dengan nama cluster Cassandra Anda. Secara default, nilainya adalah
apigeecluster
. Jika menggunakan nama cluster yang berbeda, Anda harus menentukan nilai untuk cassandra.clusterName. Anda bebas memilih nilai Anda sendiri, tetapi nilai tersebut harus sama di semua wilayah.
- SEED_HOST_IP_ADDRESS dengan alamat IP host awal, misalnya
Mengonfigurasi region kedua
Untuk menyiapkan region baru:
-
Instal cert-manager di region kedua.
- Salin sertifikat Anda dari cluster yang ada ke cluster baru.
Root CA yang baru digunakan oleh Cassandra dan komponen hibrida lainnya untuk mTLS.
Oleh karena itu, penting untuk memiliki sertifikat yang konsisten di seluruh cluster.
-
Setel konteks ke namespace asli:
kubectl config use-context ORIGINAL_CLUSTER_NAME
-
Ekspor konfigurasi namespace saat ini ke file:
kubectl get namespace apigee -o yaml > apigee-namespace.yaml
-
Ekspor rahasia
apigee-ca
ke file:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
-
Tetapkan konteks ke nama cluster region baru:
kubectl config use-context NEW_CLUSTER_NAME
-
Impor konfigurasi namespace ke cluster baru. Pastikan untuk memperbarui namespace dalam file jika Anda menggunakan namespace berbeda di region baru:
kubectl apply -f apigee-namespace.yaml
-
Impor rahasia ke cluster baru:
kubectl -n cert-manager apply -f apigee-ca.yaml
-
-
Ikuti langkah-langkah untuk Menginstal CRD hybrid Apigee ke region baru.
-
Sekarang, gunakan chart Helm untuk menginstal Apigee Hybrid di region baru dengan perintah Helm Chart berikut (seperti yang dilakukan di region 1):
helm upgrade operator apigee-operator \ --install \ --create-namespace \ --namespace apigee-system \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade datastore apigee-datastore \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade telemetry apigee-telemetry \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade redis apigee-redis \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ingress-manager apigee-ingress-manager \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
helm upgrade ORG_NAME apigee-org \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env mentioned on the overrideshelm upgrade ENV_NAME apigee-env/ \ --install \ --namespace apigee \ --atomic \ --set env=ENV_NAME \ -f overrides-DATACENTER_NAME.yaml
# repeat the below command for each env group mentioned on the overrideshelm upgrade apigee-virtualhost-ENV_GROUP_NAME apigee-virtualhost/ \ --install \ --namespace apigee \ --atomic \ --set envgroup=ENV_GROUP_NAME \ -f overrides-DATACENTER_NAME.yaml
- Verifikasi penyiapan cluster Cassandra dengan menjalankan perintah berikut. Output akan
menampilkan pusat data yang sudah ada dan baru.
kubectl exec apigee-cassandra-default-0 -n apigee \ -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh yang menampilkan penyiapan yang berhasil:
Datacenter: dc-1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.87.93 68.07 GiB 256 ? fb51465c-167a-42f7-98c9-b6eba1de34de c UN 10.132.84.94 69.9 GiB 256 ? f621a5ac-e7ee-48a9-9a14-73d69477c642 b UN 10.132.84.105 76.95 GiB 256 ? 0561086f-e95b-4232-ba6c-ad519ff30336 d Datacenter: dc-2 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns Host ID Rack UN 10.132.0.8 71.61 GiB 256 ? 8894a98b-8406-45de-99e2-f404ab10b5d6 c UN 10.132.9.204 75.1 GiB 256 ? afa0ffa3-630b-4f1e-b46f-fc3df988092e a UN 10.132.3.133 68.08 GiB 256 ? 25ae39ab-b39e-4d4f-9cb7-de095ab873db b
- Siapkan Cassandra di semua pod di pusat data baru.
- Dapatkan
apigeeorg
dari cluster dengan perintah berikut:kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
Contoh:
Ex: kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" "rg-hybrid-b7d3b9c"
- Buat file resource kustom replikasi data cassandra (
YAML
). File dapat memiliki nama apa saja. Dalam contoh berikut, file akan memiliki namadatareplication.yaml
.File tersebut harus berisi hal berikut:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: REGION_EXPANSION namespace: NAMESPACE spec: organizationRef: APIGEEORG_VALUE force: false source: region: SOURCE_REGION
Dengan keterangan:
- REGION_EXPANSION adalah nama yang Anda berikan untuk metadata ini. Anda dapat menggunakan nama apa pun.
- NAMESPACE adalah namespace yang sama dengan yang disediakan di
overrides.yaml
. Nama ini biasanya "apigee
". - APIGEEORG_VALUE adalah output nilai dari
perintah
kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
di langkah sebelumnya. Misalnya,rg-hybrid-b7d3b9c
- SOURCE_REGION adalah region sumber, nilai pusat data di bagian cassandra dari penggantian region sumber.yaml
Contoh:
apiVersion: apigee.cloud.google.com/v1alpha1 kind: CassandraDataReplication metadata: name: region-expansion namespace: apigee spec: organizationRef: rg-hybrid-b7d3b9c force: false source: region: "dc-1"
- Terapkan
CassandraDataReplication
dengan perintah berikut:kubectl apply -f datareplication.yaml
- Dapatkan
- Verifikasi status build ulang menggunakan perintah berikut.
kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
Hasilnya akan terlihat seperti:
{ "rebuildDetails": { "apigee-cassandra-default-0": { "state": "complete", "updated": 1623105760 }, "apigee-cassandra-default-1": { "state": "complete", "updated": 1623105765 }, "apigee-cassandra-default-2": { "state": "complete", "updated": 1623105770 } }, "state": "complete", "updated": 1623105770 }
- Setelah replikasi data selesai dan diverifikasi, perbarui host seed:
-
Menghapus
multiRegionSeedHost: 10.0.0.11
darioverrides-DATACENTER_NAME.yaml
. -
Terapkan kembali perubahan untuk memperbarui CR apigee datastore:
helm upgrade datastore apigee-datastore/ \ --install \ --namespace apigee \ --atomic \ -f overrides-DATACENTER_NAME.yaml
-
Menghapus
- Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah
nodetool status
.kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status
Contoh berikut menunjukkan contoh entri log:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
Memeriksa status cluster Cassandra
Perintah berikut berguna untuk melihat apakah penyiapan cluster berhasil di dua pusat data. Perintah ini memeriksa status nodetool untuk dua region.
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u APIGEE_JMX_USER -pw APIGEE_JMX_PASSWORD status Datacenter: dc-1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 100.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 100.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 100.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1
Pemecahan masalah
Lihat Kegagalan replikasi data Cassandra.