Pod Cassandra tidak dimulai di region sekunder

Anda sedang melihat dokumentasi Apigee dan Apigee Hybrid.
Lihat dokumentasi Apigee Edge.

Catatan: Dokumen ini hanya berlaku untuk pengguna hybrid Apigee.

Gejala

Pod Cassandra gagal dimulai di salah satu region dalam penyiapan hybrid Apigee multi-region. Saat menerapkan file overrides.yaml, pod Cassandra tidak berhasil dimulai.

Pesan error

1. Anda akan melihat pesan error berikut di log pod Cassandra:

   Exception (java.lang.RuntimeException) encountered during startup:
   A node with address 10.52.18.40 already exists, cancelling join.
   use cassandra.replace_addrees if you want to replace this node.
   

2. Anda mungkin melihat peringatan berikut dalam status pod Cassandra:

   

Kemungkinan penyebab

Masalah ini biasanya muncul dalam skenario berikut:

1. Cluster runtime Apigee dihapus di salah satu region.
2. Upaya untuk menginstal ulang cluster runtime Apigee dilakukan di region dengan konfigurasi seed host Cassandra dalam file overrides.yaml seperti yang dijelaskan dalam Deployment multi-region di GKE dan GKE lokal.
3. Menghapus cluster runtime Apigee tidak akan menghapus referensi di cluster Cassandra. Dengan demikian, referensi lama pod Cassandra di cluster yang dihapus akan dipertahankan. Oleh karena itu, saat Anda mencoba menginstal ulang cluster runtime Apigee di region sekunder, pod Cassandra mengeluhkan bahwa alamat IP tertentu sudah ada. Hal itu karena alamat IP mungkin ditetapkan dari subnet yang sama dengan yang digunakan sebelumnya.

Catatan: Dalam playbook ini, istilah region primer mengacu pada cluster runtime Apigee yang responsif dan istilah region sekunder mengacu pada cluster runtime Apigee yang dihapus dan penginstalan ulang dicoba dengan konfigurasi seed Cassandra yang mengacu pada region utama tersebut.

Penyebab	Deskripsi
Referensi sudah tidak berlaku ke pod region sekunder yang dihapus di cluster Cassandra	Menghapus cluster runtime Apigee di region sekunder tidak menghapus referensi ke alamat IP pod Cassandra di region sekunder.

Penyebab: Referensi usang ke pod region sekunder yang dihapus di cluster Cassandra

Diagnosis

1. Pesan error dalam log pod Cassandra A node with address 10.52.18.40 already exists menunjukkan bahwa ada referensi yang sudah tidak berlaku ke salah satu pod Cassandra region sekunder dengan alamat IP 10.52.18.40. Validasi hal ini dengan menjalankan perintah nodetool status di region utama.

   Contoh Output:

   

   Contoh di atas menunjukkan bahwa alamat IP 10.52.18.40 yang terkait dengan pod Cassandra dari region sekunder masih tercantum dalam output.

2. Jika output berisi referensi yang sudah tidak berlaku ke pod Cassandra di region sekunder, hal ini menunjukkan bahwa region sekunder telah dihapus, tetapi alamat IP pod Cassandra di region sekunder tidak dihapus.

Resolusi

Lakukan langkah-langkah berikut untuk menghapus referensi lama pod Cassandra dari cluster yang dihapus:

1. Login ke container dan hubungkan ke antarmuka command line Cassandra dengan mengikuti langkah-langkah di Membuat penampung klien.
2. Setelah Anda login ke container dan terhubung ke antarmuka cqlsh Cassandra, jalankan kueri SQL berikut untuk mencantumkan definisi keyspace saat ini:

   select * from system_schema.keyspaces;
   

   Contoh output yang menunjukkan keyspace saat ini:

   Dalam output berikut, Primary-DC1 mengacu pada region utama dan Secondary-DC2 mengacu pada region sekunder.

   bash-4.4# cqlsh 10.50.112.194 -u admin_user -p ADMIN.PASSWORD --ssl
   Connected to apigeecluster at 10.50.112.194:9042.
   [cqlsh 5.0.1 | Cassandra 3.11.6 | CQL spec 3.4.4 | Native protocol v4]
   Use HELP for help.
   
   admin_user@cqlsh> Select * from system_schema.keyspaces;
   
   keyspace_name                        | durable_writes | replication
   -------------------------------------+----------------+--------------------------------------------------------------------------------------------------
   system_auth                          |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   kvm_tsg1_apigee_hybrid_prod_hybrid   |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   kms_tsg1_apigee_hybrid_prod_hybrid   |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   system_schema                        |           True |                                           {'class': 'org.apache.cassandra.locator.LocalStrategy'}
   system_distributed                   |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   system                               |           True |                                           {'class': 'org.apache.cassandra.locator.LocalStrategy'}
   perses                               |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   cache_tsg1_apigee_hybrid_prod_hybrid |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   rtc_tsg1_apigee_hybrid_prod_hybrid   |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   quota_tsg1_apigee_hybrid_prod_hybrid |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   system_traces                        |           True | {'Primary-DC1': '3', 'Secondary-DC2': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'}
   (11 rows)

   Seperti yang dapat Anda lihat, keyspaces merujuk ke Primary-DC1 dan Secondary-DC2, meskipun cluster runtime Apigee dihapus di region sekunder.

   Referensi yang sudah tidak berlaku ke Secondary-DC2 harus dihapus dari setiap definisi keyspace.

3. Sebelum menghapus referensi yang sudah tidak berlaku dalam definisi keyspace, gunakan perintah berikut untuk menghapus seluruh penginstalan hybrid Apigee, kecuali ASM (Istio) dan cert-manager dari Secondary-DC2. Untuk informasi selengkapnya, lihat Meng-uninstal hybrid runtime.

   apigeectl delete -f YOUR_OVERRIDES_FILE.yaml --all
   

4. Hapus referensi yang tidak berlaku ke Secondary-DC2 dari setiap keyspaces dengan mengubah definisi keyspace.

   ALTER KEYSPACE system_auth WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE kvm_tsg1_apigee_hybrid_prod_hybrid WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE kms_tsg1_apigee_hybrid_prod_hybrid WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE system_distributed WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE perses WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE cache_tsg1_apigee_hybrid_prod_hybrid WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE rtc_tsg1_apigee_hybrid_prod_hybrid WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE quota_tsg1_apigee_hybrid_prod_hybrid WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   ALTER KEYSPACE system_traces WITH replication = {'Primary-DC1': '3', 'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy'};
   

5. Pastikan referensi yang tidak berlaku ke region Secondary-DC2 telah dihapus dari semua keyspaces dengan menjalankan perintah berikut:

   select * from system_schema.keyspaces;
   

6. Login ke pod Cassandra Primary-DC1 dan hapus referensi ke UUID semua pod Cassandra Secondary-DC2. UUID dapat diperoleh dari perintah nodetool status seperti yang dijelaskan sebelumnya dalam Diagnosis.

   kubectl exec -it -n apigee apigee-cassandra-default-0 -- bash
   nodetool -u admin_user -pw ADMIN.PASSWORD removenode UUID_OF_CASSANDRA_POD_IN_SECONDARY_DC2
   

7. Pastikan tidak ada pod Cassandra dari Secondary-DC2 dengan menjalankan perintah nodetool status lagi.
8. Instal cluster runtime Apigee di region sekunder (Secondary-DC2) dengan mengikuti langkah-langkah Deployment multi-region di GKE dan GKE lokal.

Harus mengumpulkan informasi diagnostik

Jika masalah terus berlanjut bahkan setelah mengikuti petunjuk di atas, kumpulkan informasi diagnostik berikut, lalu hubungi Dukungan Apigee:

1. Project ID Google Cloud
2. Nama organisasi campuran Apigee
3. File overrides.yaml dari region primer dan sekunder menutupi semua informasi sensitif
4. Status pod Kubernetes di semua namespace region primer dan sekunder:

   kubectl get pods -A > kubectl-pod-status`date +%Y.%m.%d_%H.%M.%S`.txt
   

5. Dump cluster-info kubernetes dari region primer dan sekunder:

   # generate kubernetes cluster-info dump
   kubectl cluster-info dump -A --output-directory=/tmp/kubectl-cluster-info-dump
   
   # zip kubernetes cluster-info dump
   zip -r kubectl-cluster-info-dump`date +%Y.%m.%d_%H.%M.%S`.zip /tmp/kubectl-cluster-info-dump/*
   

6. Output perintah nodetool di bawah dari region utama.

   export u=`kubectl -n apigee get secrets apigee-datastore-default-creds -o jsonpath='{.data.jmx\.user}' | base64 -d`
   export pw=`kubectl -n apigee get secrets apigee-datastore-default-creds -o jsonpath='{.data.jmx\.password}' | base64 -d`
   
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw info 2>&1 | tee /tmp/k_nodetool_info_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw describecluster 2>&1 | tee /tmp/k_nodetool_describecluster_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw failuredetector 2>&1 | tee /tmp/k_nodetool_failuredetector_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw status 2>&1 | tee /tmp/k_nodetool_status_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw gossipinfo 2>&1 | tee /tmp/k_nodetool_gossipinfo_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw netstats 2>&1 | tee /tmp/k_nodetool_netstats_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw proxyhistograms 2>&1 | tee /tmp/k_nodetool_proxyhistograms_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw tpstats 2>&1 | tee /tmp/k_nodetool_tpstats_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw gcstats 2>&1 | tee /tmp/k_nodetool_gcstats_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw version 2>&1 | tee /tmp/k_nodetool_version_$(date +%Y.%m.%d_%H.%M.%S).txt
   kubectl -n apigee exec -it apigee-cassandra-default-0 -- nodetool -u $u -pw $pw ring 2>&1 | tee /tmp/k_nodetool_ring_$(date +%Y.%m.%d_%H.%M.%S).txt
         

Referensi

• Apigee Hybrid Deployment multi-region di GKE dan GKE lokal
• Dokumentasi Kubernetes
• Perintah nodetool status Cassandra