Panduan pemecahan masalah Cassandra

Saat ini Anda sedang melihat versi 1.7 dokumentasi hybrid Apigee. This version is end of life. You should upgrade to a newer version. Untuk informasi lebih lanjut, lihat Versi yang didukung.

Version 1.7 (unsupported)

Versi yang didukung:

• v1.12 (terbaru)                        
• v1.11                         
• v1.10                                        
• Daftar versi yang didukung

Versi yang tidak didukung:

• v1.9                                         
• v1.8                                         
• v1.7                                         
• v1.6                                         
• v1.5                                         
• v1.4                                         
• v1.3                                         
• v1.2                                         
• v1.1                                         

Topik ini membahas langkah-langkah yang dapat Anda lakukan untuk memecahkan dan memperbaiki masalah pada datastore Cassandra. Cassandra adalah datastore persisten yang berjalan di komponen cassandra pada arsitektur runtime hybrid. Lihat juga Ringkasan konfigurasi layanan runtime.

Pod Cassandra terjebak dalam status Tertunda

Gejala

Saat dimulai, pod Cassandra tetap dalam status Tertunda.

Pesan error

Saat menggunakan kubectl untuk melihat status pod, Anda akan melihat bahwa satu atau beberapa pod Cassandra terjebak dalam status Pending. Status Pending menunjukkan bahwa Kubernetes tidak dapat menjadwalkan pod pada sebuah node: pod tidak dapat dibuat. Contoh:

kubectl get pods -n namespace

NAME                                     READY   STATUS      RESTARTS   AGE
adah-resources-install-4762w             0/4     Completed   0          10m
apigee-cassandra-default-0               0/1     Pending     0          10m
...

Kemungkinan penyebab

Pod yang terjebak dalam status Tertunda dapat memiliki beberapa penyebab. Contoh:

Penyebab	Deskripsi
Resource tidak cukup	CPU atau memori yang tersedia tidak cukup untuk membuat pod.
Volume tidak dibuat	Pod menunggu volume persisten dibuat.

Diagnosis

Gunakan kubectl untuk mendeskripsikan pod guna menentukan sumber error. Contoh:

kubectl -n namespace describe pods pod_name

Contoh:

kubectl describe pods apigee-cassandra-default-0 -n apigee

Output mungkin menampilkan salah satu kemungkinan masalah berikut:

• Jika masalahnya tidak memiliki resource yang cukup, Anda akan melihat pesan Peringatan yang menunjukkan CPU atau memori tidak mencukupi.
• Jika pesan error menunjukkan bahwa pod memiliki PersistentVolumeClaims (PVC) langsung yang tidak terikat, artinya pod tersebut tidak dapat membuat Volume persistennya.

Resolusi

Resource tidak cukup

Memodifikasi kumpulan node Cassandra agar memiliki resource CPU dan memori yang memadai. Lihat Mengubah ukuran kumpulan node untuk mengetahui detailnya.

Volume persisten tidak dibuat

Jika Anda menentukan masalah volume persisten, jelaskan PersistentVolumeClaim (PVC) untuk menentukan mengapa masalah tersebut tidak dibuat:

1. Cantumkan PVC dalam cluster:

   kubectl -n namespace get pvc
   
   NAME                                        STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   cassandra-data-apigee-cassandra-default-0   Bound    pvc-b247faae-0a2b-11ea-867b-42010a80006e   10Gi       RWO            standard       15m
   ...

2. Jelaskan PVC untuk pod yang gagal. Sebagai contoh, perintah berikut menjelaskan PVC yang terikat pada pod apigee-cassandra-default-0:

   kubectl apigee describe pvc cassandra-data-apigee-cassandra-default-0
   
   Events:
     Type     Reason              Age                From                         Message
     ----     ------              ----               ----                         -------
     Warning  ProvisioningFailed  3m (x143 over 5h)  persistentvolume-controller  storageclass.storage.k8s.io "apigee-sc" not found

   Perhatikan bahwa dalam contoh ini, StorageClass bernama apigee-sc tidak ada. Untuk mengatasi masalah ini, buat StorageClass yang hilang di cluster, seperti yang dijelaskan dalam Mengubah StorageClass default.

Lihat juga Men-debug Pod.

Pod Cassandra macet dalam status CrashLoopBackoff

Gejala

Saat memulai, pod Cassandra tetap dalam status CrashLoopBackoff.

Pesan error

Saat menggunakan kubectl untuk melihat status pod, Anda akan melihat bahwa satu atau beberapa pod Cassandra berada dalam status CrashLoopBackoff. Status ini menunjukkan bahwa Kubernetes tidak dapat membuat pod. Contoh:

kubectl get pods -n namespace

NAME                                     READY   STATUS            RESTARTS   AGE
adah-resources-install-4762w             0/4     Completed         0          10m
apigee-cassandra-default-0               0/1     CrashLoopBackoff  0          10m
...

Kemungkinan penyebab

Pod yang terhenti di status CrashLoopBackoff dapat disebabkan oleh beberapa penyebab. Contoh:

Penyebab	Deskripsi
Pusat data berbeda dengan pusat data sebelumnya	Error ini menunjukkan bahwa pod Cassandra memiliki volume persisten yang memiliki data dari cluster sebelumnya, dan pod baru tidak dapat bergabung dengan cluster lama. Hal ini biasanya terjadi ketika volume persisten yang sudah tidak berlaku tetap ada dari cluster Cassandra sebelumnya di node Kubernetes yang sama. Masalah ini dapat terjadi jika Anda menghapus dan membuat ulang Cassandra di cluster.
Direktori truststore tidak ditemukan	Error ini menunjukkan bahwa pod Cassandra tidak dapat membuat koneksi TLS. Hal ini biasanya terjadi jika kunci dan sertifikat yang diberikan tidak valid, hilang, atau mengalami masalah lainnya.

Diagnosis

Periksa log error Cassandra untuk menentukan penyebab masalah.

1. Buat daftar pod untuk mendapatkan ID pod Cassandra yang gagal:

   kubectl get pods -n namespace

2. Periksa log pod yang gagal:

   kubectl logs pod_id -n namespace

Resolusi

Cari petunjuk berikut di log pod:

Pusat data berbeda dengan pusat data sebelumnya

Jika Anda melihat pesan log ini:

Cannot start node if snitch's data center (us-east1) differs from previous data center

• Periksa apakah ada PVC yang usang atau lama di cluster dan hapus PVC tersebut.
• Jika ini adalah penginstalan baru, hapus semua PVC dan coba penyiapan lagi. Contoh:

  kubectl -n namespace get pvc
  kubectl -n namespace delete pvc cassandra-data-apigee-cassandra-default-0

Direktori truststore tidak ditemukan

Jika Anda melihat pesan log ini:

Caused by: java.io.FileNotFoundException: /apigee/cassandra/ssl/truststore.p12
(No such file or directory)

Pastikan kunci dan sertifikat yang diberikan dalam file penggantian sudah benar dan valid. Misalnya:

cassandra:
  sslRootCAPath: path_to_root_ca-file
  sslCertPath: path-to-tls-cert-file
  sslKeyPath: path-to-tls-key-file

Kegagalan node

Gejala

Saat memulai, pod Cassandra tetap dalam status Tertunda. Masalah ini dapat menunjukkan kegagalan node yang mendasarinya.

Diagnosis

1. Tentukan pod Cassandra mana yang tidak berjalan:

   $ kubectl get pods -n your_namespace
       NAME                  READY   STATUS    RESTARTS   AGE
       cassandra-default-0   0/1     Pending   0          13s
       cassandra-default-1   1/1     Running   0          8d
       cassandra-default-2   1/1     Running   0          8d

2. Periksa worker node. Jika salah satunya berada dalam status NotReady, berarti node tersebut gagal:

   kubectl get nodes -n your_namespace
   NAME                                              STATUS   ROLES    AGE   VERSION            INTERNAL-IP
   gke-hybrid-cluster-apigee-data-178811f1-lv5j      Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.198
   gke-hybrid-cluster-apigee-data-d63b8b8d-n41g      NotReady <none>   34d   v1.21.5-gke.1302   10.138.15.200
   gke-hybrid-cluster-apigee-data-ec752c0b-b1cr      Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.199
   gke-hybrid-cluster-apigee-runtime-ba502ff4-57mq   Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.204
   gke-hybrid-cluster-apigee-runtime-ba502ff4-hwkb   Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.203
   gke-hybrid-cluster-apigee-runtime-bfa558e0-08vw   Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.201
   gke-hybrid-cluster-apigee-runtime-bfa558e0-xvsc   Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.202
   gke-hybrid-cluster-apigee-runtime-d12de7df-693w   Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.241
   gke-hybrid-cluster-apigee-runtime-d12de7df-fn0w   Ready    <none>   34d   v1.21.5-gke.1302   10.138.15.206

Resolusi

1. Keluarkan pod Cassandra yang mati dari cluster.

   $ kubectl exec -it apigee-cassandra-default-0 -- nodetool status
   $ kubectl exec -it apigee-cassandra-default-0 -- nodetool removenode deadnode_hostID

2. Hapus VolumeClaim dari node yang mati untuk mencegah pod Cassandra mencoba muncul di node yang mati karena afinitas:

   kubectl get pvc -n your_namespace
   kubectl delete pvc volumeClaim_name -n your_namespace

3. Update template volume dan buat PersistentVolume untuk node yang baru ditambahkan. Berikut adalah contoh template volume:

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: cassandra-data-3
   spec:
     capacity:
       storage: 100Gi
     accessModes:
     - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain
     storageClassName: local-storage
     local:
       path: /apigee/data
     nodeAffinity:
       "required":
         "nodeSelectorTerms":
         - "matchExpressions":
           - "key": "kubernetes.io/hostname"
             "operator": "In"
             "values": ["gke-hybrid-cluster-apigee-data-d63b8b8d-n41g"]

4. Ganti nilai dengan nama host/IP baru dan terapkan template:

   kubectl apply -f volume-template.yaml

Membuat penampung klien untuk proses debug

Bagian ini menjelaskan cara membuat penampung klien tempat Anda dapat mengakses utilitas proses debug Cassandra seperti cqlsh. Utilitas ini memungkinkan Anda membuat kueri tabel Cassandra dan dapat berguna untuk tujuan proses debug.

Membuat penampung klien

Untuk membuat penampung klien, ikuti langkah-langkah berikut:

1. Penampung menggunakan sertifikat TLS dari pod apigee-cassandra-user-setup. Langkah pertama adalah mengambil nama sertifikat ini:

   kubectl get secrets -n apigee --field-selector type=kubernetes.io/tls | grep apigee-cassandra-user-setup | awk '{print $1}'

   Perintah ini akan menampilkan nama sertifikat. Misalnya: apigee-cassandra-user-setup-rg-hybrid-b7d3b9c-tls.

2. Buka file baru dan tempel spesifikasi pod berikut ke dalamnya:

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
     name: cassandra-client-name   # For example: my-cassandra-client
     namespace: apigee
   spec:
     containers:
     - name: cassandra-client-name
       image: "gcr.io/apigee-release/hybrid/apigee-hybrid-cassandra-client:1.7.6"
       imagePullPolicy: Always
       command:
       - sleep
       - "3600"
       env:
       - name: CASSANDRA_SEEDS
         value: apigee-cassandra-default.apigee.svc.cluster.local
       - name: APIGEE_DML_USER
         valueFrom:
           secretKeyRef:
             key: dml.user
             name: apigee-datastore-default-creds
       - name: APIGEE_DML_PASSWORD
         valueFrom:
           secretKeyRef:
             key: dml.password
             name: apigee-datastore-default-creds
       volumeMounts:
       - mountPath: /opt/apigee/ssl
         name: tls-volume
         readOnly: true
     volumes:
     - name: tls-volume
       secret:
         defaultMode: 420
         secretName: your-secret-name    # For example: apigee-cassandra-user-setup-rg-hybrid-b7d3b9c-tls
     restartPolicy: Never

3. Simpan file dengan ekstensi .yaml. Contoh: my-spec.yaml.
4. Terapkan spesifikasi ke cluster Anda:

   kubectl apply -f your-spec-file.yaml -n apigee

5. Login ke penampung:

   kubectl exec -n apigee cassandra-client -it -- bash

6. Hubungkan ke antarmuka cqlsh Cassandra dengan perintah berikut. Masukkan perintah persis seperti yang ditunjukkan:

   cqlsh ${CASSANDRA_SEEDS} -u ${APIGEE_DML_USER} -p ${APIGEE_DML_PASSWORD} --ssl

Menghapus pod klien

Gunakan perintah berikut untuk menghapus pod klien Cassandra:

kubectl delete pods -n apigee cassandra-client

Referensi lainnya

Lihat Pengantar playbook hybrid Apigee dan Apigee.