Anda sedang melihat dokumentasi Apigee dan Apigee hybrid.
Tidak ada padanan
Dokumentasi Apigee Edge untuk topik ini.
Topik ini membahas langkah-langkah yang dapat Anda ambil untuk memecahkan dan memperbaiki masalah dengan
Cassandra. Cassandra adalah
datastore persisten
yang berjalan di komponen cassandra
dari
arsitektur runtime hybrid.
Lihat juga
Ringkasan konfigurasi layanan runtime.
Pod Cassandra terjebak dalam status Rilis
Gejala
Setelah mencoba melakukan update pada pod Cassandra, datastore kemudian melaporkan bahwa ia terjebak dalam status pelepasan.
Pesan error
Ketika menggunakan kubectl
untuk melihat status pod, Anda akan melihat salah satunya
atau lebih pod Cassandra terjebak dalam status rilis:
Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Ack 57s (x7 over 24h) apigee-datastore release started
Kemungkinan penyebab
Pod yang terhenti dalam status rilis dapat disebabkan oleh hal berikut:
Penyebab | Deskripsi |
---|---|
Perubahan kapasitas penyimpanan |
Langkah-langkah dijalankan untuk mengubah kapasitas penyimpanan
File override.yaml .
|
Perubahan Konfigurasi lainnya |
Pembaruan dilakukan pada properti cassandra di
File override.yaml ; Namun, perubahan itu tidak
pengaruh tersebut.
|
Perubahan kapasitas penyimpanan
Diagnosis
-
Gunakan
kubectl
untuk melihat statusapigee
saat ini pod datastore:kubectl get apigeeds -n apigee
NAME STATE AGE default releasing 122d
-
Periksa apakah ada perubahan pada
override.yaml
file: -
Dengan menggunakan sistem kontrol versi, bandingkan versi sebelumnya dari
File
override.yaml
dengan versi saat ini:diff OVERRIDES_BEFORE.yaml OVERRIDES_AFTER.yaml
-
Output perbedaan dalam
override.yaml
dapat menampilkan masalah yang mungkin terjadi dengan ukuran kapasitas penyimpanan. Contoh:# Overrides.yaml before: cassandra: storage: capacity: 500Gi # Overrides.yaml after: cassandra: storage: capacity: 100Gi
Jika ada operasi untuk mengubah kapasitas penyimpanan di mana langkah-langkah yang dilewati, dan
override.yaml
diterapkan secara langsung, ini dapat menyebabkan datastore dalam status rilis. -
Periksa
statefulset
untuk memastikan ada perangkat untukapigee-cassandra-default
:kubectl describe sts -n apigee
Output-nya akan terlihat seperti ini:
Name: apigee-cassandra-default Namespace: apigee CreationTimestamp: Tue, 18 Jul 2023 00:40:57 +0000 Selector: app=apigee-cassandra,name=default Labels: apigee.cloud.google.com.revision=v1-2cc098050836c6b4 apigee.cloud.google.com.version=v1 apigee.cloud.google.com/platform=apigee app=apigee-cassandra name=default Annotations: <none> Replicas: 3 desired | 3 total Update Strategy: RollingUpdate Partition: 0 Pods Status: 3 Running / 0 Waiting / 0 Succeeded / 0 Failed Pod Template: Labels: apigee.cloud.google.com/apigee_servicename=production apigee.cloud.google.com/billing_type=subscription apigee.cloud.google.com/platform=apigee app=apigee-cassandra name=default revision=v1 runtime_type=hybrid Annotations: apigee.cloud.google.com/pod-template-spec-hash: 2cc098050836c6b4 prometheus.io/path: /metrics prometheus.io/port: 7070 prometheus.io/scheme: https prometheus.io/scrape: true Containers: apigee-cassandra: Image: gcr.io/apigee-release/hybrid/apigee-hybrid-cassandra:1.10.1 Ports: 7000/TCP, 7001/TCP, 7199/TCP, 9042/TCP, 8778/TCP Host Ports: 7000/TCP, 7001/TCP, 7199/TCP, 9042/TCP, 8778/TCP Requests: cpu: 500m memory: 1Gi Readiness: exec [/bin/bash -c /opt/apigee/ready-probe.sh] delay=0s timeout=5s period=10s #success=1 #failure=2 Environment: POD_NAME: (v1:metadata.name) POD_IP: (v1:status.podIP) MAX_HEAP_SIZE: 512M HEAP_NEWSIZE: 100M CASSANDRA_SEEDS: apigee-cassandra-default-0.apigee-cassandra-default.apigee.svc.cluster.local CASSANDRA_CLUSTER_NAME: apigeecluster CASSANDRA_DC: dc-1 CASSANDRA_RACK: ra-1 CASSANDRA_OPEN_JMX: true CPS_ADMIN_USER: <set to the key 'admin.user' in secret 'apigee-datastore-default-creds'> Optional: false CPS_ADMIN_PASSWORD: <set to the key 'admin.password' in secret 'apigee-datastore-default-creds'> Optional: false APIGEE_JMX_USER: <set to the key 'jmx.user' in secret 'apigee-datastore-default-creds'> Optional: false APIGEE_JMX_PASSWORD: <set to the key 'jmx.password' in secret 'apigee-datastore-default-creds'> Optional: false CASS_PASSWORD: <set to the key 'default.password' in secret 'apigee-datastore-default-creds'> Optional: false APIGEE_JOLOKIA_USER: <set to the key 'jolokia.user' in secret 'apigee-datastore-default-creds'> Optional: false APIGEE_JOLOKIA_PASSWORD: <set to the key 'jolokia.password' in secret 'apigee-datastore-default-creds'> Optional: false Mounts: /opt/apigee/apigee-cassandra/conf from appsfs (rw) /opt/apigee/customer from cwc-volume (ro) /opt/apigee/data from cassandra-data (rw) /opt/apigee/ssl from tls-volume (ro) /var/secrets/google from apigee-cassandra-backup (rw) /var/secrets/keys from apigee-cassandra-backup-key-file (rw) Volumes: cwc-volume: Type: Secret (a volume populated by a Secret) SecretName: config-cassandra-default Optional: false tls-volume: Type: Secret (a volume populated by a Secret) SecretName: apigee-cassandra-default-tls Optional: false appsfs: Type: EmptyDir (a temporary directory that shares a pod's lifetime) Medium: SizeLimit: <unset> apigee-cassandra-backup: Type: Secret (a volume populated by a Secret) SecretName: apigee-cassandra-backup-svc-account Optional: true apigee-cassandra-backup-key-file: Type: Secret (a volume populated by a Secret) SecretName: apigee-cassandra-backup-key-file Optional: true Volume Claims: Name: cassandra-data StorageClass: Labels: <none> Annotations: <none> Capacity: 10Gi Access Modes: [ReadWriteOnce] Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal SuccessfulCreate 47m statefulset-controller create Pod apigee-cassandra-default-2 in StatefulSet apigee-cassandra-default successful
-
Periksa apakah ada error di pengontrol apigee:
kubectl logs -f apigee-controller-manager-59cf595c77-wtwnr -n apigee-system -c manager | grep apigeedatastore
Hasil:
"error creating apigee-cassandra object: failed to update resource apigee/apigee-cassandra-default: StatefulSet.apps \"apigee-cassandra-default\" is invalid: spec: Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', 'updateStrategy', 'persistentVolumeClaimRetentionPolicy' and 'minReadySeconds' are forbiddenerror creating apigee-cassandra object: failed to update resource apigee/apigee-cassandra-default: StatefulSet.apps \"apigee-cassandra-default\" is invalid: spec: Forbidden: updates to statefulset spec for fields other than 'replicas', 'template', 'updateStrategy', 'persistentVolumeClaimRetentionPolicy' and 'minReadySeconds' are forbidden"
Resolusi
Status untuk Cassandra dapat direset menggunakan langkah-langkah berikut untuk mendapatkannya kembali ke status berjalan:
-
Nonaktifkan
apigee-controller
:kubectl -n apigee-system edit deployments and set --enable-controllers=true to --enable-controllers=false
-
Tampilkan datastore ke kondisi berjalan menggunakan perintah
PATCH
:curl -XPATCH \-H "Accept: application/json" -H "Content-Type: application/json-patch+json" --data '[{"op": "replace", "path": "/status/nestedState", "value": ""},{"op": "replace", "path": "/status/state", "value": "running"}]' 'http://127.0.0.1:8001/apis/apigee.cloud.google.com/v1alpha1/namespaces/apigee/apigeedatastores/default/status'
-
Terapkan ulang file
override.yaml
asli:./apigeectl apply --datastore -f overrides.yaml
-
Mengaktifkan
apigee-controller
:kubectl -n apigee-system edit deployments and set --enable-controllers=false to --enable-controllers=true
-
Tunggu hingga datastore kembali dan melakukan validasi menggunakan kode berikut:
kubectl get apigeeds --namespace apigee
-
Validasi deployment dan pod Apigee dalam status running, serta
apigeeds
tidak lagi dalam status rilis:kubectl get ad -n apigee
kubectl get pods -n apigee
kubectl get apigeeds -n apigee
NAME STATE AGE default running 24d
Perubahan konfigurasi lainnya
Pembaruan dilakukan pada properti cassandra
di
override.yaml
dan perubahan tidak diterapkan. Hal ini dapat berupa
perubahan sandi, atau perubahan
resource di override.yaml
.
Atau, Anda keliru menerapkan override.yaml
yang salah ke cluster.
Diagnosis
Lihat langkah-langkah pada Diagnosis.
Resolusi
Lihat langkah-langkah dalam Penyelesaian.
Harus mengumpulkan informasi diagnostik
Jika masalah berlanjut bahkan setelah mengikuti instruksi di atas, kumpulkan informasi diagnostik berikut, lalu hubungi Google Cloud Customer Care:
-
Overrides.yaml
untuk setiap cluster dalam penginstalan. -
Dump info cluster kubernetes dari penginstalan Hybrid:
Buat
cluster-info dump
kubernetes:kubectl cluster-info dump -A --output-directory=/tmp/kubectl-cluster-info-dump
Kompresi menggunakan zip kubernetes
cluster-info dump
:zip -r kubectl-cluster-info-dump`date +%Y.%m.%d_%H.%M.%S`.zip /tmp/kubectl-cluster-info-dump/*
Pod Cassandra berhenti dalam status Tertunda
Gejala
Saat dimulai, pod Cassandra tetap dalam status Tertunda.
Pesan error
Saat menggunakan kubectl
untuk melihat status pod, Anda akan melihat bahwa ada satu atau beberapa
Pod Cassandra terjebak dalam status Pending
. Tujuan
Status Pending
menunjukkan bahwa Kubernetes tidak dapat menjadwalkan pod
pada node: pod tidak dapat dibuat. Contoh:
kubectl get pods -n NAMESPACE
NAME READY STATUS RESTARTS AGE
adah-resources-install-4762w 0/4 Completed 0 10m
apigee-cassandra-default-0 0/1 Pending 0 10m
...
Kemungkinan penyebab
Pod yang dalam status Tertunda dapat memiliki beberapa penyebab. Contoh:
Penyebab | Deskripsi |
---|---|
Resource tidak cukup | Tidak tersedia cukup CPU atau memori untuk membuat pod. |
Volume tidak dibuat | Pod menunggu volume persisten dibuat. |
Driver Amazon EBS CSI tidak ada | Untuk penginstalan EKS, driver Amazon EBS CSI yang diperlukan tidak diinstal. |
Diagnosis
Gunakan kubectl
untuk mendeskripsikan pod guna menentukan sumber error. Contoh:
kubectl -n NAMESPACE describe pods POD_NAME
Contoh:
kubectl describe pods apigee-cassandra-default-0 -n apigee
Output-nya mungkin menampilkan salah satu kemungkinan masalah berikut:
- Jika sumber daya masalah tidak mencukupi, Anda akan melihat pesan Peringatan yang menunjukkan CPU atau memori yang tidak cukup.
- Jika pesan error menunjukkan bahwa pod memiliki PersistentVolumeKlaim (PVC) langsung yang tidak terikat, berarti pod tidak dapat membuat Volume persisten.
Resolusi
Resource tidak cukup
Ubah kumpulan node Cassandra agar memiliki resource CPU dan memori yang memadai. Lihat Mengubah ukuran kumpulan node untuk mengetahui detailnya.
Volume persisten tidak dibuat
Jika Anda menemukan masalah volume persisten, jelaskan PersistentVolumeKlaim (PVC) untuk menentukan mengapa file tersebut tidak dibuat:
- Buat daftar PVC di cluster:
kubectl -n NAMESPACE get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE cassandra-data-apigee-cassandra-default-0 Bound pvc-b247faae-0a2b-11ea-867b-42010a80006e 10Gi RWO standard 15m ...
- Jelaskan PVC untuk pod yang gagal. Misalnya, perintah berikut
menjelaskan PVC yang terikat ke pod
apigee-cassandra-default-0
:kubectl apigee describe pvc cassandra-data-apigee-cassandra-default-0 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Warning ProvisioningFailed 3m (x143 over 5h) persistentvolume-controller storageclass.storage.k8s.io "apigee-sc" not found
Perhatikan bahwa dalam contoh ini, StorageClass bernama
apigee-sc
tidak ada. Kepada mengatasi masalah ini, buat StorageClass yang hilang di cluster, seperti yang dijelaskan dalam Mengubah StorageClass default.
Lihat juga Melakukan Debug Pod.
Driver Amazon EBS CSI tidak ada
Jika instance hybrid berjalan pada cluster EKS, pastikan cluster EKS menggunakan Driver Amazon EBS container storage interface (CSI). Lihat Pertanyaan umum (FAQ) terkait migrasi Amazon EBS CSI untuk mengetahui detailnya.
Pod Cassandra terjebak dalam status CrashLoopBackoff
Gejala
Saat memulai, pod Cassandra tetap dalam status CrashLoopBackoff.
Pesan error
Saat menggunakan kubectl
untuk melihat status pod, Anda akan melihat bahwa ada satu atau beberapa
Pod Cassandra berada dalam status CrashLoopBackoff
.
Status ini menunjukkan bahwa Kubernetes tidak dapat membuat pod. Contoh:
kubectl get pods -n NAMESPACE
NAME READY STATUS RESTARTS AGE
adah-resources-install-4762w 0/4 Completed 0 10m
apigee-cassandra-default-0 0/1 CrashLoopBackoff 0 10m
...
Kemungkinan penyebab
Pod yang berada dalam status CrashLoopBackoff
dapat memiliki beberapa penyebab. Contoh:
Penyebab | Deskripsi |
---|---|
Pusat data berbeda dengan pusat data sebelumnya | Error ini menunjukkan bahwa pod Cassandra memiliki volume persisten yang memiliki data dari tetapi Pod baru tidak dapat bergabung dengan cluster lama. Hal ini biasanya terjadi saat volume persisten yang sudah tidak berlaku tetap dari Cassandra sebelumnya cluster di node Kubernetes yang sama. Masalah ini dapat terjadi jika Anda menghapus dan membuat ulang Cassandra di gugus. |
Upgrade Kubernetes | Upgrade Kubernetes dapat memengaruhi cluster Cassandra. Hal ini dapat terjadi saat worker Anthos node yang menghosting pod Cassandra diupgrade ke versi OS baru. |
Diagnosis
Periksa log error Cassandra untuk menentukan penyebab masalah.
- Tampilkan daftar pod untuk mendapatkan ID pod Cassandra yang gagal:
kubectl get pods -n NAMESPACE
- Periksa log pod yang gagal:
kubectl logs POD_ID -n NAMESPACE
Resolusi
Cari petunjuk berikut di log pod:
Pusat data berbeda dengan pusat data sebelumnya
Jika Anda melihat pesan log ini:
Cannot start node if snitch's data center (us-east1) differs from previous data center
- Periksa apakah terdapat PVC yang usang atau usang di cluster, lalu hapus.
- Jika ini adalah penginstalan baru, hapus semua PVC dan coba lagi penyiapannya. Contoh:
kubectl -n NAMESPACE get pvc
kubectl -n NAMESPACE delete pvc cassandra-data-apigee-cassandra-default-0
Upgrade Anthos mengubah setelan keamanan
Periksa log Cassandra untuk melihat pesan error ini:
/opt/apigee/run.sh: line 68: ulimit: max locked memory: cannot modify limit: Operation not permitted
- Jika instance Hybrid berada di multi-region, menonaktifkan Hybrid yang terpengaruh instance dan memperluas kembali ke instance region tertentu.
- Jika instance Hybrid adalah satu region, lakukan mulai ulang berkelanjutan pada setiap pod Cassandra dalam instance Hybrid.
Membuat penampung klien untuk proses debug
Bagian ini menjelaskan cara membuat penampung klien yang dapat Anda akses
Utilitas proses debug Cassandra
seperti cqlsh
. Utilitas ini memungkinkan Anda untuk melakukan kueri{i> <i}tabel Cassandra dan
dapat berguna untuk tujuan proses debug.
Membuat penampung klien
Untuk membuat penampung klien, ikuti langkah-langkah berikut:
- Penampung harus menggunakan sertifikat TLS dari
apigee-cassandra-user-setup
pod. Data ini disimpan sebagai secret Kubernetes. Ambil nama rahasia yang menyimpan sertifikat ini:kubectl get secrets -n apigee --field-selector type=kubernetes.io/tls | grep apigee-cassandra-user-setup | awk '{print $1}'
Perintah ini akan menampilkan nama rahasia. Misalnya:
apigee-cassandra-user-setup-rg-hybrid-b7d3b9c-tls
. Anda akan menggunakan ini di bawah pada kolomsecretName
dalam file YAML. - Buka file baru dan tempelkan spesifikasi pod berikut ke dalamnya:
apiVersion: v1 kind: Pod metadata: labels: name: CASSANDRA_CLIENT_NAME # For example: my-cassandra-client namespace: apigee spec: containers: - name: CASSANDRA_CLIENT_NAME image: "gcr.io/apigee-release/hybrid/apigee-hybrid-cassandra-client:YOUR_APIGEE_HYBRID_VERSION" # For example, 1.10.5. imagePullPolicy: Always command: - sleep - "3600" env: - name: CASSANDRA_SEEDS value: apigee-cassandra-default.apigee.svc.cluster.local - name: APIGEE_DML_USER valueFrom: secretKeyRef: key: dml.user name: apigee-datastore-default-creds - name: APIGEE_DML_PASSWORD valueFrom: secretKeyRef: key: dml.password name: apigee-datastore-default-creds volumeMounts: - mountPath: /opt/apigee/ssl name: tls-volume readOnly: true volumes: - name: tls-volume secret: defaultMode: 420 secretName: YOUR_SECRET_NAME # For example: apigee-cassandra-user-setup-rg-hybrid-b7d3b9c-tls restartPolicy: Never
- Simpan file dengan ekstensi
.yaml
. Contoh:my-spec.yaml
. - Terapkan spesifikasi ke cluster Anda:
kubectl apply -f YOUR_SPEC_FILE.yaml -n apigee
- Login ke penampung:
kubectl exec -n apigee CASSANDRA_CLIENT_NAME -it -- bash
- Hubungkan ke antarmuka
cqlsh
Cassandra dengan perintah berikut. Masukkan perintah {i>command<i} persis seperti yang ditunjukkan:cqlsh ${CASSANDRA_SEEDS} -u ${APIGEE_DML_USER} -p ${APIGEE_DML_PASSWORD} --ssl
Menghapus pod klien
Gunakan perintah ini untuk menghapus pod klien Cassandra:
kubectl delete pods -n apigee cassandra-client
Perluasan region yang salah dikonfigurasi: semua node Cassandra dalam satu pusat data
Situasi ini terjadi dalam ekspansi multi-region di platform GKE dan GKE lokal (Anthos). Hindari mencoba membuat semua Node Cassandra di pusat data yang sama.
Gejala
Node Cassandra gagal dibuat di pusat data untuk region kedua.
Pesan Error
failed to rebuild from dc-1: java.lang.RuntimeException : Error while rebuilding node: Stream failed
Resolusi
Perbaiki perluasan wilayah yang salah dikonfigurasi dengan mengikuti langkah-langkah berikut:
- Perbarui Cassandra
replicaCount
menjadi1
dioverrides.yaml
untuk pusat data kedua. Contoh:cassandra: . . . replicaCount: 1
Terapkan setelan dengan
apigeectl apply
:$APIGEECTL_HOME/apigeectl apply -f 2ND_DATACENTER_OVERRIDES.yaml
- Gunakan
kubectl exec
untuk mengakses pod Cassandra yang tersisa dengan perintah berikut:kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
- Nonaktifkan pod Cassandra yang tersisa dengan perintah berikut:
nodetool -u CASSANDRA_DB_USER -pw CASSANDRA_DB_PASSWORD decommission
- Hapus pod Cassandra dari pusat data kedua menggunakan
apigeectl delete
dengan argumen--datastore
. Contoh:$APIGEECTL_HOME/apigeectl delete -f 2ND_DATACENTER_OVERRIDES.yaml --datastore
- Ubah konteks Kubernetes Anda ke cluster untuk pusat data pertama Anda:
kubectl config use-context FIRST_DATACENTER_CLUSTER
- Pastikan tidak ada node Cassandra dalam status nonaktif di pusat data pertama.
nodetool -u CASSANDRA_DB_USER -pw CASSANDRA_DB_PASSWORD status
- Pastikan {i>node<i} Cassandra yang salah dikonfigurasi (ditujukan untuk pusat data kedua) telah
dihapus dari pusat data pertama. Pastikan alamat IP yang ditampilkan di
output status nodetool hanyalah alamat IP untuk pod Cassandra yang ditujukan untuk
pusat data pertama. Misalnya, dalam output berikut, alamat IP
10.100.0.39
harus untuk pod di pusat data pertama Anda.kubectl exec -it -n apigee apigee-cassandra-default-0 -- /bin/bash
nodetool -u CASSANDRA_DB_USER -pw CASSANDRA_DB_PASSWORD status
Datacenter: dc-1 ================ Status=U/D (Up/Down) | State=N/L/J/M (Normal/Leaving/Joining/Moving) -- Address Load Tokens Owns (effective) Host ID Rack UN 10.100.0.39 4.21 MiB 256 100.0% a0b1c2d3-e4f5-6a7b-8c9d-0e1f2a3b4c5d ra-1 - Pastikan file
overrides.yaml
untuk pusat data kedua berisi setelan nama pusat data di bawah bagian {i>cassandra<i}. Contoh:cassandra: datacenter: DATA_CENTER_2 rack: "RACK_NAME" # "ra-1" is the default value. . . .
- Perbarui setelan
cassandra:replicaCount
di fileoverrides.yaml
untuk pusat data kedua ke jumlah yang diinginkan. Contoh:cassandra: datacenter: DATA_CENTER_2 . . . replicaCount: 3
- Terapkan file
overrides.yaml
untuk pusat data kedua dengan--datastore
argumen. Contoh:$APIGEECTL_HOME/apigeectl apply -f 2ND_DATACENTER_OVERRIDES.yaml --datastore
- Gunakan
kubectl exec
untuk mengakses salah satu pod Cassandra baru pada detik pusat data dan memverifikasi ada dua pusat data:"nodetool -u CASSANDRA_DB_USER -pw CASSANDRA_DB_PASSWORD status"
Referensi lainnya
Lihat Pengantar playbook hybrid Apigee X dan Apigee.