Masalah ruang heap Java Cassandra

Anda sedang melihat dokumentasi Apigee dan Apigee hybrid.
Tidak ada dokumentasi Apigee Edge yang setara untuk topik ini.

Gejala

Masalah heap Cassandra dapat menyebabkan kelambatan dalam eksekusi proxy hibrida Apigee atau bahkan error Datastore. Terkadang log adalah indikator awal, bahkan sebelum timbulnya gejala.

Pesan Error

Dalam log pod Cassandra (Cloud Logging), entri log mungkin diamati yang mirip dengan yang berikut: 

WARN  [Service Thread] 2023-01-01 01:14:51,121 GCInspector.java:283 - G1 Young Generation GC in 2510ms...
...
WARN  [Service Thread] 2023-01-01 01:14:51,121 GCInspector.java:283 - G1 Old Generation GC in 3100ms...
 
2023-01-01 01:14:51,123 FailureDetector.java:278 - Not marking nodes down due to local pause of 45261214670 > 5000000000
 
java.lang.OutOfMemoryError: Java heap space

Penyebab: Ukuran heap Java tidak memadai

Diagnosis

Dalam file overrides.yaml untuk penginstalan Apigee hybrid, maxHeapSize tidak ditetapkan ke nilai yang memadai. Hal ini dapat disebabkan karena setelan produksi tidak diterapkan, atau throughput saat ini memerlukan setelan yang lebih tinggi dari biasanya.

Resolusi

Untuk mengatasi masalah ini, sesuaikan maxHeapSize dan memory dengan semestinya, dan terapkan perubahannya: 

  resources:
    requests:
      cpu: 7
      memory: 15Gi
  maxHeapSize: 8192M
  heapNewSize: 1200M

Jika masalah tetap ada dengan konfigurasi produksi default, coba tingkatkan nilai lebih lanjut. Perhatikan bahwa Anda perlu memastikan bahwa kapasitas node, throughput disk, dan bandwidth jaringan juga memadai. 

  resources:
    requests:
      cpu: 7
      memory: 30Gi
  maxHeapSize: 16384M
  heapNewSize: 2400M

Jika setelan heap 16 GB masih tidak memadai untuk volume traffic, lanjutkan dengan penskalaan horizontal.

Harus mengumpulkan informasi diagnostik

Jika masalah berlanjut meskipun setelah mengikuti petunjuk di atas, kumpulkan informasi diagnostik berikut, lalu hubungi Layanan Pelanggan Google Cloud:

Selain data biasa yang mungkin diminta untuk Anda berikan, kumpulkan data diagnostik dari semua pod Cassandra dengan perintah di bawah ini: 

for p in $(kubectl -n apigee get pods -l app=apigee-cassandra --no-headers -o custom-columns=":metadata.name") ; do \
for com in info describecluster failuredetector version status ring info gossipinfo compactionstats tpstats netstats cfstats proxyhistograms gcstats ; do kubectl \
-n apigee exec ${p} -- bash -c 'nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD '"$com"' 2>&1 '\
| tee /tmp/k_cassandra_nodetool_${com}_${p}_$(date +%Y.%m.%d_%H.%M.%S).txt | head -n 40 ; echo '...' ; done; done

Kompresi, lalu berikan dalam kasus Dukungan: 

tar -cvzf /tmp/cassandra_data_$(date +%Y.%m.%d_%H.%M.%S).tar.gz /tmp/k_cassandra_nodetool*