Mendiagnosis Dataproc di cluster GKE

Dataproc menyediakan perintah gcloud CLI dataproc clusters diagnose untuk membantu Anda memecahkan masalah cluster dan tugas Dataproc di GKE. Perintah ini mengumpulkan dan mengarsipkan file konfigurasi, log, dan output terkait cluster ke dalam file arsip, lalu mengupload arsip tersebut ke bucket staging Cloud Storage yang Anda tentukan saat Anda membuat cluster Dataproc di GKE.

Mendiagnosis file arsip

Tabel berikut mencantumkan metrik dan informasi lain yang disertakan dalam file arsip perintah dataproc clusters diagnose.

Informasi sistem

Item Lokasi arsip
Metrik node GKE tempat pod Dataproc virtual di GKE berjalan:
  • Penggunaan CPU
  • Penggunaan memori
 /system/NODE_NAME.json
Metrik jaringan dan status sistem file pod yang sedang berjalan:
  • Penggunaan CPU
  • Penggunaan memori
  • Status jaringan
  • Status sistem file
 /system/POD_NAME.json

Informasi konfigurasi

Item Lokasi arsip
Configmap cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Kontrol Akses Berbasis Peran (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Item Lokasi arsip
Log agen /logs/agent.log
Log mesin Spark /logs/sparkengine.log
Log tugas yang dijalankan dan diselesaikan oleh driver Spark selama 24 jam terakhir /logs/DRIVER_ID

Informasi tugas dan pod

Item Lokasi arsip
Objek JobAttempt /jobattempts
Objek Pod Kubernetes /pods

Langkah berikutnya