Mendiagnosis Dataproc di cluster GKE

Dataproc menyediakan perintah gcloud CLI dataproc clusters diagnose untuk membantu Anda memecahkan masalah Dataproc pada cluster dan tugas GKE. Perintah ini mengumpulkan dan mengarsipkan file konfigurasi, log, dan output terkait cluster ke dalam file arsip, lalu mengupload arsip ke bucket staging Cloud Storage yang Anda tentukan saat membuat Dataproc di cluster GKE.

Mendiagnosis file arsip

Tabel berikut mencantumkan metrik dan informasi lainnya yang disertakan dalam file arsip perintah dataproc clusters diagnose.

Informasi sistem

Item Lokasi arsip
Metrik node GKE tempat pod Dataproc virtual di GKE berjalan:
  • Penggunaan CPU
  • Penggunaan memori
 /system/NODE_NAME.json
Metrik jaringan dan status sistem file pod yang berjalan:
  • Penggunaan CPU
  • Penggunaan memori
  • Status jaringan
  • Status sistem file
 /system/POD_NAME.json

Informasi konfigurasi

Item Lokasi arsip
Configmap cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Kontrol Akses Berbasis Peran (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Item Lokasi arsip
Log agen /logs/agent.log
Log mesin Spark /logs/sparkengine.log
Log tugas yang dijalankan dan diselesaikan oleh driver Spark selama 24 jam terakhir /logs/DRIVER_ID

Informasi tugas dan pod

Item Lokasi arsip
Objek JobAttempt /jobattempts
Objek Pod Kubernetes /pods

Untuk informasi selengkapnya