Diagnostica di Dataproc sui cluster GKE

Dataproc fornisce il comando gcloud CLI dataproc clusters diagnose per aiutarti a risolvere i problemi relativi ai cluster e ai job di Dataproc su GKE. Questo comando raccoglie e archivia file di configurazione, log e output correlati al cluster in un file di archivio, quindi carica l'archivio nel bucket di staging Cloud Storage specificato quando hai creato il cluster Dataproc su GKE.

File di archivio della diagnosi

Le seguenti tabelle elencano le metriche e altre informazioni incluse nel file di archivio del comando dataproc clusters diagnose.

Informazioni di sistema

Elemento Posizione dell'archivio
Metriche dei nodi GKE in cui vengono eseguiti i pod Dataproc virtuali su GKE:
  • Utilizzo CPU
  • Utilizzo memoria
 /system/NODE_NAME.json
Metriche di rete e stato del file system dei pod in esecuzione:
  • Utilizzo CPU
  • Utilizzo memoria
  • Stato della rete
  • Stato del file system
 /system/POD_NAME.json

Informazioni sulla configurazione

Elemento Posizione dell'archivio
ConfigMap del cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Controllo degli accessi basato sui ruoli (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Elemento Posizione dell'archivio
Log dell'agente /logs/agent.log
Log del motore Spark /logs/sparkengine.log
Log dei job del driver Spark in esecuzione e completati nelle ultime 24 ore /logs/DRIVER_ID

Informazioni su job e pod

Elemento Posizione dell'archivio
Oggetto JobAttempt /jobattempts
Oggetto pod Kubernetes /pods

Per maggiori informazioni