Diagnostica di Dataproc sui cluster GKE

Dataproc fornisce un comando gcloud CLI dataproc clusters diagnose per aiutarti a risolvere i problemi relativi ai cluster e ai job di Dataproc su GKE. Questo comando raccoglie e archivia i file di configurazione, i log e gli output correlati al cluster in un file di archivio, quindi carica l'archivio nel bucket di staging di Cloud Storage che hai specificato quando hai creato il cluster Dataproc su GKE.

Diagnosticare il file di archivio

Le tabelle seguenti elencano le metriche e altre informazioni incluse nel file di archivio dei comandi dataproc clusters diagnose.

Informazioni di sistema

Elemento Posizione dell'archivio
Metriche dei nodi GKE in cui vengono eseguiti i pod Dataproc virtuale su GKE:
  • Utilizzo CPU
  • Utilizzo memoria
 /system/NODE_NAME.json
Metriche di rete e stato del file system dei pod in esecuzione:
  • Utilizzo CPU
  • Utilizzo memoria
  • Stato della rete
  • Stato del file system
 /system/POD_NAME.json

Informazioni sulla configurazione

Elemento Posizione dell'archivio
ConfigMap del cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Controllo dell'accesso basato sui ruoli (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Elemento Posizione dell'archivio
Log dell'agente /logs/agent.log
Log del motore Spark /logs/sparkengine.log
Log del driver Spark in esecuzione e dei job completati nelle ultime 24 ore /logs/DRIVER_ID

Informazioni su job e pod

Elemento Posizione dell'archivio
Oggetto JobAttempt /jobattempts
Oggetto pod Kubernetes /pods

Passaggi successivi