Diagnostica Dataproc sui cluster GKE

Dataproc fornisce un comando di diagnosi dei cluster dataproc dell'interfaccia a riga di comando gcloud per aiutarti a risolvere i problemi relativi ai cluster e ai job di Dataproc su GKE. Questo comando raccoglie e archivia i file di configurazione, i log e i output relativi al cluster in un file di archivio, quindi carica l'archivio nel bucket gestione temporanea Cloud Storage specificato al momento della creazione del cluster Dataproc su GKE.

Diagnosi del file di archivio

Le seguenti tabelle elencano le metriche e altre informazioni incluse nel file di archivio dei comandi dataproc clusters diagnose.

Informazioni di sistema

Elemento Archivia posizione
Metriche dei nodi di GKE in cui vengono eseguiti i pod virtuali di Dataproc su GKE:
  • Utilizzo CPU
  • Memoria utilizzata
 /system/NODE_NAME.json
Metriche di rete e stato del file system dei pod in esecuzione:
  • Utilizzo CPU
  • Memoria utilizzata
  • Stato della rete
  • Stato del file system
 /system/POD_NAME.json

Informazioni di configurazione

Elemento Archivia posizione
ConfigMap cluster /conf/configmap
Deployment Kubernetes /conf/deployment
Controllo degli accessi basato su ruoli (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Log

Elemento Archivia posizione
Log agente /logs/agent.log
Log di Spark Engine /logs/sparkengine.log
Driver Spark in esecuzione e log dei job completati nelle ultime 24 ore /logs/DRIVER_ID

Informazioni su job e pod

Elemento Archivia posizione
Oggetto JobTentativo /jobattempts
Oggetto pod di Kubernetes /pods

Per maggiori informazioni