Dataproc on GKE-Cluster diagnostizieren

Dataproc bietet den Befehl gcloud CLI dataproc clusters diagnose, mit dem Sie Probleme mit Dataproc on GKE-Clustern und -Jobs beheben können. Mit diesem Befehl werden clusterbezogene Konfigurationsdateien, Logs und Ausgaben in einer Archivdatei erfasst und archiviert. Anschließend wird das Archiv in den Cloud Storage-Staging-Bucket hochgeladen, den Sie beim Erstellen Ihres Dataproc on GKE-Clusters angegeben haben.

Archivdatei diagnostizieren

In den folgenden Tabellen sind Messwerte und andere Informationen aufgeführt, die in der Archivdatei des Befehls dataproc clusters diagnose enthalten sind.

Systeminformationen

Element Speicherort für Archiv
GKE-Knotenmesswerte, bei denen virtuelle Dataproc on GKE-Pods ausgeführt werden:
  • CPU-Nutzung
  • Arbeitsspeichernutzung
 /system/NODE_NAME.json
Netzwerkmesswerte und Dateisystemstatus der ausgeführten Pods:
  • CPU-Nutzung
  • Arbeitsspeichernutzung
  • Netzwerkstatus
  • Dateisystemstatus
 /system/POD_NAME.json

Konfigurationsinformationen

Element Speicherort für Archiv
Cluster-Konfigurationsmap /conf/configmap
Kubernetes-Deployment /conf/deployment
Role-Based Access Control (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Logs

Element Speicherort für Archiv
Agent-Log /logs/agent.log
Spark-Engine-Protokoll /logs/sparkengine.log
Ausgeführter Spark-Treiber und Abschluss der Joblogs in den letzten 24 Stunden /logs/DRIVER_ID

Job- und Pod-Informationen

Element Speicherort für Archiv
JobAttempt-Objekt /jobattempts
Kubernetes-Pod-Objekt /pods

Weitere Informationen