Dataproc in GKE-Clustern diagnostizieren

Dataproc bietet den Befehl gcloud CLI dataproc clusters diagnose, mit dem Sie Probleme mit Dataproc in GKE-Clustern und Jobs beheben können. Mit diesem Befehl werden clusterbezogene Konfigurationsdateien, Protokolle und Ausgaben in einer Archivdatei erfasst und archiviert. Anschließend wird das Archiv in den Cloud Storage-Staging-Bucket hochgeladen, den Sie beim Erstellen Ihres Dataproc-on-GKE-Clusters angegeben haben.

Diagnosearchivdatei

In den folgenden Tabellen sind Messwerte und andere Informationen aufgeführt, die in der Archivdatei des dataproc clusters diagnose-Befehls enthalten sind.

Systeminformationen

Element Archivierungsspeicherort
GKE-Knotenmesswerte für virtuelle Dataproc on GKE-Pods:
  • CPU-Nutzung
  • Arbeitsspeichernutzung
 /system/NODE_NAME.json
Netzwerkmesswerte und Dateisystemstatus laufender Pods:
  • CPU-Nutzung
  • Arbeitsspeichernutzung
  • Netzwerkstatus
  • Dateisystemstatus
 /system/POD_NAME.json

Konfigurationsinformationen

Element Archivierungsspeicherort
Cluster-Configmap /conf/configmap
Kubernetes-Deployment /conf/deployment
Rollenbasierte Zugriffssteuerung (RBAC)
  • /conf/role
  • /conf/rolebind
  • /conf/serviceaccount

Logs

Element Archivierungsspeicherort
Agent-Log /logs/agent.log
Spark-Engine-Protokoll /logs/sparkengine.log
Spark-Laufzeit-Jobprotokolle, die in den letzten 24 Stunden ausgeführt und abgeschlossen wurden /logs/DRIVER_ID

Informationen zu Job und Pod

Element Archivierungsspeicherort
JobAttempt-Objekt /jobattempts
Kubernetes-Pod-Objekt /pods

Weitere Informationen