Logging von Dataproc in GKE

Jobtreiberlogs

Informationen zum Konfigurieren und Aufrufen von Dataproc in GKE-Spark-Job-Treiberlogs finden Sie unter Dataproc-Joblogs in Logging.

Cloud Logging

Aktivieren Sie Logging, um Dataproc in GKE-Logs in Cloud Logging anzusehen, zu suchen, zu filtern und zu archivieren.

Sie können in Cloud Logging anhand der folgenden Labels nach Spark-Treiber- und Executor-Logs suchen:

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

Beispielabfragen:

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"
labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"
labels."k8s-pod/dataproc_googleapis_com/role"="driver"

Weitere Informationen

  • Informationen zum Zugriff auf Dataproc on GKE-Job- und -Clusterlogs in Logging finden Sie unter Dataproc-Logs.