Logging in Dataproc on GKE

Job-Treiber-Logs

Informationen zum Konfigurieren und Ansehen von Dataproc in GKE Spark-Job-Treiber-Logs finden Sie unter Dataproc-Job-Logs in Logging.

Cloud Logging

Aktivieren Sie die Protokollierung, um Dataproc-on-GKE-Logs in Cloud Logging aufzurufen, zu durchsuchen, zu filtern und zu archivieren.

Sie können in Cloud Logging mit den folgenden Labels nach Spark-Treiber- und Executor-Logs suchen:

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

Beispielabfragen:

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"

labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"

labels."k8s-pod/dataproc_googleapis_com/role"="driver"

Weitere Informationen

  • Dataproc-Logs: Informationen zum Zugriff auf Dataproc-Job- und Cluster-Logs in GKE