Journalisation Dataproc sur GKE

Journaux de pilote de tâches

Consultez la page sur les journaux de tâches Dataproc dans Logging pour en savoir plus sur la configuration et l'affichage des journaux de pilotes de tâches Dataproc sur GKE Spark.

Cloud Logging

Activez la suite Cloud Operations pour GKE pour afficher, rechercher, filtrer et archiver les journaux Dataproc sur GKE dans Cloud Logging.

Vous pouvez rechercher les journaux du pilote et de l'exécuteur Spark dans Cloud Logging à l'aide des libellés suivants:

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

Exemples de requêtes:

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"
labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"
labels."k8s-pod/dataproc_googleapis_com/role"="driver"

Pour en savoir plus

  • Consultez la page Cloud Logging pour en savoir plus sur l'accès à Dataproc via les journaux des tâches et des clusters GKE dans Logging.