Dataproc on GKE 日志记录

作业驱动程序日志

如需了解如何配置和查看 Dataproc on GKE Spark 作业驱动程序日志,请参阅 Logging 中的 Dataproc 作业日志

Cloud Logging

启用 Logging,以便在 Cloud Logging 中查看、搜索、过滤和归档 Dataproc on GKE 日志。

您可以使用以下标签在 Cloud Logging 中搜索 Spark 驱动程序和执行器日志:

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

示例查询:

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"
labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"
labels."k8s-pod/dataproc_googleapis_com/role"="driver"

如需深入了解

  • 如需了解如何在 Logging 中访问 Dataproc on GKE 作业和集群日志,请参阅 Dataproc 日志