Dataproc on GKE 日志记录

作业驱动程序日志

如需了解如何配置和查看 Dataproc on GKE Spark 作业驱动程序日志，请参阅 Logging 中的 Dataproc 作业日志。

Cloud Logging

启用 Logging，以便在 Cloud Logging 中查看、搜索、过滤和归档 Dataproc on GKE 日志。

您可以使用以下标签在 Cloud Logging 中搜索 Spark 驱动程序和执行器日志：

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

查询示例：

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"

labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"

labels."k8s-pod/dataproc_googleapis_com/role"="driver"

后续步骤