Dataproc on GKE のロギング

ジョブドライバのログ

GKE Spark ジョブドライバのログで Dataproc を構成して表示する方法については、Logging の Dataproc ジョブのログをご覧ください。

Cloud Logging

Logging を有効にして、Cloud Logging の Dataproc on GKE ログを表示、検索、フィルタ、アーカイブします。

Cloud Logging で Spark ドライバとエグゼキュータのログを検索するには、次のラベルを使用します。

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

サンプルクエリ

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"

labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"

labels."k8s-pod/dataproc_googleapis_com/role"="driver"

自然言語処理についてや、

  • Dataproc on GKE ジョブと Logging のクラスタログへのアクセスについては、Dataproc のログをご覧ください。