Dataproc on GKE のロギング

コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

ジョブドライバのログ

GKE Spark ジョブドライバのログで Dataproc を構成して表示する方法については、Logging の Dataproc ジョブのログをご覧ください。

Cloud Logging

GKE 用 Cloud Operations を有効にして、Cloud Logging の Dataproc on GKE ログを表示、検索、フィルタ、アーカイブします。

次のラベルを使用すると、Cloud Logging で Spark のドライバとエグゼキュータのログを検索できます。

  • dataproc.googleapis.com/cluster-uuid = Dataproc cluster UUID
  • dataproc.googleapis.com/job-uuid = Dataproc job UUID
  • dataproc.googleapis.com/role

サンプルクエリ

labels."k8s-pod/dataproc_googleapis_com/cluster-uuid"="Dataproc cluster UUID"
labels."k8s-pod/dataproc_googleapis_com/job-uuid"="Dataproc job UUID"
labels."k8s-pod/dataproc_googleapis_com/role"="driver"

詳細情報

  • Logging で GKE on Dataproc ジョブとクラスタログにアクセスする方法については、Cloud Logging をご覧ください。