Dataproc ジョブのライフサイクル

このページでは、Dataproc ジョブの送信、実行、および完了に伴う一連の手順を示します。ジョブの抑制とデバッグについても説明します。

Dataproc ジョブフロー

  1. ユーザーが Dataproc にジョブを送信します。
  2. ジョブは、dataproc エージェントによって取得されることを待ちます。
    • ジョブが取得された場合は、JobStatus.StateRUNNING としてマークされます。
    • エージェントの障害や Compute Engine ネットワークの障害などが原因でジョブが取得されない場合、そのジョブは ERROR とマークされます。
  3. エージェントは、ジョブを取得すると、Dataproc クラスタのマスターノード上にドライバを開始するために使用可能なリソースが十分にあることを確認します。
    • 十分なリソースが利用可能でない場合、ジョブは遅延(抑制)されます。 JobStatus.Substate はジョブを QUEUED で表示し、Job.JobStatus.details は遅延の原因に関する情報を提供します。
  4. 十分なリソースが利用可能な場合、dataproc エージェントはジョブドライバのプロセスを開始します。
    • この段階では、通常、Apache Hadoop YARN で実行されているアプリケーションが 1 つ以上あります。ただし、ドライバが Cloud Storage ディレクトリのスキャンやその他の起動ジョブタスクの実行を終了するまで、Yarn アプリケーションが開始されないことがあります。
  5. dataproc エージェントは、ジョブの進捗状況、クラスタの指標、ジョブに関連付けられた Yarn アプリケーションの最新情報を Dataproc に定期的に送信します(ジョブのモニタリングとデバッグを参照)。
  6. Yarn アプリケーションが完了します。
    • ドライバがコレクションの実体化などのジョブ完了タスクを行っている間、ジョブは引き続き RUNNING と報告されます。
    • メインスレッドで処理または捕捉されない障害があると、ドライバがゾンビ状態(障害の原因に関する情報が提供されないまま、RUNNING とマークされる)になることがあります。
  7. ドライバが終了します。 dataproc エージェントにより Dataproc に完了が報告されます。
    • Dataproc によりジョブが DONE と報告されます。

ジョブのモニタリングとデバッグ

gcloud コマンドライン ツール、Dataproc REST API、Google Cloud Console を使用して、Dataproc ジョブを分析、デバッグします。

gcloud コマンド

実行中のジョブの状態を調査するには:

gcloud dataproc jobs describe job-id \
    --region=region

ジョブドライバ出力を表示するには、ジョブドライバ出力へのアクセスをご覧ください。

REST API

jobs.get を呼び出して、ジョブの JobStatus.StateJobStatus.SubstateJobStatus detailsYarnApplication の各フィールドを調べます。

コンソール

ジョブドライバ出力を表示するには、ジョブドライバ出力へのアクセスをご覧ください。

Logging で dataproc エージェント ログを表示するには、ログビューアのクラスタ セレクタから [Dataproc クラスタ] → [クラスタ名] → [クラスタの UUID] を選択します。

次にログセレクタを使用して google.dataproc.agent ログを選択します。

Logging でジョブログを表示する

ジョブが失敗した場合、Logging のジョブログにアクセスできます。

誰がジョブを送信したかを判別する

ジョブの詳細を検索すると、submittedBy 項目に誰がジョブを送信したかが表示されます。たとえば、このジョブ出力には、user@domain がクラスタにサンプル ジョブを送信したことが示されています。

...
placement:
  clusterName: cluster-name
  clusterUuid: cluster-uuid
reference:
  jobId: job-uuid
  projectId: project
status:
  state: DONE
  stateStartTime: '2018-11-01T00:53:37.599Z'
statusHistory:
- state: PENDING
  stateStartTime: '2018-11-01T00:33:41.387Z'
- state: SETUP_DONE
  stateStartTime: '2018-11-01T00:33:41.765Z'
- details: Agent reported job success
  state: RUNNING
  stateStartTime: '2018-11-01T00:33:42.146Z'
submittedBy: user@domain