Dataproc Serverless ステージング バケット

Dataproc サーバーレスはプロジェクトに Cloud Storage ステージング バケットを作成するか、以前のバッチ作成リクエストから既存のステージング バケットを再利用します。これは、Compute Engine クラスタ上の Dataproc によって作成されるデフォルトのバケットであることに注意してください（Dataproc のステージング バケットと一時バケットをご覧ください）。

  • Dataproc Serverless は、ワークロードの依存関係、構成ファイル、ジョブドライバ コンソール出力をステージング バケットに保存します。

  • Dataproc Serverless は、ワークロードがデプロイされる Compute Engine のゾーンに従い、Cloud Storage のロケーションにリージョンのステージング バケットを設定し、これらのプロジェクト レベルのロケーションごとのバケットを作成して管理します。Dataproc Serverless で作成されたステージング バケットは、同じリージョン内のワークロード間で共有されます。