Dataproc Serverless のステージング バケット

Dataproc Serverless は、プロジェクトに Cloud Storage のステージング バケットを作成するか、以前のバッチ作成リクエストからの既存のステージング バケットを再利用します。これは、Compute Engine クラスタ上の Dataproc によって作成されるデフォルトのバケットです(Dataproc のステージング バケットと一時バケットをご覧ください)。

  • Dataproc Serverless は、ワークロードの依存関係、構成ファイル、ジョブドライバ コンソール出力をステージング バケットに保存します。

  • Dataproc Serverless は、ワークロードがデプロイされる Compute Engine のゾーンに従い、Cloud Storage のロケーションにリージョンのステージング バケットを設定し、これらのプロジェクト レベルのロケーションごとのバケットを作成して管理します。Dataproc Serverless で作成されたステージング バケットは、同じリージョン内のワークロード間で共有され、Cloud Storage の削除(復元可能)の保持期間が 0 秒に設定された状態で作成されます。