Apache Spark 用 Serverless のステージング バケット

このドキュメントでは、Apache Spark 用サーバーレスのステージング バケットについて説明します。Apache Spark 用サーバーレスは、プロジェクトに Cloud Storage のステージング バケットを作成するか、以前のバッチ作成リクエストからの既存のステージング バケットを再利用します。これは、Compute Engine クラスタ上の Dataproc によって作成されるデフォルトのバケットです。詳細については、Dataproc のステージング バケットと一時バケットをご覧ください。

Serverless for Apache Spark は、ワークロードの依存関係、構成ファイル、ジョブドライバ コンソール出力をステージング バケットに保存します。

Apache Spark 向けサーバーレスは、ワークロードがデプロイされる Compute Engine のゾーンに従い、Cloud Storage のロケーションにリージョンのステージング バケットを設定し、これらのプロジェクト レベルのロケーションごとのバケットを作成して管理します。Apache Spark 用サーバーレスで作成されたステージング バケットは、同じリージョン内のワークロード間で共有され、Cloud Storage の削除(復元可能)の保持期間が 0 秒に設定された状態で作成されます。