Dataproc サーバーレスの割り当て

Dataproc サーバーレスでは、API 割り当てに プロジェクトとリージョンのレベルで上限が設定されています。割り当ては 60 秒(1 分)ごとにリセットされます。

次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc サーバーレス API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ 上限 API のメソッドまたは説明
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation(バッチ オペレーションの割り当てのキャンセルは、クラスタ オペレーションのキャンセルと共有セルされます)。
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch、DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession、DeleteSession、TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7500 GetBatch、ListBatches、GetSession、ListSessions
ActiveOperationsPerProjectPerRegion 5000 リージョン内のプロジェクトにある、あらゆるタイプの同時実行アクティブ オペレーションを合計した数の上限。

その他の Google Cloud の割り当て

Dataproc Serverless バッチは、他の Google Cloud プロダクトを利用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc Serverless の使用に適用される割り当てが含まれます。Dataproc Serverless を使用するには、Compute EngineCloud Storage などの一部のサービスが必須です。他のサービス(BigQueryBigtable など)は、必要に応じて Dataproc Serverless で使用できます。

必須サービス

Dataproc Serverless バッチを作成するには、割り当て上限を適用する次のサービスが必要です。

Compute Engine

Dataproc Serverless バッチでは、次の Compute Engine リソース割り当てが消費されます。

コンピューティング階層 割り当て
スタンダード CPUS
プレミアム N2_CPUS
ディスク階層 割り当て
スタンダード DISKS_TOTAL_GB
プレミアム LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY と N2 VM ファミリー
GPU アクセラレータ 割り当て
L4 NVIDIA_L4_GPUS
A100 40GB NVIDIA_A100_GPUS
A100 80GB NVIDIA_A100_80GB_GPUS

Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。これらの上限は、作成したバッチに適用されます。たとえば、4 つのドライバコア(spark.driver.cores=4)を持つ Spark バッチとそれぞれ 4 つのコア(spark.executor.cores=4)を持つ 2 つのエグゼキュータを実行するには、12 個の仮想 CPU(4 * 3)を使用します。このバッチの使用量は、リージョン割り当て上限である 24 個の仮想 CPU に対してカウントされます。

デフォルトのバッチリソース

デフォルト設定でバッチを作成する場合、次の Compute Engine リソースが使用されます。

項目 使用されるリソース
仮想 CPU 12
仮想マシン(VM)インスタンス 3
Persistent Disk 3000 GB

Cloud Logging

Dataproc Serverless は、バッチ出力とログを Cloud Logging に保存します。Cloud Logging の割り当ては、Dataproc Serverless バッチに適用されます。

オプション サービス

Dataproc Serverless バッチでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。