Dataproc サーバーレスの割り当て

Dataproc サーバーレスでは、API 割り当てに プロジェクトとリージョンのレベルで上限が設定されています。割り当ては 60 秒(1 分)ごとにリセットされます。

次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc サーバーレス API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ 上限 該当する API メソッド
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation(バッチ オペレーションの割り当てをキャンセルするとクラスタ オペレーションの割り当てがキャンセルされます)。
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch、DeleteBatch
DefaultRequestsPerMinutePerProjectPerRegion 7500 GetBatch、ListBatches

その他の Google Cloud の割り当て

Dataproc サーバーレス バッチは、他の Google Cloud プロダクトを利用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc サーバーレスの使用に適用される割り当てが含まれます。Dataproc サーバーレスを使用するには、Compute EngineCloud Storage などの一部のサービスが必須です。他のサービス(BigQueryCloud Bigtable など)は、必要に応じて Dataproc サーバーレスで使用できます。

必須サービス

割り当て上限が適用される次のサービスは、Dataproc サーバーレス バッチを作成するために自動的に使用されます(使用する必要があります)。

Compute Engine

Dataproc サーバーレス バッチでは、Compute Engine の CPUSDISKS_TOTAL_GB の割り当てが使用されます。Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。これらの上限は、作成するバッチに適用されます。たとえば、4 個のドライバコア(spark.driver.cores=4)と 4 個のコアを持つ 2 個のエグゼキュータ(spark.executor.cores=4)で Spark バッチを実行する場合、12 個の仮想 CPU(4 * 3)を使用します。このバッチは、リージョン割り当て上限である 24 仮想 CPU に対してカウントされます。

デフォルトのバッチリソース

デフォルト設定でバッチを作成すると、次の Compute Engine リソースが使用されます。

項目 使用されるリソース
仮想 CPU 12
仮想マシン(VM)インスタンス 3
Persistent Disk 3000 GB

Cloud Logging

Dataproc サーバーレスは、バッチ出力とログを Cloud Logging に保存します。Cloud Logging の割り当ては、Dataproc サーバーレス バッチに適用されます。

オプション サービス

Dataproc サーバーレス バッチでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。