Dataproc サーバーレスの割り当て

Dataproc サーバーレスでは、API 割り当てに プロジェクトとリージョンのレベルで上限が設定されています。割り当ては 60 秒（1 分）ごとにリセットされます。

Dataproc Serverless の割り当てエラーの処理: Dataproc Serverless の割り当て上限を超えると、RESOURCE_EXHAUSTED （HTTP コード 429）が生成され、対応する Dataproc Serverless API リクエストが失敗します。ただしプロジェクトの Dataproc 割り当ては 60 秒ごとに更新されるため、失敗から 1 分が経過すれば再試行をリクエストできます。

次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc サーバーレス API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ	上限	API のメソッドまたは説明
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation（バッチ オペレーションの割り当てのキャンセルは、クラスタ オペレーションのキャンセルと共有セルされます）。
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch、DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession、DeleteSession、TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7500	GetBatch、ListBatches、GetSession、ListSessions
ActiveOperationsPerProjectPerRegion	5000	リージョン内のプロジェクトにある、あらゆるタイプの同時実行アクティブ オペレーションを合計した数の上限。

リソースの割り当て上限の引き上げ: Google Cloud で [IAM と管理] > [割り当て]ページを開き、変更するリソースを選択します。次にページの上部にある [割り当てを編集] をクリックして、割り当てを増やすための処理を開始します。増やそうとするリソースがページに表示されず、現在のフィルタリングが [一部使用済みの割り当て] である場合は、[割り当てのタイプ] プルダウンでフィルタリングを [すべての割り当て] に変更します。

その他の Google Cloud の割り当て

Dataproc Serverless バッチは、他の Google Cloud プロダクトを利用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc Serverless の使用に適用される割り当てが含まれます。Dataproc Serverless を使用するには、Compute Engine や Cloud Storage などの一部のサービスが必須です。他のサービス（BigQuery や Bigtable など）は、必要に応じて Dataproc Serverless で使用できます。

必須サービス

Dataproc Serverless バッチを作成するには、割り当て上限を適用する次のサービスが必要です。

Compute Engine

Dataproc Serverless バッチでは、次の Compute Engine リソース割り当てが消費されます。

コンピューティング階層	割り当て
スタンダード	CPUS
プレミアム	N2_CPUS
ディスク階層	割り当て
スタンダード	DISKS_TOTAL_GB
プレミアム	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY と N2 VM ファミリー
GPU アクセラレータ	割り当て
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。これらの上限は、作成したバッチに適用されます。たとえば、4 つのドライバコア（spark.driver.cores=4）を持つ Spark バッチとそれぞれ 4 つのコア（spark.executor.cores=4）を持つ 2 つのエグゼキュータを実行するには、12 個の仮想 CPU（4 * 3）を使用します。このバッチの使用量は、リージョン割り当て上限である 24 個の仮想 CPU に対してカウントされます。

無料トライアル割り当て: Compute Engine の無料トライアルを使用する場合、プロジェクトに 8 CPU の上限が適用されます。この上限を引き上げるには、プロジェクトに対する請求を有効にする必要があります。

デフォルトのバッチリソース

デフォルト設定でバッチを作成する場合、次の Compute Engine リソースが使用されます。

項目	使用されるリソース
仮想 CPU	12
仮想マシン（VM）インスタンス	3
Persistent Disk	3000 GB

Cloud Logging

Dataproc Serverless は、バッチ出力とログを Cloud Logging に保存します。Cloud Logging の割り当ては、Dataproc Serverless バッチに適用されます。

オプション サービス

Dataproc Serverless バッチでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。