Dataproc の割り当て

このページでは、プロジェクトとリージョンのレベルで適用される Dataproc API の割り当て上限について説明します。割り当ては 60 秒（1 分）ごとにリセットされます。

Dataproc Serverless ワークロードを実行する場合は、Dataproc Serverless の割り当てをご覧ください。

Dataproc 割り当てエラーの処理: Dataproc の割り当て上限を超過した場合は RESOURCE_EXHAUSTED（HTTP コード 429）が生成され、対応する Dataproc API リクエストが失敗します。ただしプロジェクトの Dataproc 割り当ては 60 秒ごとに更新されるため、失敗から 1 分が経過すれば再試行をリクエストできます。

次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ	上限	該当する API メソッド
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	他のすべてのオペレーション（主に Get オペレーション）

リソースの割り当て上限の引き上げ: Google Cloud で [IAM と管理] > [割り当て]ページを開き、変更するリソースを選択します。次にページの上部にある [割り当てを編集] をクリックして、割り当てを増やすための処理を開始します。増やそうとするリソースがページに表示されず、現在のフィルタリングが [一部使用済みの割り当て] である場合は、[割り当てのタイプ] プルダウンでフィルタリングを [すべての割り当て] に変更します。

次の表に、プロジェクトとリージョン レベルでアクティブなオペレーションとジョブの合計数に対する追加の上限を示します。

割り当てのタイプ	上限	説明
ActiveOperationsPerProjectPerRegion	5000	単一のリージョン データベース内の単一プロジェクトにあるすべてのタイプの同時アクティブ オペレーションの合計数の上限
ActiveJobsPerProjectPerRegion	5000	単一のリージョン データベース内の単一プロジェクトにある NON_TERMINAL 状態のアクティブなジョブの合計数の上限

アクティブなオペレーションとジョブの合計の上限の引き上げ: Google サポート チケットを開きます。

その他の Google Cloud の割り当て

Dataproc クラスタは他の Google Cloud プロダクトを使用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc の使用に適用される割り当てが含まれます。Dataproc を使用するには、Compute Engine や Cloud Storage などの一部のサービスが必須です。他のサービス（BigQuery や Bigtable など）は、必要に応じて Dataproc で使用できます。

必須サービス

割り当て上限が適用される次のサービスは、Dataproc クラスタを作成するために自動的に使用されます（使用する必要があります）。

Compute Engine

Dataproc クラスタでは Compute Engine 仮想マシンが使用されます。Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。この上限は、作成したクラスタに適用されます。たとえば、1 つの n1-standard-4 マスターノードと 2 つの n1-standard-4 ワーカーノードを含むクラスタを作成するために、12 個の仮想 CPU（4 * 3）を使用するとします。このクラスタを使用すると、リージョン割り当て上限である 24 仮想 CPU に対してカウントされます。

無料トライアル割り当て: Compute Engine の無料トライアルを使用する場合、プロジェクトに 8 CPU の上限が適用されます。この上限を引き上げるには、プロジェクトに対する請求を有効にする必要があります。

デフォルト クラスタ

デフォルト設定で Dataproc クラスタを作成する場合、次の Compute Engine リソースが使用されます。

項目	使用されるリソース
仮想 CPU	12
仮想マシン（VM）インスタンス	3
永続ディスク	1,500 GB

Cloud Logging

Dataproc では、ドライバ出力とクラスタログが Cloud Logging に保存されます。Cloud Logging の割り当ては、Dataproc クラスタに適用されます。

オプション サービス

Dataproc クラスタでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。