Dataproc の割り当て

このページでは、プロジェクトとリージョンのレベルで適用される Dataproc API の割り当て上限について説明します。割り当ては 60 秒(1 分)ごとにリセットされます。

次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ 上限 該当する API メソッド
AutoscalingOperationRequestsPerMinutePerProjectPerRegion 400 CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion 600 CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion 7500 GetJob
JobOperationRequestsPerMinutePerProjectPerRegion 400 SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion 400 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion 7500 他のすべてのオペレーション(主に Get オペレーション)

次の表に、プロジェクトとリージョン レベルでアクティブなオペレーションとジョブの合計数に対する追加の上限を示します。

割り当てのタイプ 上限 説明
ActiveOperationsPerProjectPerRegion 5000 単一のリージョン データベース内の単一プロジェクトにあるすべてのタイプの同時アクティブ オペレーションの合計数の上限
ActiveJobsPerProjectPerRegion 5000 単一のリージョン データベース内の単一プロジェクトにある NON_TERMINAL 状態のアクティブなジョブの合計数の上限

その他の Google Cloud の割り当て

Dataproc クラスタは他の Google Cloud プロダクトを使用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc の使用に適用される割り当てが含まれます。Dataproc を使用するには、Compute EngineCloud Storage などの一部のサービスが必須です。他のサービス(BigQueryBigtable など)は、必要に応じて Dataproc で使用できます。

必須サービス

割り当て上限が適用される次のサービスは、Dataproc クラスタを作成するために自動的に使用されます(使用する必要があります)。

Compute Engine

Dataproc クラスタでは Compute Engine 仮想マシンが使用されます。Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。この上限は、作成したクラスタに適用されます。たとえば、1 つの n1-standard-4 マスターノードと 2 つの n1-standard-4 ワーカーノードを含むクラスタを作成するために、12 個の仮想 CPU(4 * 3)を使用するとします。このクラスタを使用すると、リージョン割り当て上限である 24 仮想 CPU に対してカウントされます。

デフォルト クラスタ

デフォルト設定で Dataproc クラスタを作成する場合、次の Compute Engine リソースが使用されます。

項目 使用されるリソース
仮想 CPU 12
仮想マシン(VM)インスタンス 3
永続ディスク 1,500 GB

Cloud Logging

Dataproc では、ドライバ出力とクラスタログが Cloud Logging に保存されます。Cloud Logging の割り当ては、Dataproc クラスタに適用されます。

オプション サービス

Dataproc クラスタでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。