Dataproc の割り当て

Dataproc では、API 割り当てにプロジェクト レベルで上限が設定されています。割り当ては 60 秒(1 分)ごとにリセットされます。

次の表に、プロジェクトあたりの固有およびデフォルトの Dataproc API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ 上限 該当する API メソッド
AutoscalingOperationRequestsPerMinutePerProject 400 CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProject 200 CreateCluster、DeleteCluster、UpdateCluster、DiagnoseCluster
GetJobRequestsPerMinutePerProject 7500 GetJob
JobOperationRequestsPerMinutePerProject 400 SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProject 400 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProject 7500 他のすべてのオペレーション(主に Get オペレーション)

その他の Google Cloud の割り当て

Cloud Dataproc クラスタは他の Google Cloud プロダクトを使用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Dataproc の使用に適用される割り当てが含まれます。Dataproc を使用するには、Compute EngineCloud Storage などの一部のサービスが必須です。他のサービス(BigQueryCloud Bigtable など)は、必要に応じて Dataproc で使用できます。

必須サービス

割り当て上限が適用される次のサービスは、Cloud Dataproc クラスタを作成するために自動的に使用されます(使用する必要があります)。

Compute Engine

Cloud Dataproc クラスタでは Compute Engine 仮想マシンが使用されます。Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。この上限は、作成したクラスタに適用されます。たとえば、1 つの n1-standard-4 マスターノードと 2 つの n1-standard-4 ワーカーノードを含むクラスタを作成するために、12 個の仮想 CPU(4 * 3)を使用するとします。このクラスタを使用すると、リージョン割り当て上限である 24 仮想 CPU に対してカウントされます。

デフォルト クラスタ

デフォルト設定で Cloud Dataproc クラスタを作成する場合、次の Compute Engine リソースが使用されます。

項目 使用されるリソース
仮想 CPU 12
仮想マシン(VM)インスタンス 3
永続ディスク 1500 GB

Stackdriver Logging

Cloud Dataproc では、ドライバ出力とクラスタログが Logging に保存されます。Logging の割り当てが、Cloud Dataproc クラスタに適用されます。

オプション サービス

Cloud Dataproc クラスタでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。