Cloud Dataproc の割り当て

Cloud Dataproc では、API 割り当てにプロジェクト レベルで上限が設定されています。割り当ては 60 秒(1 分)ごとにリセットされます。

次の表に、プロジェクトあたりの固有およびデフォルトの Cloud Dataproc API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ 上限 該当する API メソッド
AutoscalingOperationRequestsPerMinutePerProject 400 CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProject 200 CreateCluster、DeleteCluster、UpdateCluster、DiagnoseCluster
GetJobRequestsPerMinutePerProject 7500 GetJob
JobOperationRequestsPerMinutePerProject 400 SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProject 400 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProject 7500 他のすべてのオペレーション(主に Get オペレーション)

Google Cloud Platform のその他の割り当て

Cloud Dataproc クラスタでは、他の GCP サービスが使用されます。これらのサービスにはプロジェクト レベルで割り当てが設定されており、これには Cloud Dataproc の使用に適用される割り当てが含まれます。Cloud Dataproc を使用するには、Compute EngineCloud Storage などの一部のサービスが必須です。他のサービス(BigQueryCloud Bigtable など)は、必要に応じて Cloud Dataproc で使用できます。

必須サービス

割り当て上限が適用される次のサービスは、Cloud Dataproc クラスタを作成するために自動的に使用されます(使用する必要があります)。

Compute Engine

Cloud Dataproc クラスタでは Compute Engine 仮想マシンが使用されます。Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。これらの上限は、作成したクラスタに適用されます。たとえば、1 つの n1-standard-4 マスターノードと 2 つの n1-standard-4 ワーカーノードを含むクラスタを作成するために、12 個の仮想 CPU(4 * 3)を使用するとします。このクラスタを使用すると、リージョン割り当て上限である 24 仮想 CPU に対してカウントされます。

デフォルト クラスタ

デフォルト設定で Cloud Dataproc クラスタを作成する場合、次の Compute Engine リソースが使用されます。

アイテム 使用されるリソース
仮想 CPU 12
仮想マシン(VM)インスタンス 3
永続ディスク 1500 GB

Stackdriver Logging

Cloud Dataproc では、ドライバ出力とクラスタログが Logging に保存されます。Logging の割り当てが、Cloud Dataproc クラスタに適用されます。

オプション サービス

Cloud Dataproc クラスタでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対して読み取りや書き込みを行う場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対して読み取りや書き込みを行う場合、Bigtable の割り当てが適用されます。

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

Cloud Dataproc ドキュメント
ご不明な点がありましたら、Google のサポートページをご覧ください。