Cloud Dataproc の割り当て

Cloud Dataproc では、API 割り当てにプロジェクト レベルで制限が設定されています。割り当ては 60 秒(1 分)ごとにリセットされます。

次の表に、プロジェクトあたりの固有およびデフォルトの Cloud Dataproc API 割り当てタイプ、割り当て制限、適用先のメソッドを示します。

割り当てのタイプ 制限 該当する API メソッド
ClusterOperationRequestsPerMinutePerProject 100 CreateCluster、DeleteCluster、UpdateCluster、DiagnoseCluster
JobOperationRequestsPerMinutePerProject 200 SubmitJob、UpdateJob、CancelJob、DeleteJob
GetJobRequestsPerMinutePerProject 5000 GetJob
WorkflowOperationRequestsPerMinutePerProject 100 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProject 2000 他のすべてのオペレーション(主に Get オペレーション)

Google Cloud Platform のその他の割り当て

Cloud Dataproc クラスタでは、他の GCP サービスが使用されます。これらのサービスにはプロジェクト レベルで割り当てが設定されており、これには Cloud Dataproc の使用に適用される割り当てが含まれます。Cloud Dataproc を使用するには、Compute EngineCloud Storage などの一部のサービスが必須です。他のサービス(BigQueryCloud Bigtable など)は、必要に応じて Cloud Dataproc で使用することができます。

必須サービス

割り当て制限が適用される次のサービスは、Cloud Dataproc クラスタを作成するために自動的に使用されます(使用する必要があります)。

Compute Engine

Cloud Dataproc クラスタでは Compute Engine 仮想マシンが使用されます。Compute Engine の割り当ては、リージョン制限とグローバル制限に分けられます。これらの制限は、作成したクラスタに適用されます。たとえば、1 つの n1-standard-4 マスターノードと 2 つの n1-standard-4 ワーカーノードを含むクラスタを作成するために、12 個の仮想 CPU(4 * 3)を使用するとします。このクラスタを使用すると、リージョン割り当て制限である 24 仮想 CPU に対してカウントされます。

デフォルト クラスタ

デフォルト設定で Cloud Dataproc クラスタを作成する場合、次の Compute Engine リソースが使用されます。

アイテム 使用されるリソース
仮想 CPU 12
仮想マシン(VM)インスタンス 3
永続ディスク 1500 GB

Stackdriver Logging

Cloud Dataproc では、ドライバ出力とクラスタログが Logging に保存されます。Logging の割り当てが、Cloud Dataproc クラスタに適用されます。

オプション サービス

Cloud Dataproc クラスタでは、割り当て制限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対して読み取りや書き込みを行う場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対して読み取りや書き込みを行う場合、Bigtable の割り当てが適用されます。

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

Cloud Dataproc ドキュメント
ご不明な点がありましたら、Google のサポートページをご覧ください。