Dataproc 配額

本頁面列出 Dataproc API 配額限制，這些限制會在專案和區域層級強制執行。這個配額每六十秒 (每分鐘) 會重設一次。

如要瞭解叢集最佳化策略，協助避免配額和資源可用性問題，請參閱「資源可用性和區域策略」。

如果您執行 Dataproc Serverless 工作負載，請參閱「Dataproc Serverless 配額」。重要事項：如果 Dataproc Serverless 配額用盡，可能會導致批次作業和工作階段建立失敗。詳情請參閱「排解 Dataproc 無伺服器批次和工作階段建立失敗問題」。

處理 Dataproc 配額錯誤：如果您超出 Dataproc 的配額限制，系統會產生 RESOURCE_EXHAUSTED 錯誤 (HTTP 代碼為 429)，相對應的 Dataproc API 要求也會失敗。但由於專案的 Dataproc 配額每六十秒會重新整理一次，因此您可以在要求失敗的一分鐘後重試一次。

下表以專案為單位列出確切的 Dataproc 預設 API 配額類型、配額限制，以及適用這些類型和限制的方法。

配額類型	上限	適用的 API 方法
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster、DeleteCluster、UpdateCluster、StopCluster、StartCluster、DiagnoseCluster、RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	所有其他作業 (以 Get 作業為主)

提高資源配額上限：開啟Google Cloud 「IAM 與管理」→「配額」頁面，然後選取您要修改的資源。接著按一下頁面頂端的「編輯配額」即可開始進行提高配額的程序。如果您要增加的資源並未顯示在頁面上，而且目前的篩選條件是「配額 (含用量)」，請切換「配額類型」下拉式選單，將篩選條件變更為「所有配額」。

下表列出專案和區域層級的有效作業和工作總數的其他限制。

配額類型	限制	說明
ActiveOperationsPerProjectPerRegion	5000	單一專案中單一區域資料庫的所有類型並行有效作業總數上限
ActiveJobsPerProjectPerRegion	5000	單一區域資料庫中，單一專案處於 NON_TERMINAL 狀態的有效工作總數上限

提高有效作業和工作總數的限制： 建立 Google 支援單。

其他 Google Cloud 配額

Dataproc 叢集會使用其他 Google Cloud 產品，這些產品都有專案層級配額，其中也包括適用於 Dataproc 用量的配額。使用 Dataproc 時，您必須搭配使用某些服務，例如 Compute Engine 和 Cloud Storage，但您可以自行選擇是否要將 BigQuery 和 Bigtable 等其他服務與 Dataproc 搭配使用。

必要叢集服務

建立 Dataproc 叢集時，必須啟用下列服務，這些服務有一定的配額限制。

Compute Engine

Dataproc 叢集會使用 Compute Engine 虛擬機器。Compute Engine 配額分為地區性和全球性配額，且配額限制會套用至您建立的叢集。舉例來說，建立一個含有一個 n1-standard-4 -m 節點和兩個 n1-standard-4 -w 節點的叢集，會使用 12 個虛擬 CPU (4 * 3)。這個叢集使用的配額會計入 24 個虛擬 CPU 的地區性配額限制。

免費試用配額：如果您正在免費試用 Compute Engine，則您的專案上限為 8 個 CPU。如要提高上限，您就必須為專案啟用計費功能。

預設叢集資源

以預設設定建立 Dataproc 叢集時，會使用到下列 Compute Engine 資源。

資源	用量
虛擬 CPU 數量	12
虛擬機器 (VM) 執行個體數量	3
永久磁碟	1500 GB

Cloud Logging

Dataproc 會將驅動程式輸出內容和叢集記錄檔儲存在 Cloud Logging 中。 Logging 配額適用於 Dataproc 叢集。

選用叢集服務

下列服務有配額限制，您可以自行選擇是否要將這些服務和 Dataproc 叢集搭配使用。

BigQuery

讀取 BigQuery 資料或將資料寫入 BigQuery 時，適用 BigQuery 配額。

Bigtable

讀取 Bigtable 資料或將資料寫入 Bigtable 時，會有 Bigtable 配額的限制。

資源可用性和區域策略

如要最佳化叢集資源可用性，並減少可能發生的缺貨錯誤，請考慮下列策略：

• 自動選擇區域位置：建立叢集時，請使用自動選擇區域位置。這樣一來，Dataproc 就能在您指定的地區內選取最佳區域，提高叢集建立成功的機率。

• 地區配額：確認地區 Compute Engine 配額是否足夠，因為如果地區總容量不足以滿足要求，即使採用自動區域放置方式，配額仍可能用盡。

• 機器類型彈性：如果特定機器類型持續缺貨，請為叢集使用其他更容易取得的機器類型。