本页面列出了 Dataproc API 配额限制,这些限制在项目和区域层级强制实施。配额每 60 秒(1 分钟)重置一次。
下表列出了每个项目具体的默认 Dataproc API 配额类型、配额限制,以及限制所适用的方法。
配额类型 | 限制 | 适用的 API 方法 |
---|---|---|
AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy |
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster、DeleteCluster、UpdateCluster、StopCluster、StartCluster、DiagnoseCluster、RepairCluster |
NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup |
GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob、UpdateJob、CancelJob、DeleteJob |
WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate |
DefaultRequestsPerMinutePerProjectPerRegion | 7500 | 所有其他操作(主要是 Get 操作) |
下表列出了项目级和区域级别的其他有效操作和作业总数限制。
配额类型 | 限制 | 说明 |
---|---|---|
ActiveOperationsPerProjectPerRegion | 5000 | 单个区域数据库中单个项目中所有类型的并发有效操作总数的限制 |
ActiveJobsPerProjectPerRegion | 5000 | 对单个区域性数据库中单个项目中处于 NON_TERMINAL 状态的有效作业的总数的限制 |
其他 Google Cloud 配额
Dataproc 集群会用到其他 Google Cloud 产品。这些产品具有项目级层配额,其中包括适用于 Dataproc 用量的配额。使用 Dataproc 时必需用到一些服务,例如 Compute Engine 和 Cloud Storage。此外,可以选择将其他服务(例如 BigQuery 和 Bigtable)与 Dataproc 结合使用。
必需服务
以下服务实施配额限制,当您创建 Dataproc 集群时,系统将自动使用这些服务(强制要求)。
Compute Engine
Dataproc 集群会用到 Compute Engine 虚拟机。
Compute Engine 配额分为地区限制和全局限制。这些限制适用于您创建的集群。例如,若要创建具有一个 n1-standard-4
主节点和两个 n1-standard-4
工作器节点的集群,您要使用12 个虚拟 CPU (4 * 3
)。此集群的用量将计入地区配额限制(24 个虚拟 CPU)。
默认集群
使用默认设置创建 Dataproc 集群时,需使用以下 Compute Engine 资源。
资源项 | 使用的资源数量 |
---|---|
虚拟 CPU | 12 |
虚拟机实例 | 3 |
Persistent Disk | 1500 GB |
Cloud Logging
Dataproc 会将驱动程序输出和集群日志保存在 Cloud Logging 中。Cloud Logging 配额适用于您的 Dataproc 集群。
可选服务
以下服务具有配额限制,您可以选择将这些服务与 Dataproc 集群结合使用。
BigQuery
对 BigQuery 执行数据读写操作时,适用 BigQuery 配额。
Bigtable
对 Bigtable 执行数据读写操作时,适用 Bigtable 配额。