Dataproc Serverless 具有 API 配额限制,这些限制在项目和区域层级强制实施。配额每 60 秒(1 分钟)重置一次。
下表列出了每个项目具体的默认 Dataproc Serverless API 配额类型、配额限制,以及限制所适用的方法。
配额类型 | 限制 | API 方法或说明 |
---|---|---|
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation(取消批处理操作配额与取消集群操作配额共享)。 |
BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch,DeleteBatch |
SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession、DeleteSession、TerminateSession |
DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch、ListBatches、GetSession、ListSessions |
ActiveOperationsPerProjectPerRegion | 5000 | 限制一个项目在一个区域中所有类型的并发有效操作总数。 |
其他 Google Cloud 配额
Dataproc Serverless 批处理使用其他 Google Cloud 产品。这些产品具有项目级层配额,其中包括适用于 Dataproc Serverless 用量的配额。使用 Dataproc Serverless 时必需用到一些服务,例如 Compute Engine 和 Cloud Storage。此外,可以选择将其他服务(例如 BigQuery 和 Bigtable)与 Dataproc Serverless 结合使用。
必需服务
以下服务具有配额限制,您必须在创建 Dataproc Serverless 批次时使用这些服务。
Compute Engine
Dataproc Serverless 批处理会消耗以下 Compute Engine 资源配额:
计算层级 | 配额 |
---|---|
标准 | CPUS |
高级 | N2_CPUS |
磁盘层级 | 配额 |
标准 | DISKS_TOTAL_GB |
高级 | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY 与 N2 虚拟机系列搭配使用 |
GPU 加速器 | 配额 |
L4 | NVIDIA_L4_GPUS |
A100 40GB | NVIDIA_A100_GPUS |
A100 80GB | NVIDIA_A100_80GB_GPUS |
Compute Engine 配额分为地区限制和全局限制。这些限制适用于您创建的批处理。例如,要运行具有 4 个驱动程序核心 (spark.driver.cores=4
) 和两个执行程序 (spark.executor.cores=4
)(每个具有 4 个核心)的 Spark 批处理,您需要使用 12 个虚拟 CPU (4 * 3
)。此批处理的用量将计入区域配额限制(24 个虚拟 CPU)。
默认批处理资源
使用默认设置创建批处理时,系统将使用以下 Compute Engine 资源:
资源项 | 使用的资源数量 |
---|---|
虚拟 CPU | 12 |
虚拟机实例 | 3 |
永久性磁盘 | 1200 GiB |
Cloud Logging
Dataproc Serverless 将批处理输出和日志保存在 Cloud Logging 中。Cloud Logging 配额适用于您的 Dataproc Serverless 批处理。
可选服务
以下服务具有配额限制,您可以选择将这些服务与 Dataproc Serverless 批处理结合使用。
BigQuery
对 BigQuery 执行数据读写操作时,BigQuery 配额适用。
Bigtable
对 Bigtable 执行数据读写操作时,Bigtable 配额适用。