Dataproc Serverless 配额

Dataproc Serverless 具有 API 配额限制,这些限制在项目和区域层级强制实施。配额每 60 秒(1 分钟)重置一次。

下表列出了每个项目具体的默认 Dataproc Serverless API 配额类型、配额限制,以及限制所适用的方法。

配额类型 限制 适用的 API 方法
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation(取消批处理操作配额与取消集群操作配额共享)。
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch,DeleteBatch
DefaultRequestsPerMinutePerProjectPerRegion 7500 GetBatch,ListBatches

其他 Google Cloud 配额

Dataproc Serverless 批处理使用其他 Google Cloud 产品。这些产品具有项目级层配额,其中包括适用于 Dataproc Serverless 用量的配额。使用 Dataproc Serverless 时必需用到一些服务,例如 Compute EngineCloud Storage。此外,可以选择将其他服务(例如 BigQueryCloud Bigtable)与 Dataproc Serverless 结合使用。

必需服务

以下服务强制实施配额限制,当您构建 Dataproc Serverless 批次时,系统将自动使用这些服务(强制要求)。

Compute Engine

Dataproc 无服务器批次利用 Compute Engine CPUSDISKS_TOTAL_GB 配额。Compute Engine 配额分为区域限制和全局限制。这些限制适用于您创建的批处理。例如,如需运行具有 4 个驱动程序核心 (spark.driver.cores=4) 和两个执行器(每个执行器 4 个内核 (spark.executor.cores=4))的 Spark 批次,您将使用 12 个虚拟 CPU (4 * 3)。此批次将计入 24 个虚拟 CPU 的区域配额限制。

默认批处理资源

使用默认设置创建批处理时,系统将使用以下 Compute Engine 资源:

资源项 使用的资源数量
虚拟 CPU 12
虚拟机实例 3
Persistent Disk 3000 GB

Cloud Logging

Dataproc Serverless 将批处理输出和日志保存在 Cloud Logging 中。Cloud Logging 配额适用于您的 Dataproc Serverless 批处理。

可选服务

以下服务具有配额限制,您可以选择将这些服务与 Dataproc Serverless 批处理结合使用。

BigQuery

对 BigQuery 执行数据读写操作时,BigQuery 配额适用。

Bigtable

对 Bigtable 执行数据读写操作时,Bigtable 配额适用。