配额和限制

本文档列出了适用于 Cloud Composer 的quotas和quotas。

配额限制用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源（包括硬件、软件和网络组件）的数量。因此，有以下功能的系统具有配额限制：

  • 监控 Google Cloud 产品和服务的使用情况或消费情况。
  • 出于某些原因限制这些资源的消耗量，包括确保公平性和减少使用量高峰。
  • 维护可自动强制执行规定限制的配置。
  • 提供请求或更改配额的方法。

在大多数情况下，当超过配额限制时，系统会立即阻止对相关 Google 资源的访问，并且您尝试执行的任务将失败。在大多数情况下，配额限制适用于每个 Google Cloud 项目，并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。

如需增加或减少大多数配额限制，请使用 Google Cloud 控制台。如需了解详情，请参阅申请更高的配额限制。

如需增加或减少大多数配额，请使用 Google Cloud 控制台。如需了解详情，请参阅申请更高的配额限制。

Cloud Composer 资源还存在一些限制。这些限制与配额系统无关。除非另有说明，否则无法更改限制。

Cloud Composer 配额

本部分的配额仅适用于 Cloud Composer API 和利用 Cloud Composer API 的工具：

  • Google Cloud 控制台中的 Cloud Composer 界面
  • gcloud composer 和 gcloud beta composer 命令
  • Cloud Composer REST API
  • Cloud Composer RPC API
  • Terraform（适用于在 Cloud Composer 环境中执行的操作）

本部分的配额不适用于您在 Airflow DAG 中使用的任何服务。此类服务使用自己的配额。

Cloud Composer 的 API 配额如下：

配额名称 限制
每个项目的读取请求数 每分钟 1,000 个配额单元
每个项目的写入请求数 每天 25,000 个配额单元
每个项目的写入请求数 每分钟 1500 个配额单元
每个项目的保存快照请求数 每天 5,000 个配额单元
每个项目的保存快照请求数 每分钟 250 个配额单元
每个环境每个项目的保存快照请求数 每天 2,600 个配额单元
每个项目的加载快照请求数 每天 2,500 个配额单元
每个项目的加载快照请求数 每分钟 150 个配额
每个环境每个项目的加载快照请求数 700 个配额单元/天

Cloud Composer API 调用会产生以下费用（以配额单位表示）：

操作 以配额单位表示的费用 请求类型
所有操作 1 读取
environments.create 100 Write
environments.patch 100 Write
environments.delete 100 Write
environments.databaseFailover 100 Write
environments.restartWebServer 100 Write
environments.checkUpgrade 100 Write
environments.executeAirflowCommand 25 Write
environments.stopAirflowCommand 25 Write
environments.saveSnapshot 50 保存快照
environments.loadSnapshot 50 加载快照

配额计算示例

  • 一个 environments.create 请求会消耗写入配额中的 100 个配额单元。

    写入请求有两种此类配额：

    • 每个项目每天的写入请求数
    • 每个项目每分钟的写入请求数

    此操作会消耗每个配额中的 100 个配额单元。

    如果您随后执行一个 environments.restartWebServer 请求，由于 environments.restartWebServer 与 environments.create 请求共享配额，因此会从相同的配额中再消耗 100 个配额单元。

  • 一个 environments.saveSnapshot 请求消耗 3 个配额中的 50 个配额单元：

    • 每个项目每天保存快照请求数
    • 每个项目每分钟保存快照请求数
    • 每个环境每个项目每天保存快照请求数

    这三个配额可限制 environments.saveSnapshot 请求的最大数量。每种模型的用途各不相同。

    每个项目每天保存快照请求数的配额限制为 2500 个配额单元。您每天最多可以在项目中执行 50 个 environments.saveSnapshot 请求。

    每个项目每分钟保存快照请求数配额限制为 150 个配额单元。一分钟内，您最多只能在项目中执行三个 environments.saveSnapshot 请求。

    最后，每个项目每个环境每天保存快照请求数的配额限制为 750 个配额单元。对于单个环境，您每天最多可以执行 15 个 environments.saveSnapshot 请求。如果特定环境已用完所有配额单元，您仍可以针对项目中的其他环境运行 environments.saveSnapshot 请求。

其他服务的配额

Cloud Composer 还使用其他 Google Cloud 服务。这些服务具有项目级配额，会在您使用 Cloud Composer 时应用。

例如，Cloud Storage 的配额适用于与您项目中的环境关联的所有存储分区。另一个例子是环境的集群使用 Google Kubernetes Engine，因此 GKE 的配额适用于与项目中的环境关联的所有集群。

Cloud Composer 使用的服务的配额

Cloud Composer 使用以下服务。这些服务有各自的配额限制：

可选服务的配额

您可以将 Airflow 操作器与 Google Cloud 服务结合使用。您在 DAG 中使用的任何服务都会受该服务的配额约束。