配额和限制

本文档列出了适用于 Cloud Composer 的配额和系统限制。

  • 配额用于指定您可以使用的可计数共享资源的数量。配额由 Cloud Composer 等服务定义。 Google Cloud
  • 系统限制是无法更改的固定值。

Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用的Google Cloud 资源的数量。配额适用于一系列资源类型，包括硬件、软件和网络组件。例如，配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载，从而保护Google Cloud 用户社区。配额还可帮助您管理自己的 Google Cloud 资源。

Cloud 配额系统执行以下操作：

  • 监控 Google Cloud 产品和服务的消耗情况
  • 限制这些资源的消耗量
  • 提供请求更改配额值的方法

在大多数情况下，当您尝试消耗的资源超出其配额允许的范围时，系统会阻止对资源的访问，并且您尝试执行的任务会失败。

配额通常在 Google Cloud 项目级层应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中，配额在所有应用和 IP 地址间共享。

如需调整大多数配额，请使用 Google Cloud 控制台。如需了解详情，请参阅申请配额调整。

Cloud Composer 资源也有系统限制。系统限制不能更改。

Cloud Composer 配额

本部分中的配额仅适用于 Cloud Composer API 和利用 Cloud Composer API 的工具：

  • Google Cloud 控制台中的 Cloud Composer 界面
  • gcloud composer 和 gcloud beta composer 命令
  • Cloud Composer REST API
  • Cloud Composer RPC API
  • Terraform，用于对 Cloud Composer 环境执行操作

本部分中的配额不适用于您在 Airflow DAG 中使用的任何服务。此类服务使用自己的配额。

Cloud Composer 具有以下 API 配额：

配额名称 限制
每个项目的读取请求数 每分钟 1,000 个配额单元
每个项目的写入请求数 每天 25,000 个配额单元
每个项目的写入请求数 每分钟 1,500 个配额单元
每个项目的快照保存请求数 每天 5,000 个配额单元
每个项目的快照保存请求数 每分钟 250 个配额单元
每个项目每个环境的快照请求数 每天 2,600 个配额单元
每个项目的加载快照请求数 每天 2,500 个配额单元
每个项目的加载快照请求数 每分钟 150 个配额
每个项目每个环境的快照加载请求数 每天 700 个配额单元

Cloud Composer API 调用的费用如下（以配额单位为单位）：

操作 配额单位的费用 请求类型
所有操作 1 读取
environments.create 100 写入
environments.patch 100 写入
environments.delete 100 写入
environments.databaseFailover 100 写入
environments.restartWebServer 100 写入
environments.checkUpgrade 100 写入
environments.executeAirflowCommand 25 写入
environments.stopAirflowCommand 25 写入
environments.saveSnapshot 50 保存快照
environments.loadSnapshot 50 加载快照

配额计算示例

  • 一个 environments.create 请求会消耗 100 个写入配额单元。

    写入请求有两种此类配额：

    • 每个项目每日的写入请求数
    • 每个项目每分钟的写入请求数

    此操作会从每个配额中消耗 100 个配额单元。

    如果您之后执行 environments.restartWebServer 请求，系统会从同一配额中再消耗 100 个配额单元，因为 environments.restartWebServer 与 environments.create 请求共享配额。

  • 一个 environments.saveSnapshot 请求会从以下三个配额中消耗 50 个配额单元：

    • 每个项目每天的保存快照请求数
    • 每个项目每分钟的保存快照请求数
    • 每个项目每天可保存的每个环境的快照请求数

    这三个配额限制了 environments.saveSnapshot 请求的数量上限。每种方法的实现方式各不相同。

    每个项目每天保存快照请求数配额限制为 2500 个配额单元。您每天在项目中最多可以执行 50 次 environments.saveSnapshot 请求。

    每个项目每分钟的保存快照请求数配额上限为 150 个配额单元。在一分钟内，您在项目中最多只能执行 3 个 environments.saveSnapshot 请求。

    最后，每个项目在每个环境中每天保存快照请求的配额限制为 750 个配额单元。您每天最多可以针对单个环境执行 15 次 environments.saveSnapshot 请求。如果特定环境的所有配额单元都已用尽，您仍然可以为项目中的其他环境运行 environments.saveSnapshot 请求。

其他服务的配额

Cloud Composer 会使用其他 Google Cloud 服务。这些服务具有项目级配额，在您使用 Cloud Composer 时会应用这些配额。

例如，Cloud Storage 配额适用于与项目中的环境关联的所有存储分区。再举一个例子，环境的集群使用 Google Kubernetes Engine，因此 GKE 配额会应用于与项目中的环境关联的所有集群。

Cloud Composer 使用的服务的配额

Cloud Composer 使用以下服务。以下服务各有自己的配额限制：

可选服务的配额

您可以将 Airflow 运算符与 Google Cloud 服务结合使用。您在 DAG 中使用的任何服务都会消耗相应服务的配额。