本文档列出了适用于 Cloud Composer 的quotas和quotas。如需详细了解配额,请参阅虚拟私有云配额。
配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源(包括硬件、软件和网络组件)的数量。因此,有以下功能的系统具有配额:
- 监控 Google Cloud 产品和服务的使用情况或消耗情况。
- 出于某些原因限制这些资源的消耗量,包括确保公平性和减少使用量高峰。
- 维护可自动强制执行规定限制的配置。
- 提供请求或更改配额的方法。
在大多数情况下,当超过配额时,系统会立即阻止对相关 Google 资源的访问,并且您尝试执行的任务将失败。在大多数情况下,配额适用于每个 Google Cloud 项目,并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。
如需增加或减少大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请更高的配额。
Cloud Composer 资源也存在限制。这些限制与配额系统无关。除非另有说明,否则无法更改限制。
Cloud Composer 配额
本部分中的配额仅适用于 Cloud Composer API 和使用 Cloud Composer API 的工具:
- Google Cloud 控制台中的 Cloud Composer 界面
gcloud composer
和gcloud beta composer
命令- Cloud Composer REST API
- Cloud Composer RPC API
- Terraform,适用于在 Cloud Composer 环境中执行操作
本部分中的配额不适用于您在 Airflow DAG 中使用的任何服务。这些服务使用自己的配额。
Cloud Composer 的 API 配额如下:
配额名称 | 限额 |
---|---|
每个项目的读取请求数 | 每分钟 1,000 个配额单元 |
每个项目的写入请求数 | 每天 25,000 个配额单元 |
每个项目的写入请求数 | 每分钟 1,500 个配额单元 |
每个项目的保存快照请求数 | 每天 5,000 个配额单元 |
每个项目的保存快照请求数 | 每分钟 250 个配额单元 |
每个环境每个项目的快照请求保存 | 每天 2600 个配额单元 |
每个项目的加载快照请求数 | 每天 2,500 个配额单元 |
每个项目的加载快照请求数 | 每分钟 150 个配额 |
每个环境每个项目的加载快照请求数 | 每天 700 个配额单元 |
Cloud Composer API 调用具有以下费用(以配额单元为单位):
操作 | 配额单位费用 | 请求类型 |
---|---|---|
所有操作 | 1 | 读取 |
environments.create | 100 | Write |
environments.patch | 100 | Write |
environments.delete | 100 | Write |
environments.databaseFailover | 100 | Write |
environments.restartWebServer | 100 | Write |
environments.checkUpgrade | 100 | Write |
environments.executeAirflowCommand | 25 | Write |
environments.stopAirflowCommand | 25 | Write |
environments.saveSnapshot | 50 | 保存快照 |
environments.loadSnapshot | 50 | 加载快照 |
配额计算示例
一个
environments.create
请求会消耗 Write 配额中的 100 个配额单元。对于写入请求,有两个此类配额:
- 每个项目每天的写入请求数
- 每个项目每分钟的写入请求数
此操作将消耗每个配额中的 100 个配额单元。
如果您之后执行
environments.restartWebServer
请求,那么这两个配额会再消耗 100 个配额单元,因为environments.restartWebServer
与environments.create
请求共享配额。一个
environments.saveSnapshot
请求会消耗以下三项配额中的 50 个配额单元:- 每个项目每天保存快照请求数
- 每分钟每个项目的保存快照请求数
- 每天每个环境每个项目保存快照请求数
这三个配额会限制
environments.saveSnapshot
请求的最大数量。每种方式的实现方式各不相同。每个项目每天的保存快照请求数配额限制为 2500 个配额单元。您每天最多可以在项目中执行 50 个
environments.saveSnapshot
请求。每个项目每分钟的保存快照请求数配额限制为 150 个配额单元。在一分钟内,您在项目中最多只能执行三个
environments.saveSnapshot
请求。最后,每个环境每个项目每天保存快照请求数配额限制为 750 个配额单元。您每天最多可以针对单个环境执行 15 个
environments.saveSnapshot
请求。如果特定环境的所有配额单元都已消耗掉,您仍然可以为项目中的其他环境运行environments.saveSnapshot
请求。
其他服务的配额
Cloud Composer 使用其他 Google Cloud 服务。这些服务具有项目级配额,当您使用 Cloud Composer 时,需要遵守此配额。
例如,Cloud Storage 的配额适用于与您项目中的环境关联的所有存储分区。 再举一例,环境的集群使用 Google Kubernetes Engine,因此 GKE 的配额适用于与您项目中的环境关联的所有集群。
Cloud Composer 所用服务的配额
Cloud Composer 使用以下服务。这些服务有自己的配额限制:
- Cloud Deployment Manager 配额
- Google Kubernetes Engine 配额
- Compute Engine 配额
- Cloud Storage 配额
- Pub/Sub 配额
- Cloud Logging 配额
- Cloud Monitoring 配额
- Cloud Build 配额(适用于使用自定义 PyPI 软件包的环境)
- Artifact Registry 配额
- Identity and Access Management 配额
- 虚拟私有云配额(不适用于使用 Private Service Connect 的环境)
- Resource Manager 配额
- Service Directory 配额
可选服务的配额
您可以将 Airflow 运算符与 Google Cloud 服务结合使用。您在 DAG 中使用的任何服务都受该服务的配额的约束。