本文档列出了适用于 Cloud Composer 的quotas和quotas。如需详细了解配额,请参阅虚拟私有云配额。
配额用于限制您的 Google Cloud 项目可使用的共享 Google Cloud 资源(包括硬件、软件和网络组件)的数量。因此,有以下功能的系统具有配额:
- 监控 Google Cloud 产品和服务的使用情况或消耗情况。
- 出于某些原因限制这些资源的消耗量,包括确保公平性和减少使用量高峰。
- 维护可自动强制执行规定限制的配置。
- 提供请求或更改配额的方法。
在大多数情况下,当超过配额时,系统会立即阻止对相关 Google 资源的访问,并且您尝试执行的任务将失败。在大多数情况下,配额适用于每个 Google Cloud 项目,并由使用该 Google Cloud 项目的所有应用和 IP 地址共享。
如需增加或减少大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请更高的配额。
Cloud Composer 资源也存在限制。这些限制与配额系统无关。除非另有说明,否则无法更改限制。
Cloud Composer 配额
本部分中的配额仅适用于 Cloud Composer API 和使用 Cloud Composer API 的工具:
- Google Cloud 控制台中的 Cloud Composer 界面
gcloud composer
和gcloud beta composer
命令- Cloud Composer REST API
- Cloud Composer RPC API
- Terraform(用于在 Cloud Composer 环境中执行操作)
本部分的配额不适用于您在 Airflow DAG 中使用的任何服务。此类服务使用自己的配额。
Cloud Composer 具有以下 API 配额:
配额名称 | 限额 |
---|---|
每个项目的读取请求数 | 每分钟 1,000 个配额单元 |
每个项目的写入请求数 | 每天 25,000 个配额单元 |
每个项目的写入请求数 | 每分钟 1,500 个配额单元 |
每个项目的保存快照请求数 | 每天 5,000 个配额单元 |
每个项目的保存快照请求数 | 每分钟 250 个配额单元 |
每个环境每个项目的保存快照请求数 | 每天 2,600 个配额单元 |
每个项目的加载快照请求数 | 每天 2,500 个配额单元 |
每个项目的加载快照请求数 | 每分钟 150 个配额 |
每个环境每个项目的加载快照请求数 | 每天 700 个配额单元 |
Cloud Composer API 调用会产生以下费用(以配额单位表示):
操作 | 以配额单位表示的费用 | 请求类型 |
---|---|---|
所有操作 | 1 | Read |
environments.create | 100 | Write |
environments.patch | 100 | Write |
environments.delete | 100 | Write |
environments.databaseFailover | 100 | Write |
environments.restartWebServer | 100 | Write |
environments.checkUpgrade | 100 | Write |
environments.executeAirflowCommand | 25 | Write |
environments.stopAirflowCommand | 25 | Write |
environments.saveSnapshot | 50 | 保存快照 |
environments.loadSnapshot | 50 | 加载快照 |
配额计算示例
一个
environments.create
请求会从写入配额中消耗 100 个配额单元。写入请求有两种配额:
- 每个项目每天的写入请求数
- 每个项目每分钟的写入请求数
此操作从每个配额消耗 100 个配额单元。
如果您之后执行
environments.restartWebServer
请求,那么同一配额会再消耗 100 个配额单元,因为environments.restartWebServer
与environments.create
请求共享配额。一个
environments.saveSnapshot
请求使用 3 个配额中的 50 个配额单元:- 每个项目每天保存快照请求数
- 每个项目每分钟保存快照请求数
- 每个环境每天为每个项目保存快照请求数
这三个配额用于限制
environments.saveSnapshot
请求的最大数量。每种方法的方法各不相同。每个项目每天保存快照请求次数的配额限制为 2500 个配额单元。您每天最多可以在项目中执行 50 个
environments.saveSnapshot
请求。每分钟每个项目的保存快照请求数配额限制为 150 个配额单元。一分钟内,您在项目中最多只能执行三个
environments.saveSnapshot
请求。最后,每个环境每天为每个项目保存快照请求数配额限制为 750 个配额单元。您每天最多可以为单个环境执行 15 个
environments.saveSnapshot
请求。如果特定环境已用完所有配额单元,您仍可以针对项目中的其他环境运行environments.saveSnapshot
请求。
其他服务的配额
Cloud Composer 还使用其他 Google Cloud 服务。这些服务具有项目级配额,会在您使用 Cloud Composer 时应用。
例如,Cloud Storage 的配额适用于与项目中的环境关联的所有存储分区。再举一个例子,环境的集群使用 Google Kubernetes Engine,因此 GKE 的配额适用于与项目中的环境关联的所有集群。
Cloud Composer 所用服务的配额
Cloud Composer 使用以下服务。这些服务有自己的配额限制:
- Cloud Deployment Manager 配额
- Google Kubernetes Engine 配额
- Compute Engine 配额
- Cloud Storage 配额
- Pub/Sub 配额
- Cloud Logging 配额
- Cloud Monitoring 配额
- Cloud Build 配额(适用于使用自定义 PyPI 软件包的环境)
- Artifact Registry 配额
- Identity and Access Management 配额
- 虚拟私有云配额(不适用于使用 Private Service Connect 的环境)
- Resource Manager 配额
- Service Directory 配额
可选服务的配额
您可以将 Airflow 操作器与 Google Cloud 服务结合使用。您在 DAG 中使用的任何服务都会受到该服务的配额的约束。