Cloud Composer 资源配额

Cloud Composer 具有以下 API 配额限制。

配额指标 限制
每个项目的 API 调用次数 1000 个请求/分钟
每个项目中每个用户的 API 调用次数 300 个请求/分钟

下列工具以 Cloud Composer API 为基础构建,并且会占用您的 Cloud Composer API 配额:

Cloud Composer 会用到其他 Google Cloud Platform 产品。这些产品具有项目级配额,其中包括适用于 Cloud Composer 用量的配额。使用 Cloud Composer 需要搭配一些服务,例如 Google Compute EngineGoogle Cloud Storage。此外,在 Airflow 中设置连接器时,可以选择将其他服务与 Cloud Composer 结合使用。

必需服务

以下服务具有配额限制,当您构建 Cloud Composer 环境时,系统将自动使用这些服务(强制要求)。

  • Deployment Manager
  • Kubernetes Engine(依赖于 Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Stackdriver Logging
  • Cloud Build(如果使用 PyPi 依赖项)

Deployment Manager

Deployment Manager 用来管理 Cloud Composer 所需的其他 Google Cloud Platform 资源。每个 gcloud composer createupdatedelete 调用都会转换为一个 Deployment Manager 写入查询和多个读取查询,这些查询会耗费 Deployment Manager 配额

Kubernetes Engine

Airflow 调度器和工作器在 Kubernetes Engine 集群内运行。每个 Cloud Composer 环境会创建一个集群。一个环境默认包含三个 Compute Engine 虚拟机,不过您可以在创建时或创建后配置虚拟机的数量。集群会影响 Kubernetes Engine 配额,而节点数量会影响 Compute Engine 配额

Cloud Pub/Sub

Cloud Pub/Sub 用于在 Composer 服务与我们创建的 Airflow 部署之间实现通信。每个 gcloud composer environments createupdate 调用会创建两个 Cloud Pub/Sub 主题和两个 Cloud Pub/Sub 订阅。这项服务会耗费 Cloud Pub/Sub 配额

Stackdriver

Stackdriver Logging 用于生成 Cloud Composer 日志和传输 Airflow 日志。这项服务会耗费 Logging 配额

Stackdriver Monitoring 让您可以在自定义信息中心内收集并直观呈现 Airflow 指标。这项服务会耗费 Monitoring 配额

Cloud Build

您可以在安装 PyPi 软件包时,通过 Cloud Build 构建自定义 Docker 映像。这项服务会耗费 Cloud Build 配额

可选服务

您可以将 Airflow 操作器与 Google Cloud Platform 服务结合使用。在 Cloud Composer 环境中使用的所有服务都会耗费相应服务的配额。

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer