Cuotas de recursos del plano de control de Cloud Composer

Cloud Composer cuenta con los siguientes límites de cuota de API:

Nombre de la cuota Límite
Solicitudes de escritura por proyecto 1500 por minuto y 25.000 por día
Solicitudes de lectura por proyecto 1000 por minuto

La mayoría de llamadas a API consumen 1 unidad, pero hay otras más caras. Las de las API environments.create, environments.update y environments.delete consumen 100 unidades.

Las siguientes herramientas se han diseñado a partir de la API Cloud Composer y utilizan tu cuota de dicha API:

Cloud Composer utiliza otros productos de Google Cloud, que a su vez tienen cuotas a nivel de proyecto que incluyen otras cuotas aplicables al uso de Cloud Composer. Para utilizar Cloud Composer es obligatorio usar algunos servicios, como Google Compute Engine y Google Cloud Storage, mientras que otros se pueden usar opcionalmente junto con el servicio cuando se configuran los conectores en Airflow.

Servicios obligatorios

Los siguientes servicios tienen unos límites de cuota concretos y se utilizan de forma automática y obligatoria para crear entornos de Cloud Composer.

  • Deployment Manager
  • Kubernetes Engine (depende de Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Cloud Logging
  • Cloud Monitoring
  • Cloud Build (si utilizas dependencias de PyPi)
  • Google Container Registry
  • Google Artifact Registry

Deployment Manager

Deployment Manager gestiona otros recursos de Google Cloud que Cloud Composer necesita. Cada llamada a gcloud composer create, update o delete genera una consulta de escritura de Deployment Manager y varias consultas de lectura, a las que se aplican las cuotas de dicho servicio.

Kubernetes Engine

El programador y los trabajadores de Airflow se ejecutan dentro de un clúster de Kubernetes Engine. Cada entorno de Cloud Composer crea un clúster e incluye de forma predeterminada tres máquinas virtuales de Compute Engine (aunque esta cantidad se puede configurar durante el proceso de creación o después). En cuanto a las cuotas, se aplican las de Kubernetes Engine al clúster y las de Compute Engine al número de nodos.

Cloud Pub/Sub

Cloud Pub/Sub se utiliza para las tareas de comunicación entre Composer Service y el despliegue de Airflow que se cree. Cada llamada a gcloud composer environments create o update genera dos temas y dos suscripciones de Cloud Pub/Sub. Se aplican las cuotas correspondientes a Cloud Pub/Sub.

Cloud Logging y Monitoring

Cloud Logging se utiliza para los registros de Cloud Composer y para los registros de streaming de Airflow. Se aplican las cuotas correspondientes de Logging.

Con Cloud Monitoring puedes recopilar y consultar tus métricas de Airflow en un panel de control personalizado. Se aplican las cuotas correspondientes a Monitoring.

Cloud Build

Con Cloud Build puedes crear imágenes Docker personalizadas al instalar paquetes PyPi. Se aplican las cuotas correspondientes a este servicio.

Servicios opcionales

Puedes utilizar los operadores de Airflow con los servicios de Google Cloud. Todos los servicios que uses en un entorno de Cloud Composer están sujetos a las cuotas de dicho servicio.