Cuotas de recursos del plano de control de Cloud Composer

Cloud Composer aplica los siguientes límites de cuotas de API.

Nombre de la cuota Límite
Solicitudes de escritura por proyecto 1,500 por minuto; 25,000 por día
Solicitudes de lectura por proyecto 1,000 por minuto

La mayoría de las llamadas a la API se pueden ejecutar por el valor de 1 unidad, pero algunas son más costosas. Las siguientes API se ejecutan por el valor de 100 unidades: environments.create, environments.update y environments.delete.

Las siguientes herramientas se basan en la API de Cloud Composer y usan su cuota:

Cloud Composer usa otros productos de Google Cloud. Estos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Cloud Composer. Con algunos servicios se debe usar Cloud Composer de manera obligatoria, como Google Compute Engine y Google Cloud Storage. Otros servicios se pueden usar con Cloud Composer de manera opcional durante la configuración de conectores en Airflow.

Servicios obligatorios

Estos son los servicios con límites de cuota obligatorios que se usan automáticamente para crear entornos de Cloud Composer.

  • Deployment Manager
  • Kubernetes Engine (depende de Compute Engine)
  • Cloud Storage
  • Cloud Pub/Sub
  • Cloud Logging
  • Cloud Monitoring
  • Cloud Build (si se usan dependencias de PyPI)
  • Google Container Registry
  • Google Artifact Registry

Deployment Manager

Deployment Manager administra otros recursos de Google Cloud necesarios para Cloud Composer. Cada llamada a gcloud composer create, update o delete se traduce en una consulta de escritura de Deployment Manager y en varias solicitudes de lectura a las que se aplica la cuota de Deployment Manager.

Kubernetes Engine

Los procesos de programador y trabajador de Airflow se ejecutan en un clúster de Kubernetes Engine. Cada entorno de Cloud Composer crea un clúster. Según la configuración predeterminada, cada entorno cuenta con tres VM de Compute Engine, aunque se puede configurar esta cantidad durante la creación o después de ella. El clúster influye en la cuota de Kubernetes Engine, mientras que la cantidad de nodos afecta la cuota de Compute Engine.

Cloud Pub/Sub

Cloud Pub/Sub se usa en la comunicación entre el servicio de Composer y la implementación de Airflow que creamos. Cada llamada a gcloud composer environments create o update crea dos suscripciones y dos temas de Cloud Pub/Sub. Se aplica la cuota de Cloud Pub/Sub.

Cloud Logging y Monitoring

Cloud Logging se usa para los registros de Cloud Composer y la transmisión de registros de Airflow. Se aplica la cuota de Logging.

Cloud Monitoring permite recopilar y visualizar las métricas de Airflow en un panel personalizado. Se aplica la cuota de Monitoring.

Cloud Build

Cloud Build te permite compilar imágenes personalizadas de Docker cuando instalas paquetes de PyPi. Se aplican las cuotas de Cloud Build.

Servicios opcionales

Puedes usar los operadores de Airflow con servicios de Google Cloud. Cualquier servicio que se use en un entorno de Cloud Composer está sujeto a la cuota de ese servicio.