Cloud Composer aplica los siguientes límites de cuotas de API.
| Nombre de la cuota | Límite |
|---|---|
| Solicitudes de escritura por proyecto | 1,500 por minuto; 25,000 por día |
| Solicitudes de lectura por proyecto | 1,000 por minuto |
La mayoría de las llamadas a la API se pueden ejecutar por el valor de 1 unidad, pero algunas son más costosas. Las siguientes API se ejecutan por el valor de 100 unidades: environments.create, environments.update y environments.delete.
Las siguientes herramientas se basan en la API de Cloud Composer y usan su cuota:
Cloud Composer usa otros productos de Google Cloud. Estos tienen cuotas en el nivel de proyecto, que incluyen las que se aplican al uso de Cloud Composer. Con algunos servicios se debe usar Cloud Composer de manera obligatoria, como Google Compute Engine y Google Cloud Storage. Se pueden usar otros servicios opcionalmente en Cloud Composer durante la configuración de conectores en Airflow.
Servicios obligatorios
Estos son los servicios con límites de cuota obligatorios que se usan automáticamente para crear entornos de Cloud Composer.
- Deployment Manager
- Kubernetes Engine (depende de Compute Engine)
- Cloud Storage
- Cloud Pub/Sub
- Cloud Logging
- Cloud Monitoring
- Cloud Build (si se usan dependencias de PyPI)
- Google Container Registry
- Google Artifact Registry
- Identity and Access Management
- Nube privada virtual
Deployment Manager
Deployment Manager administra otros recursos de Google Cloud necesarios para Cloud Composer. Cada llamada a gcloud composer create, update o delete se traduce en una consulta de escritura de Deployment Manager y en varias solicitudes de lectura a las que se aplica la cuota de Deployment Manager.
Kubernetes Engine
Cada entorno de Cloud Composer crea un clúster de GKE que se usa para ejecutar cargas de trabajo de Airflow (p.ej., Scheduler) y del sistema Composer (p.ej., Composer Agent).
Los servicios de Kubernetes usan máquinas virtuales de Compute Engine para nodos de GKE. El clúster afecta la cuota de Kubernetes Engine, mientras que la cantidad de nodos afecta la cuota de Compute Engine.
Cloud Pub/Sub
Cloud Pub/Sub se usa en la comunicación entre el servicio de Composer y la implementación de Airflow que creamos. Cada llamada a gcloud composer environments create o update crea dos suscripciones y dos temas de Cloud Pub/Sub. Se aplica la cuota de Cloud Pub/Sub.
Cloud Logging y Monitoring
Cloud Logging se usa para los registros de Cloud Composer y la transmisión de registros de Airflow. Se aplica la cuota de Logging.
Cloud Monitoring permite recopilar y visualizar las métricas de Airflow en un panel personalizado. Se aplica la cuota de Monitoring.
Cloud Build
Cloud Build te permite compilar imágenes personalizadas de Docker cuando instalas paquetes de PyPi. Se aplican las cuotas de Cloud Build.
Identity and Access Management
La administración de identidades y accesos se usa para verificar los permisos de los usuarios y las cuentas de servicio de Cloud Composer. Por ejemplo, solo los usuarios registrados en IAM de tu proyecto y que tengan los permisos adecuados pueden acceder a la IU de Airflow. Se aplican las cuotas de IAM.
Puedes obtener más información sobre controles de acceso y permisos en Control de acceso.
Nube privada virtual
Cloud Composer se basa en el servicio de herramientas de redes de VPC de Google, por lo que se aplican las cuotas de VPC (p.ej., la cuota de intercambios de tráfico de VPC con redes de VPC).
Servicios opcionales
Puedes usar los operadores de Airflow con servicios de Google Cloud. Cualquier servicio que se use en un entorno de Cloud Composer está sujeto a la cuota de ese servicio.