Cuotas y límites

En este documento, se enumeran las quotas y los quotas que se aplican a Cloud Composer.

Una cuota restringe cuánto de un recurso compartido de Google Cloud en particular puede usar tu proyecto de Google Cloud, incluidos los componentes de red, hardware y software. Por lo tanto, las cuotas son parte de un sistema que hace las siguientes acciones:

  • Supervisa el uso o consumo de productos y servicios de Google Cloud.
  • Restringe el consumo de esos recursos por motivos que incluyen garantizar la equidad y reducir los aumentos repentinos de uso.
  • Mantiene los parámetros de configuración que aplican de forma automática las restricciones prescritas.
  • Proporciona un medio para solicitar o hacer cambios en la cuota.

En la mayoría de los casos, cuando se excede un límite de cuota, el sistema bloquea de inmediato el acceso al recurso de Google correspondiente, y la tarea que intentas hacer falla. En la mayoría de los casos, las cuotas se aplican a cada proyecto de Google Cloud y se comparten entre todas las aplicaciones y direcciones IP que usan ese proyecto.

Para aumentar o disminuir la mayoría de las cuotas, usa la consola de Google Cloud. Para obtener más información, consulta Solicita una cuota mayor.

También existen límites para los recursos de Cloud Composer. Estos límites no están relacionados con el sistema de cuotas. Los límites no se pueden cambiar, a menos que se indique lo contrario.

Cuotas de Cloud Composer

Las cuotas de esta sección solo se aplican a la API de Cloud Composer y a las herramientas que usan la API de Cloud Composer:

  • Interfaz de Cloud Composer en la consola de Google Cloud
  • Comandos gcloud composer y gcloud beta composer
  • API de REST de Cloud Composer
  • API de RPC de Cloud Composer
  • Terraform, para operaciones con entornos de Cloud Composer

Las cuotas de esta sección no se aplican a ningún servicio que uses en tus DAG de Airflow. Esos servicios usan sus propias cuotas.

Cloud Composer tiene las siguientes cuotas de API:

Nombre de la cuota Límite
Solicitudes de lectura por proyecto 1,000 unidades de cuota por minuto
Solicitudes de escritura por proyecto 25 000 unidades de cuota por día
Solicitudes de escritura por proyecto 1,500 unidades de cuota por minuto
Guardar solicitudes de instantáneas por proyecto 5000 unidades de cuota por día
Guardar solicitudes de instantáneas por proyecto 250 unidades de cuota por minuto
Guardar solicitudes de instantáneas por proyecto y por entorno 2600 unidades de cuota por día
Solicitudes de instantáneas de carga por proyecto 2500 unidades de cuota por día
Solicitudes de instantáneas de carga por proyecto Cuota de 150 por minuto
Las solicitudes de instantáneas se cargan por proyecto y por entorno. 700 unidades de cuota por día

Las llamadas a la API de Cloud Composer tienen los siguientes costos, expresados en unidades de cuota:

Operación Costo en unidades de cuota Tipo de solicitud
Todas las operaciones 1 Leer
environments.create 100 Escritura
environments.patch 100 Escritura
environments.delete 100 Escritura
environments.databaseFailover 100 Escritura
environments.restartWebServer 100 Escritura
environments.checkUpgrade 100 Escritura
environments.executeAirflowCommand 25 Escritura
environments.stopAirflowCommand 25 Escritura
environments.saveSnapshot 50 Guardar instantánea
environments.loadSnapshot 50 Cargar instantánea

Ejemplos de cálculo de cuota

  • Una solicitud environments.create consume 100 unidades de cuota de las cuotas de Write.

    Existen dos cuotas de este tipo para las solicitudes de escritura:

    • Solicitudes de escritura por proyecto por día
    • Solicitudes de escritura por proyecto por minuto

    Esta operación consume 100 unidades de cuota de cada cuota.

    Si ejecutas una solicitud environments.restartWebServer más adelante, se consumirán otras 100 unidades de cuota desde las mismas cuotas, ya que environments.restartWebServer comparte cuotas con la solicitud environments.create.

  • Una solicitud environments.saveSnapshot consume 50 unidades de cuota de tres cuotas:

    • Solicitudes de guardado de instantáneas por proyecto por día
    • Solicitudes de guardado de instantáneas por proyecto por minuto
    • Solicitudes de guardado de instantáneas por proyecto y entorno al día

    Estas tres cuotas limitan la cantidad máxima de solicitudes environments.saveSnapshot. Cada uno lo hace de una manera diferente.

    El límite de cuota de Guardar solicitudes de instantáneas por proyecto por día es de 2,500 unidades de cuota. Puedes ejecutar hasta 50 solicitudes environments.saveSnapshot en tu proyecto todos los días.

    El límite de cuota de Guardar solicitudes de instantáneas por proyecto por minuto es de 150 unidades de cuota. En un minuto, puedes ejecutar solo hasta tres solicitudes environments.saveSnapshot en tu proyecto.

    Por último, el límite de cuota de Guardar solicitudes de instantáneas por proyecto, por entorno y por día es de 750 unidades de cuota. Puedes ejecutar hasta 15 solicitudes environments.saveSnapshot todos los días para un solo entorno. Si se consumen todas las unidades de cuota en un entorno específico, aún puedes ejecutar solicitudes environments.saveSnapshot para otros entornos de tu proyecto.

Cuotas para otros servicios

Cloud Composer usa otros servicios de Google Cloud. Estos servicios tienen cuotas a nivel de proyecto, que se aplican cuando usas Cloud Composer.

Por ejemplo, las cuotas de Cloud Storage se aplican a todos los buckets asociados a los entornos de tu proyecto. Como otro ejemplo, los clústeres del entorno usan Google Kubernetes Engine, por lo que las cuotas para GKE se aplican a todos los clústeres asociados con entornos en tu proyecto.

Cuotas para los servicios que usa Cloud Composer

Cloud Composer usa los siguientes servicios. Estos servicios tienen sus propios límites de cuota:

Cuotas para servicios opcionales

Puedes usar operadores de Airflow con los servicios de Google Cloud. Cualquier servicio que uses en un DAG está sujeto a las cuotas de ese servicio.