Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
En esta página se describe cómo funciona el escalado de entornos en Cloud Composer 2.
Otras páginas sobre el escalado:
- Para obtener una guía sobre cómo seleccionar los parámetros de escalado y rendimiento óptimos para tu entorno, consulta Optimizar el rendimiento y los costes del entorno.
- Para obtener información sobre cómo escalar tus entornos, consulta Escalar entornos.
Entornos de autoescalado
Los entornos de Cloud Composer 2 se escalan automáticamente en función de las demandas de los DAGs y las tareas que se ejecutan:
- Si tu entorno experimenta una carga pesada, Cloud Composer aumenta automáticamente el número de trabajadores de tu entorno.
- Si tu entorno no utiliza algunos de sus trabajadores, estos se eliminan para ahorrar recursos y costes del entorno.
- Puedes definir el número mínimo y máximo de trabajadores de tu entorno. Cloud Composer escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.
El número de trabajadores se ajusta en función de la métrica Objetivo del factor de escalado. Esta métrica se calcula en función de lo siguiente:
- Número actual de trabajadores
- Número de tareas de Celery en la cola de Celery que no están asignadas a un trabajador.
- Número de trabajadores inactivos
- Opción de configuración de
celery.worker_concurrencyAirflow
El autoescalado de Cloud Composer usa tres herramientas de autoescalado diferentes proporcionadas por GKE:
- Autoescalador horizontal de pods (HPA)
- Herramienta de adaptación dinámica de clústeres (CA)
- Aprovisionamiento automático de nodos (NAP)
Cloud Composer configura estos escaladores automáticos en el clúster del entorno. De esta forma, se escala automáticamente el número de nodos del clúster, el tipo de máquina y el número de trabajadores.
Parámetros de escala y rendimiento
Además del autoescalado, puedes controlar los parámetros de escalado y rendimiento de tu entorno ajustando los límites de CPU, memoria y disco de los programadores, el servidor web y los trabajadores. De esta forma, puedes escalar tu entorno verticalmente, además del escalado horizontal que proporciona la función de autoescalado. Puedes ajustar los parámetros de escala y rendimiento de los programadores, el servidor web y los trabajadores de Airflow en cualquier momento.
El parámetro de rendimiento Tamaño del entorno de tu entorno controla los parámetros de rendimiento de la infraestructura gestionada de Cloud Composer, que incluye la base de datos de Airflow. Si quieres ejecutar un gran número de DAGs y tareas con un mayor rendimiento de la infraestructura, te recomendamos que selecciones un tamaño de entorno más grande. Por ejemplo, si el tamaño del entorno es mayor, aumenta la cantidad de entradas de registro de tareas de Airflow que puede procesar con un retraso mínimo.
Varias programaciones
Airflow 2 puede usar más de un programador de Airflow al mismo tiempo. Esta función de Airflow también se conoce como programador de alta disponibilidad. En Cloud Composer 2, puedes definir el número de programadores de tu entorno y ajustarlo en cualquier momento. Cloud Composer no escala automáticamente el número de programadores de tu entorno.
Para obtener más información sobre cómo configurar el número de programadores de tu entorno, consulta Escalar entornos.
Espacio en disco de la base de datos
El espacio en disco de la base de datos de Airflow aumenta automáticamente para adaptarse a la demanda.