Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
En esta página, se describe cómo funciona el escalamiento del entorno en Cloud Composer 2.
Otras páginas sobre el escalamiento:
- Si deseas obtener una guía para seleccionar los parámetros de escalamiento y rendimiento óptimos para tu entorno, consulta Cómo optimizar el rendimiento y los costos del entorno.
- Para obtener información sobre cómo escalar tus entornos, consulta Escalado de entornos.
Entornos de ajuste de escalado automático
Los entornos de Cloud Composer 2 escalan de forma automática en respuesta a las demandas de tus DAG y tareas ejecutados:
- Si tu entorno experimenta una carga pesada, Cloud Composer aumenta de forma automática la cantidad de trabajadores en tu entorno.
- Si tu entorno no usa algunos de sus trabajadores, se quitan para ahorrar recursos y costos de entorno.
- Puedes configurar la cantidad mínima y máxima de trabajadores para tu entorno. Cloud Composer escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.
La cantidad de trabajadores se ajusta según la métrica Objetivo del factor de escalamiento. Esta métrica se calcula en función de lo siguiente:
- Cantidad actual de trabajadores
- Cantidad de tareas de Celery en la cola de Celery que no están asignadas a un trabajador
- Cantidad de trabajadores inactivos
- Opción de configuración de Airflow
celery.worker_concurrency
El ajuste de escala automático de Cloud Composer usa tres escaladores automáticos diferentes que proporciona GKE:
- Horizontal Pod Autoscaler (HPA)
- Escalador automático del clúster (CA)
- Aprovisionamiento automático de nodos (NAP)
Cloud Composer configura estos escaladores automáticos en el clúster del entorno. Esto escala automáticamente la cantidad de nodos en el clúster, el tipo de máquina y la cantidad de trabajadores.
Parámetros de escalamiento y rendimiento
Además del ajuste de escala automático, puedes controlar la escala y los parámetros de rendimiento del entorno mediante el ajuste de los límites de CPU, memoria y disco para los programadores, el servidor web y los trabajadores. Si lo haces, puedes escalar tu entorno de forma vertical, además del escalamiento horizontal que proporciona la función de ajuste de escala automático. Puedes ajustar los parámetros de escalamiento y rendimiento de los programadores, el servidor web y los trabajadores de Airflow en cualquier momento.
El parámetro de rendimiento de tamaño de entorno de tu entorno controla los parámetros de rendimiento de la infraestructura administrada de Cloud Composer que incluye la base de datos de Airflow. Considera seleccionar un tamaño de entorno más grande si deseas ejecutar una gran cantidad de DAG y tareas con un rendimiento de infraestructura más alto. Por ejemplo, el tamaño de un entorno más grande aumenta la cantidad de entradas de registro de tareas de Airflow que tu entorno puede procesar con una demora mínima.
Varios programadores
Airflow 2 puede usar más de un programador de Airflow al mismo tiempo. Esta característica de Airflow también se conoce como programador de alta disponibilidad. En Cloud Composer 2, puedes establecer la cantidad de programadores de tu entorno y ajustarlo en cualquier momento. Cloud Composer no escala automáticamente la cantidad de programadores en tu entorno.
Para obtener más información sobre cómo configurar la cantidad de programadores de tu entorno, consulta Escalado de entornos.
Espacio en el disco de la base de datos
El espacio en disco para la base de datos de Airflow aumenta de forma automática a fin de adaptarse a la demanda.
¿Qué sigue?