Escalamiento del entorno

Cloud Composer 1 | Cloud Composer 2

En esta página, se describe cómo funciona el escalamiento del entorno en Cloud Composer 2.

Para obtener información sobre cómo escalar tus entornos, consulta Escalado de entornos.

Entornos de ajuste de escalado automático

Los entornos de Cloud Composer 2 escalan de forma automática en respuesta a las demandas de tus DAG y tareas ejecutados:

  • Si tu entorno experimenta una carga pesada, Cloud Composer aumenta de forma automática la cantidad de trabajadores en tu entorno.
  • Si tu entorno no usa algunos de sus trabajadores, se quitan para ahorrar recursos y costos de entorno.
  • Puedes configurar la cantidad mínima y máxima de trabajadores para tu entorno. Cloud Composer escala automáticamente tu entorno dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.

La cantidad de trabajadores se ajusta según la métrica Objetivo del factor de escalamiento. Esta métrica se calcula en función de lo siguiente:

  • Cantidad actual de trabajadores
  • Cantidad de tareas en la cola que no están asignadas a un trabajador
  • Cantidad de trabajadores inactivos
  • Opción de configuración de Airflow core.worker_concurrency

El ajuste de escala automático de Cloud Composer usa tres escaladores automáticos diferentes que proporciona GKE:

Cloud Composer configura estos escaladores automáticos en el clúster del entorno. Esto escala automáticamente la cantidad de nodos en el clúster, el tipo de máquina y la cantidad de trabajadores.

Parámetros de escalamiento y rendimiento

Además del ajuste de escala automático, puedes controlar la escala y los parámetros de rendimiento del entorno mediante el ajuste de los límites de CPU, memoria y disco para los programadores, el servidor web y los trabajadores. Si lo haces, puedes escalar tu entorno de forma vertical, además del escalamiento horizontal que proporciona la función de ajuste de escala automático. Puedes ajustar los parámetros de escalamiento y rendimiento de los programadores, el servidor web y los trabajadores de Airflow en cualquier momento.

El parámetro de rendimiento de tamaño de entorno de tu entorno controla los parámetros de rendimiento de la infraestructura administrada de Cloud Composer que incluye la base de datos de Airflow. Considera seleccionar un tamaño de entorno más grande si deseas ejecutar una gran cantidad de DAG y tareas.



Varios programadores

Airflow 2 puede usar más de un programador de Airflow al mismo tiempo. Esta característica de Airflow también se conoce como programador de alta disponibilidad. En Cloud Composer 2, puedes establecer la cantidad de programadores de tu entorno y ajustarlo en cualquier momento. Cloud Composer no escala automáticamente la cantidad de programadores en tu entorno.

Si deseas obtener más información sobre cómo configurar la cantidad de programadores para tu entorno, consulta Entornos de escalamiento.

Espacio en el disco de la base de datos

El espacio en disco para la base de datos de Airflow aumenta de forma automática a fin de adaptarse a la demanda.

¿Qué sigue?