Escalamiento del entorno

Cloud Composer 1 | Cloud Composer 2

En esta página, se describe cómo funciona el escalamiento del entorno en Cloud Composer 2.

Para obtener más información sobre cómo escalar los entornos, consulta Escala entornos.

Entornos de ajuste de escala automático

Los entornos de Cloud Composer 2 se escalan de forma automática en respuesta a las demandas de tus DAG y tareas ejecutados:

  • Si tu entorno experimenta una gran carga, Cloud Composer aumenta de forma automática la cantidad de trabajadores de tu entorno.
  • Si tu entorno no usa algunos de sus trabajadores, se quitan para ahorrar recursos y costos del entorno.
  • Puedes establecer la cantidad mínima y máxima de trabajadores para tu entorno. Cloud Composer escala tu entorno de forma automática dentro de los límites establecidos. Puedes ajustar estos límites en cualquier momento.

La cantidad de trabajadores se ajusta en función de la métrica Objetivo de factor de escala. Esta métrica se calcula en función de los siguientes aspectos:

  • Cantidad actual de trabajadores
  • Cantidad de tareas en una cola que no están asignadas a un trabajador
  • Cantidad de trabajadores inactivos
  • Opción de configuración de Airflow de core.worker_concurrency

El ajuste de escala automático de Cloud Composer usa tres escaladores automáticos diferentes que proporciona GKE:

Cloud Composer configura estos escaladores automáticos en el clúster del entorno. Esto escala de forma automática la cantidad de nodos en el clúster, el tipo de máquina y la cantidad de trabajadores.

Parámetros de escalamiento y rendimiento

Además de ajustar la escala automáticamente, puedes controlar los parámetros de escalamiento y rendimiento de tu entorno si ajustas los límites de CPU, memoria y disco para los programadores, servidores web y trabajadores. De esta manera, puedes escalar tu entorno verticalmente, además del escalamiento horizontal que proporciona la función de ajuste de escala automático. Puedes ajustar los parámetros de escala y rendimiento de los programadores de Airflow, el servidor web y los trabajadores en cualquier momento.

El parámetro de rendimiento de tamaño del entorno de tu entorno controla los parámetros de rendimiento de la infraestructura administrada de Cloud Composer que incluye la base de datos de Airflow. Considera seleccionar un tamaño de entorno más grande si deseas ejecutar una gran cantidad de DAG y tareas.



Varios programadores

Airflow 2 puede usar más de un programador de Airflow al mismo tiempo. Esta función de Airflow también se conoce como el programador de HA. En Cloud Composer 2, puedes establecer la cantidad de programadores para el entorno y ajustarlo en cualquier momento. Cloud Composer no escala automáticamente la cantidad de programadores en tu entorno.

Para obtener más información sobre cómo configurar la cantidad de programadores de tu entorno, consulta Escalar entornos.

Espacio en el disco de la base de datos

El espacio en disco de la base de datos de Airflow aumenta de forma automática para adaptarse a la demanda.

¿Qué sigue?