Optimiza el rendimiento y los costos del entorno

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se explica cómo ajustar la escala y el rendimiento del entorno parámetros a las necesidades del proyecto, de modo que obtengas un mejor rendimiento y reducir los costos de los recursos que tus en un entorno de nube.

Otras páginas sobre escalamiento y optimización:

Descripción general del proceso de optimización

Hacer cambios en los parámetros de tu entorno puede afectar muchos aspectos de su rendimiento. Te recomendamos que optimices tu entorno en iteraciones:

  1. Comienza con los ajustes predeterminados del entorno.
  2. Ejecuta tus DAG.
  3. Observar el rendimiento de tu entorno
  4. Ajusta la escala y los parámetros de rendimiento de tu entorno y, luego, repite desde del paso anterior.

Comienza con los ajustes predeterminados del entorno

Cuando creas un entorno en la consola de Google Cloud, puedes seleccionar uno de los tres ajustes predeterminados del entorno. Estos ajustes predeterminados establecen la escala inicial y la configuración del rendimiento de tu entorno; Después de crear tu puedes cambiar todos los parámetros de escala y rendimiento un ajuste predeterminado.

Te recomendamos que comiences con uno de los parámetros preestablecidos, según las siguientes estimaciones:

  • Cantidad total de DAG que planeas implementar en el entorno
  • Cantidad máxima de ejecuciones simultáneas de DAG
  • Cantidad máxima de tareas simultáneas

El rendimiento de tu entorno depende de la implementación de DAG específicos que ejecutas en tu entorno. En la siguiente tabla, se enumeran las estimaciones que se basan en el consumo promedio de recursos. Si esperas que tus DAG consuman más recursos, ajusta las estimaciones según corresponda.

Configuración predeterminada recomendada DAG totales Ejecuciones de DAG simultáneas máximas Cantidad máxima de tareas simultáneas
Pequeñas 50 15 18
Medias 250 60 100
Grandes 1000 250 400

Por ejemplo, un entorno debe ejecutar 40 DAG. Todos los DAG deben ejecutarse al mismo tiempo con una tarea activa cada uno. Luego, este entorno usaría un preajuste mediano, ya que la cantidad máxima de ejecuciones y tareas de DAG simultáneas supera las estimaciones recomendadas para el preajuste pequeño.

Ejecuta tus DAG

Una vez que se haya creado tu entorno, sube tus DAG que se les asigna. Ejecuta tus DAG y observa el rendimiento del entorno.

Te recomendamos que ejecutes tus DAG en un programa que refleje la aplicación real de tus DAG. Por ejemplo, si deseas ejecutar varios DAG al mismo tiempo, asegúrate de verificar el rendimiento de tu entorno cuando todos estos DAG se ejecuten de forma simultánea.

Observa el rendimiento de tu entorno

En esta sección, se enfocan los aspectos más comunes de la capacidad y el ajuste de rendimiento de Cloud Composer 2. Te recomendamos que sigas esta guía paso a paso, ya que primero se abordan las consideraciones de rendimiento más comunes.

Ir al panel de Monitoring

Puedes supervisar las métricas de rendimiento de tu entorno en la pestaña completamente administrado de tu entorno.

Para ir al panel de Monitoring de tu entorno, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. Haz clic en el nombre de tu entorno.

  3. Ve a la pestaña Monitoring.

Cómo supervisar las métricas de CPU y memoria del programador

Las métricas de CPU y memoria del programador de Airflow te ayudan a comprobar si la del programador es un cuello de botella en el rendimiento general de Airflow.

Gráficos para programadores de Airflow
Figura 1. Gráficos para programadores de Airflow (haz clic para ampliar)

En el panel de Supervisión, en la sección Programadores, observa los grafos de Airflow de tu entorno:

  • Uso total de CPU de los programadores
  • Uso total de memoria de los programadores

Ajusta según tus observaciones:

Supervisa el tiempo de análisis total de todos los archivos DAG

Los programadores analizan los DAG antes de programar sus ejecuciones. Si los DAG tardan mucho en analizarse, esto consume la capacidad del programador y podría reducir el rendimiento de las ejecuciones de DAG.

Gráfico del tiempo de análisis total del DAG
Figura 2. Gráfico del tiempo de análisis de DAG (haz clic para ampliar)

En la sección DAG Statistics del panel de Monitoring, observa gráficos para el tiempo total de análisis del DAG.

Si la cantidad supera los 10 segundos, es posible que los programadores se vean sobrecargados con Se analiza el DAG y no se puede ejecutar de manera efectiva. La frecuencia predeterminada de análisis de DAG en Airflow es de 30 segundos. Si el tiempo de análisis de DAG supera este umbral, los ciclos de análisis comienzan a superponerse, lo que agota la capacidad del programador.

Según tus observaciones, te recomendamos que hagas lo siguiente:

Supervisa las expulsiones de Pods trabajadores

La expulsión de un Pod puede ocurrir cuando un Pod particular del clúster de tu entorno alcance sus límites de recursos.

Gráfico de expulsiones de Pods de trabajadores
Figura 3. Gráfico que muestra las expulsiones de Pods de trabajadores (haz clic para ampliar)

Si se expulsa un pod de trabajador de Airflow, todas las instancias de tareas que se ejecutan en ese pod se interrumpen y, luego, se marcan como con errores en Airflow.

La mayoría de los problemas con las expulsiones de pods de trabajador se producen debido a situaciones de falta de memoria en los trabajadores.

En el panel de Supervisión, en la sección Programadores, observa los gráficos Expulsiones de pods de trabajador de tu entorno:

El gráfico Uso total de la memoria de trabajadores muestra una perspectiva total del ambiente. Un solo trabajador puede exceder el límite de memoria, incluso si el uso de la memoria esté en buen estado a nivel del entorno.

Según tus observaciones, te recomendamos que hagas lo siguiente:

Supervisa a los trabajadores activos

La cantidad de trabajadores de tu entorno se escala automáticamente en respuesta a las tareas en cola.

Gráficos de trabajadores activos y tareas en cola
Figura 4. Gráficos de trabajadores activos y tareas en cola (haz clic para ampliar)

En el panel de Monitoring, en la sección Workers, observa Gráficos de la cantidad de trabajadores activos y la cantidad de tareas en la cola:

  • Trabajadores activos
  • Tareas de Airflow

Ajusta según tus observaciones:

  • Si el entorno con frecuencia alcanza su límite máximo de trabajadores y si mientras que la cantidad de tareas en la cola de Celery es alta de forma continua puedes aumentar la cantidad máxima de trabajadores.
  • Si hay demoras prolongadas en la programación entre tareas, pero, al mismo tiempo, el entorno no se escala hasta su cantidad máxima de trabajadores, es probable que haya un parámetro de configuración de Airflow que reduzca la ejecución y evite que los mecanismos de Cloud Composer escalen el entorno. Debido a que los entornos de Cloud Composer 2 se ajustan según la cantidad de tareas en la cola de Celery, configura Airflow para que no reduzca la velocidad de las tareas en la cola:

    • Aumentar la simultaneidad de los trabajadores La simultaneidad de los trabajadores debe establecerse en un valor superior a la cantidad máxima esperada de tareas simultáneas, dividida por la cantidad máxima de trabajadores en el entorno.
    • Aumenta la simultaneidad de DAG si un solo DAG ejecuta una gran cantidad de tareas en paralelo, lo que puede hacer que se alcance la cantidad máxima de instancias de tareas en ejecución por DAG.
    • Aumenta la cantidad máxima de ejecuciones activas por DAG, si ejecutas el mismo DAG varias veces en paralelo, lo que puede hacer que Airflow regula la ejecución porque se alcanza el límite máximo de ejecuciones activas por DAG.

Supervisa el uso de CPU y memoria de los trabajadores

Supervisa el uso total de la CPU y la memoria agregado en todos los trabajadores de tu entorno para determinar si los trabajadores de Airflow utilizan los recursos de tu entorno correctamente.

Gráficos de CPU y memoria de los trabajadores
Figura 5: Gráficos de CPU y memoria de los trabajadores (haz clic para ampliar)

En el panel de Supervisión, en la sección Programadores, observa los gráficos para el uso de memoria y CPU de los trabajadores de Airflow:

  • Uso total de trabajadores de CPU
  • Uso total de la memoria de trabajadores

En este gráfico, se representa el uso agregado de recursos; los trabajadores individuales aún pueden alcanzar sus límites de capacidad, incluso si la vista agregada muestra la capacidad libre.

Ajusta según tus observaciones:

Supervisa las tareas en ejecución y en cola

Puedes supervisar la cantidad de tareas en cola y en ejecución para comprobar la eficiencia del proceso de programación.

Gráfico que muestra las tareas en ejecución y en cola
Figura 6: Gráfico que muestra las tareas en ejecución y en cola (haz clic para ampliar)

En el panel de Supervisión, en la sección Programadores, observa el gráfico Tareas de Airflow de tu entorno.

Las tareas de la lista esperan a que los trabajadores las ejecuten. Si tu entorno tiene tareas en cola, es posible que los trabajadores de tu entorno estén ocupados ejecutando otras tareas.

Algunas colas siempre están presentes en un entorno en especial, durante los picos de procesamiento. Sin embargo, si observas una alta la cantidad de tareas en cola o una tendencia creciente en el gráfico, esto podría indican que los trabajadores no tienen suficiente capacidad para procesar las tareas Airflow está regulando la ejecución de tareas.

Por lo general, se observa una gran cantidad de tareas en cola cuando se ejecuta tareas también alcanza el nivel máximo.

Para abordar ambos problemas, haz lo siguiente:

Supervisa el uso de memoria y CPU de la base de datos

Los problemas de rendimiento de la base de datos de Airflow pueden generar problemas generales de ejecución de DAG. Por lo general, el uso de disco de la base de datos no es motivo de preocupación, ya que el almacenamiento se extiende automáticamente según sea necesario.

Gráficos de CPU y memoria de la base de datos
Figura 7: Gráficos de memoria y CPU de la base de datos (haz clic para ampliar)

En el panel de Monitoring, en la sección Base de datos SQL, observa Gráficos del uso de CPU y memoria por parte de la base de datos de Airflow:

  • Uso de CPU de la base de datos
  • Uso de memoria de la base de datos

Si el uso de CPU de la base de datos supera el 80% durante más de un porcentaje del tiempo total, la base de datos está sobrecargada y requiere escalamiento.

La configuración del tamaño de la base de datos se controla mediante la propiedad de tamaño del entorno. Para aumentar o reducir la escala de la base de datos, Cambiar el tamaño del entorno a un nivel diferente (pequeño, medio o Grande). Aumentar el tamaño del entorno aumenta sus costos.

Supervisa la latencia de programación de la tarea

Si la latencia entre tareas supera los niveles esperados (por ejemplo, 20 segundos o más), esto podría indicar que el entorno no puede controlar la carga de tareas que generan las ejecuciones de DAG.

Gráfico de latencia de la tarea (IU de Airflow)
Figura 8. Gráfico de latencia de tarea, IU de Airflow (haz clic para ampliar)

Puedes ver el gráfico de latencia de programación de tareas, en la IU de Airflow de tu entorno.

En este ejemplo, los retrasos (2.5 y 3.5 segundos) se encuentran dentro del pero latencias significativamente más altas pueden indicar lo siguiente:

Supervisar la CPU y la memoria del servidor web

El rendimiento del servidor web de Airflow afecta a la IU de Airflow. No es común que el servidor web esté sobrecargado. Si esto sucede, el rendimiento de la IU de Airflow pero esto no afecta el rendimiento de las ejecuciones de DAG.

Gráficos de CPU y memoria del servidor web
Figura 9: Gráficos de CPU y memoria del servidor web (haz clic para ampliar)

En el panel de Supervisión, en la sección servidor web, observa los gráficos del servidor web de Airflow:

  • Uso de CPU del servidor web
  • Uso de memoria del servidor web

En función de tus observaciones:

Ajusta los parámetros de escalamiento y rendimiento del entorno

Cambia la cantidad de programadores

Ajustar la cantidad de programadores mejora la capacidad y la resiliencia del programador de Airflow.

Si aumentas la cantidad de programadores, se incrementa el tráfico hacia y desde la base de datos de Airflow. Recomendamos usar dos programadores de Airflow en la mayoría reales. El uso de tres programadores solo es necesario en casos excepcionales que requieren consideraciones especiales. Configura más de tres programadores suele reducir el rendimiento del entorno.

Si necesitas una programación más rápida, haz lo siguiente:

Ejemplos:

Console

Sigue los pasos que se indican en Ajusta la cantidad de programadores que deseas configurar. la cantidad necesaria de programadores para tu entorno.

gcloud

Sigue los pasos que se indican en Ajusta la cantidad de programadores que deseas configurar. la cantidad necesaria de programadores para tu entorno.

En el siguiente ejemplo, se establece la cantidad de programadores en dos:

gcloud composer environments update example-environment \
    --scheduler-count=2

Terraform

Sigue los pasos que se indican en Ajusta la cantidad de programadores para establecer la cantidad requerida de programadores para tu entorno.

En el siguiente ejemplo, se establece la cantidad de programadores en dos:

resource "google_composer_environment" "example-environment" {

  # Other environment parameters

  config {
    workloads_config {
      scheduler {
        count = 2
      }
    }
  }
}

Cómo cambiar la CPU y la memoria de los programadores

Los parámetros de CPU y memoria son para cada programador de tu entorno. Por ejemplo, si tu entorno tiene dos programadores, la capacidad total es el doble de la cantidad especificada de CPU y memoria.

Console

Sigue los pasos que se indican en Ajusta los parámetros de rendimiento y escalamiento del trabajador, el programador y el servidor web para establecer la CPU y la memoria de los programadores.

gcloud

Sigue los pasos que se indican en Ajustar los parámetros de escala y rendimiento del trabajador, programador y servidor web para configurar la CPU y la memoria para los programadores

En el siguiente ejemplo, se cambian la CPU y la memoria para los programadores. Tú puede especificar solo atributos de CPU o memoria, según la necesidad.

gcloud composer environments update example-environment \
  --scheduler-cpu=0.5 \
  --scheduler-memory=3.75

Terraform

Sigue los pasos que se indican en Ajusta los parámetros de rendimiento y escalamiento del trabajador, el programador y el servidor web para establecer la CPU y la memoria de los programadores.

En el siguiente ejemplo, se cambian la CPU y la memoria para los programadores. Tú pueden omitir atributos de CPU o memoria, según la necesidad.

resource "google_composer_environment" "example-environment" {

  # Other environment parameters

  config {
    workloads_config {
      scheduler {
        cpu = "0.5"
        memory_gb = "3.75"
      }
    }
  }
}

Cambia la cantidad máxima de trabajadores

Aumentar la cantidad máxima de trabajadores permite que tu entorno escale automáticamente a una cantidad mayor de trabajadores, si es necesario.

Disminuir la cantidad máxima de trabajadores reduce la capacidad máxima de la pero también puede ser útil para reducir los costos medioambientales.

Ejemplos:

Console

Sigue los pasos que se indican en Ajusta la cantidad mínima y máxima de trabajadores que deseas establecer la cantidad máxima necesaria de trabajadores para tu entorno.

gcloud

Sigue los pasos que se indican en Ajusta la cantidad mínima y máxima de trabajadores para establecer la cantidad máxima requerida de trabajadores para tu entorno.

En el siguiente ejemplo, se establece la cantidad máxima de trabajadores en seis:

gcloud composer environments update example-environment \
    --max-workers=6

Terraform

Sigue los pasos que se indican en Ajusta la cantidad mínima y máxima de trabajadores que deseas establecer la cantidad máxima necesaria de trabajadores para tu entorno.

En el siguiente ejemplo, se establece la cantidad máxima de programadores en seis:

resource "google_composer_environment" "example-environment" {

  # Other environment parameters

  config {
    workloads_config {
      worker {
        max_count = "6"
      }
    }
  }
}

Cambia la CPU y la memoria de los trabajadores

  • Disminuir la memoria del trabajador puede ser útil cuando el gráfico de uso del trabajador indica un uso de memoria muy bajo.

  • El aumento de la memoria de trabajador permite a los trabajadores controlar más tareas al mismo tiempo. para manejar tareas que consumen mucha memoria. Podría abordar el problema del Pod trabajador expulsiones.

  • Reducir la CPU del trabajador puede ser útil cuando el gráfico de uso de CPU del trabajador indica que los recursos de la CPU están muy sobreasignados.

  • El aumento de la CPU de trabajador les permite a los trabajadores controlar más tareas simultáneamente y en y, en algunos casos, reduce el tiempo necesario para procesar estas tareas.

Si cambias la CPU o la memoria de los trabajadores, se reinician los trabajadores, lo que podría afectar las tareas en ejecución. Te recomendamos que lo hagas cuando no se estén ejecutando DAG.

Los parámetros de CPU y memoria son para cada trabajador de tu entorno. Por ejemplo, si tu entorno tiene cuatro trabajadores, la capacidad total es cuatro veces la cantidad especificada de CPU y memoria.

Console

Sigue los pasos que se indican en Ajusta los parámetros de rendimiento y escalamiento del trabajador, el programador y el servidor web para establecer la CPU y la memoria de los trabajadores.

gcloud

Sigue los pasos que se indican en Ajustar los parámetros de rendimiento y escala de trabajadores, programadores y servidores web para establecer la CPU y la memoria para los trabajadores.

En el siguiente ejemplo, se cambian la CPU y la memoria de los trabajadores. Si es necesario, puedes omitir el atributo CPU o memoria.

gcloud composer environments update example-environment \
  --worker-memory=3.75 \
  --worker-cpu=2

Terraform

Sigue los pasos que se indican en Ajusta los parámetros de escala y rendimiento del trabajador, programador y servidor web para configurar la CPU y la memoria de los trabajadores.

En el siguiente ejemplo, se cambian la CPU y la memoria de los trabajadores. Tú puede omitir el parámetro de CPU o memoria si es necesario.

resource "google_composer_environment" "example-environment" {

  # Other environment parameters

  config {
    workloads_config {
      worker {
        cpu = "2"
        memory_gb = "3.75"
      }
    }
  }
}

Cambia la CPU y la memoria del servidor web

Reducir la CPU o la memoria del servidor web puede ser útil cuando el gráfico de uso del servidor web indica que se subutiliza de forma continua.

Si cambias los parámetros del servidor web, se reiniciará, lo que provocará un tiempo de inactividad temporal. Te recomendamos que hagas cambios fuera del horario de uso normal.

Console

Sigue los pasos que se indican en Ajusta los parámetros de escala y rendimiento del trabajador, programador y servidor web para configurar la CPU y la memoria del servidor web.

gcloud

Sigue los pasos que se indican en Ajusta los parámetros de rendimiento y escalamiento del trabajador, el programador y el servidor web para configurar la CPU y la memoria del servidor web.

En el siguiente ejemplo, se cambia la CPU y la memoria del servidor web. Tú pueden omitir atributos de CPU o memoria, según la necesidad.

gcloud composer environments update example-environment \
    --web-server-cpu=2 \
    --web-server-memory=3.75

Terraform

Sigue los pasos que se indican en Ajusta los parámetros de escala y rendimiento del trabajador, programador y servidor web para configurar la CPU y la memoria del servidor web.

En el siguiente ejemplo, se cambia la CPU y la memoria del servidor web. Puedes omitir los atributos de CPU o memoria según sea necesario.

resource "google_composer_environment" "example-environment" {

  # Other environment parameters

  config {
    workloads_config {
      web_server {
        cpu = "2"
        memory_gb = "3.75"
      }
    }
  }
}

Cambia el tamaño del entorno

Cambiar el tamaño del entorno modifica la capacidad de Cloud Composer de backend, como la base de datos y la cola de Airflow.

  • Considera cambiar el tamaño del entorno a uno más pequeño (por ejemplo, de grande a mediano o de mediano a pequeño) cuando las métricas de uso de la base de datos muestren un uso insuficiente considerable.
  • Considera aumentar el tamaño del entorno si observas el alto uso de los de la base de datos de Airflow.

Console

Sigue los pasos que se indican en Ajusta el tamaño del entorno para establecer el tamaño del entorno.

gcloud

Sigue los pasos que se indican en Ajusta el tamaño del entorno para establecer la el tamaño del entorno.

En el siguiente ejemplo, se cambia el tamaño del entorno a Medio.

gcloud composer environments update example-environment \
    --environment-size=medium

Terraform

Sigue los pasos que se indican en Ajusta el tamaño del entorno para establecer la el tamaño del entorno.

En el siguiente ejemplo, se cambia el tamaño del entorno a Medio.

resource "google_composer_environment" "example-environment" {

  # Other environment parameters

  config {
    environment_size = "medium"
  }
}

Cambia el intervalo de la lista del directorio de DAG

Aumentar el intervalo de la lista de directorios de DAG reduce la carga del programador asociada con el descubrimiento de DAG nuevos en el bucket del entorno.

  • Considera aumentar este intervalo si implementas DAG nuevos con poca frecuencia.
  • Considera disminuir este intervalo si quieres que Airflow reaccione más rápido a los archivos DAG recién implementados.

Para cambiar este parámetro, anula las siguientes opciones de Airflow: de configuración de Terraform:

Sección Clave Valor Notas
scheduler dag_dir_list_interval Valor nuevo para el intervalo de la ficha El valor predeterminado, en segundos, es 120.

Cambia el intervalo de análisis de archivos DAG

Aumentar el intervalo de análisis de archivos DAG reduce la carga del programador asociada con el análisis continuo de DAG en el paquete de DAG.

Considera aumentar este intervalo cuando tengas una gran cantidad de DAG que sí no cambien con demasiada frecuencia o observen una carga de programador alta en general.

Para cambiar este parámetro, anula la siguiente opción de configuración de Airflow:

Sección Clave Valor Notas
scheduler min_file_process_interval Valor nuevo para el intervalo de análisis de DAG El valor predeterminado, en segundos, es 30.

Simultaneidad de trabajadores

El rendimiento de simultaneidad y la capacidad de tu entorno para realizar un ajuste de escala automático están conectados dos parámetros de configuración:

  • la cantidad mínima de trabajadores de Airflow
  • el parámetro [celery]worker_concurrency

Los valores predeterminados que proporciona Cloud Composer son óptimos para la mayoría de los casos de uso, pero tu entorno podría beneficiarse de ajustes personalizados.

Consideraciones de rendimiento de la simultaneidad de trabajadores

El parámetro [celery]worker_concurrency define la cantidad de tareas. un solo trabajador puede retomar la lista de tareas en cola. La velocidad de ejecución de tareas depende de varios factores, como la CPU del trabajador, la memoria y el tipo de trabajo en sí.

Ajuste de escala automático de trabajadores

Cloud Composer supervisa la cola de tareas y genera trabajadores adicionales para recoger las tareas en espera. Configurar [celery]worker_concurrency en un valor alto significa que cada trabajador puede realizar muchas tareas, por lo que, en determinadas circunstancias, es posible que la cola nunca se llene, lo que provocará que el ajuste de escala automático nunca se active.

Por ejemplo, en un entorno de Cloud Composer con dos trabajadores de Airflow, [celery]worker_concurrency configurado en 100 y 200 tareas en la cola, cada trabajador tomaría 100 tareas. Esto deja la cola vacía y no activa el ajuste de escala automático. Si estas tareas tardan mucho en completarse, podrían generarse problemas de rendimiento.

Pero si las tareas son pequeñas y rápidas de ejecutar, un alto valor en el El parámetro de configuración [celery]worker_concurrency podría generar un escalamiento excesivo. Por ejemplo, si ese entorno tiene 300 tareas en la cola, Cloud Composer comenzará a crear trabajadores nuevos. Pero si los primeros 200 tareas terminan la ejecución cuando los trabajadores nuevos están listos, un trabajador existente puedan recogerlos. El resultado final es que el ajuste de escala automático crea nuevos trabajadores, pero no hay tareas para ellos.

El ajuste de [celery]worker_concurrency para casos especiales debe basarse en los tiempos de ejecución de tareas máximas y los números de cola:

  • En el caso de las tareas que tardan más en completarse, los trabajadores no deberían poder vaciarlas toda la cola.
  • Para tareas más rápidas y pequeñas, aumenta la cantidad mínima de trabajadores de Airflow para evitar una escalamiento excesivo.

Sincronización de registros de tareas

Los trabajadores de Airflow incluyen un componente que sincroniza los registros de ejecución de tareas con los buckets de Cloud Storage. Se realizó una gran cantidad de tareas simultáneas por un solo trabajador genera un gran número de solicitudes de sincronización. Esto podría sobrecargar al trabajador y generar problemas de rendimiento.

Si observas problemas de rendimiento debido a una gran cantidad de tráfico de sincronización de registros, reduce los valores de [celery]worker_concurrency y, en su lugar, ajusta la cantidad mínima de trabajadores de Airflow.

Cambiar la simultaneidad de trabajadores

Si cambias este parámetro, se ajustará la cantidad de tareas que un solo trabajador ejecutar al mismo tiempo.

Por ejemplo, un trabajador con 0.5 CPU puede manejar 6 tareas simultáneas. un con tres trabajadores de ese tipo puede manejar hasta 18 tareas simultáneas.

  • Aumenta este parámetro cuando haya tareas en espera en la cola y tu usan un porcentaje bajo de CPU y memoria al mismo tiempo.

  • Disminuye este parámetro cuando recibas expulsiones de Pods. esto reduciría la cantidad de tareas que un solo trabajador intenta procesar. Como alternativa, puedes aumentar la memoria del trabajador.

El valor predeterminado para la simultaneidad de trabajadores es igual a:

  • En Airflow 2.6.3 y versiones posteriores, un valor mínimo de 32, 12 * worker_CPU y 6 * worker_memory
  • En las versiones de Airflow anteriores a la 2.6.3, un valor mínimo de 32, 12 * worker_CPU y 8 * worker_memory
  • En versiones de Airflow anteriores a la 2.3.3, 12 * worker_CPU.

El valor worker_CPU es la cantidad de CPU asignadas a un solo trabajador. El El valor worker_memory es la cantidad de memoria asignada a un solo trabajador. Para Por ejemplo, si los trabajadores de tu entorno usan 0.5 CPU y 4 GB de memoria cada uno, Luego, la simultaneidad de trabajadores se configura en 6. El valor de simultaneidad del trabajador no no depender del número de trabajadores en tu entorno.

Para cambiar este parámetro, anula las siguientes opciones de Airflow: de configuración de Terraform:

Sección Clave Valor
celery worker_concurrency Valor nuevo para la simultaneidad de trabajadores

Cambia la simultaneidad de DAG

La simultaneidad de DAG define la cantidad máxima de instancias de tareas permitidas para ejecutar al mismo tiempo en cada DAG. Auméntalo cuando los DAG ejecuten una gran cantidad tareas simultáneas. Si este parámetro es bajo, el programador retrasa las tareas a la cola, lo que también reduce la eficiencia del entorno el ajuste de escala automático.

Para cambiar este parámetro, anula las siguientes opciones de Airflow: de configuración de Terraform:

Sección Clave Valor Notas
core max_active_tasks_per_dag Nuevo valor para la simultaneidad de DAG El valor predeterminado es 16.

Aumenta la cantidad máxima de ejecuciones activas por DAG

Este atributo define la cantidad máxima de ejecuciones activas del DAG por DAG. Cuando el mismo DAG se debe ejecutar varias veces al mismo tiempo, por ejemplo, con diferentes argumentos de entrada, este atributo permite que el programador inicie esas ejecuciones en en paralelo.

Para cambiar este parámetro, anula las siguientes opciones de Airflow: de configuración de Terraform:

Sección Clave Valor Notas
core max_active_runs_per_dag Nuevo valor para la cantidad máxima de ejecuciones activas por DAG El valor predeterminado es 25.

¿Qué sigue?