Solucionar problemas del activador de Airflow

Cloud Composer 1 | Cloud Composer 2

En esta página, se proporcionan información y pasos para solucionar problemas comunes con el activador de Airflow.

Operaciones de bloqueo en el activador

En ocasiones, las tareas asíncronas pueden bloquearse en los activadores. En la mayoría de los casos, los problemas provienen de recursos del activador insuficientes o de problemas con el código del operador asíncrono personalizado.

Los registros del activador muestran cualquier mensaje de advertencia que puede ayudarte a identificar las causas raíz de la disminución del rendimiento del activador. Debes prestar atención a dos advertencias significativas.

1. Subproceso asíncrono bloqueado

   Triggerer's async thread was blocked for 1.2 seconds, likely due to the highly utilized environment.
   

   Esta advertencia indica problemas de rendimiento debido a una gran cantidad de tareas asíncronas.

   Solución: Para abordar este problema, asigna más recursos a los activadores, reduce la cantidad de tareas diferidas que se ejecutan al mismo tiempo o aumenta la cantidad de activadores en tu entorno. Ten en cuenta que, aunque los activadores manejan tareas diferibles, los trabajadores son los responsables de iniciar y completar cada tarea. Si ajustas la cantidad de activadores, considera también escalar la cantidad de instancias de trabajadores.

2. Una tarea específica bloqueó el subproceso asíncrono.

   WARNING - Executing <Task finished coro=<TriggerRunner.run_trigger() done, defined at /opt/***/***/jobs/my-custom-code.py:609> result=None> took 0.401 second
   

   Esta advertencia apunta a una parte específica del código de operador que ejecuta Cloud Composer. El diseño de los activadores debe basarse en la biblioteca asyncio para ejecutar operaciones en segundo plano. Es posible que una implementación personalizada de un activador no cumpla de forma adecuada con los contratos asyncio (por ejemplo, debido al uso incorrecto de las palabras clave await y async en el código de Python).

   Solución: Inspecciona el código que informa la advertencia y verifica si la operación asíncrona se implementó correctamente.

Demasiados activadores

La cantidad de tareas diferidas se puede ver en la métrica task_count, que también se muestra en el panel de Monitoring de tu entorno. Cada activador crea algunos recursos, como conexiones a recursos externos que consumen memoria.

Figura 1. Tareas diferidas que se muestran en el panel de Monitoring (haz clic para ampliar)

Los gráficos de memoria y consumo de CPU indican que los recursos insuficientes causan reinicios debido a que el sondeo de funcionamiento falla debido a la falta de latidos:

Figura 2: El activador se reinicia debido a que no hay recursos suficientes (haz clic para ampliar)

Solución: Para abordar este problema, asigna más recursos a los activadores, reduce la cantidad de tareas diferidas que se ejecutan al mismo tiempo o aumenta la cantidad de activadores en tu entorno.

Falla de un trabajador de Airflow durante la ejecución de la devolución de llamada

Después de que el activador finaliza la ejecución, el control vuelve a un trabajador de Airflow, que ejecuta un método de devolución de llamada con una ranura de ejecución. Esta fase está controlada por el ejecutor de Celery y, por lo tanto, se aplican los límites de configuración y recursos correspondientes (como parallelism o worker_concurrency).

Si el método de devolución de llamada falla en el trabajador de Airflow, el trabajador falla o el trabajador que ejecuta el método se reinicia, la tarea se marca como FAILED. En este caso, la operación de reintento vuelve a ejecutar toda la tarea, no solo el método de devolución de llamada.

Bucle infinito en un activador

Es posible implementar un operador de activador personalizado de modo que bloquee por completo el bucle del activador principal, de modo que solo se ejecute un activador roto a la vez. En este caso, se genera una advertencia en los registros del activador después de que finaliza el activador problemático.

No se encontró la clase de activador

Debido a que la carpeta de DAG no está sincronizada con el activador de Airflow, falta el código del activador intercalado cuando se ejecuta. El error se genera en los registros de la tarea con errores:

ImportError: Module "PACKAGE_NAME" does not define a "CLASS_NAME" attribute/
class

Solución: Importa el código que falta desde PyPI.

Mensaje de advertencia sobre el activador en la IU de Airflow

En algunos casos, después de inhabilitar el activador, es posible que veas el siguiente mensaje de advertencia en la IU de Airflow:

The triggerer does not appear to be running. Last heartbeat was received
4 hours ago. Triggers will not run, and any deferred operator will remain
deferred until it times out or fails.

Airflow puede mostrar este mensaje porque los activadores incompletos permanecen en la base de datos de Airflow. Por lo general, este mensaje significa que el activador se inhabilitó antes de que se completaran todos los activadores en tu entorno.

Puedes ver todos los activadores que se ejecutan en el entorno revisando la página Explorar > Activadores en la IU de Airflow (se requiere la función Admin).

Soluciones:

• Vuelve a habilitar el activador y espera a que se completen las tareas diferidas.
• Accede a la base de datos de Airflow y borra los activadores incompletos de forma manual.

Las tareas permanecen en el estado diferido después de que se inhabilita el activador

Cuando el activador está inhabilitado, las tareas que ya se encuentran en el estado diferido permanecen en este estado hasta que se alcanza el tiempo de espera. Este tiempo de espera puede ser infinito, según la configuración de Airflow y DAG.

Utiliza una de las siguientes soluciones:

• Marca manualmente las tareas como fallidas.
• Habilita el activador para completar las tareas.

Recomendamos inhabilitar el activador solo si tu entorno no ejecuta ningún operador o tarea diferido y todas las tareas diferidas están completas.

¿Qué sigue?

• Métricas del activador de Airflow
• Registros del activador de Airflow