Airflow 触发器问题排查

Cloud Composer 1 | Cloud Composer 2

本页面介绍了 Airflow 触发器的常见问题的问题排查步骤和相关信息。

触发器中的阻塞操作

异步任务有时可能会在触发器中被屏蔽。在大多数情况下，问题源自触发器资源不足或自定义异步运算符代码问题。

触发器日志会显示所有警告消息，帮助您确定触发器性能下降的根本原因。有两个需要注意的严重警告。

1. 异步线程处于阻塞状态

   Triggerer's async thread was blocked for 1.2 seconds, likely due to the highly utilized environment.
   

   此警告表明，由于大量异步任务导致性能问题。

   解决方案：为解决此问题，请为触发器分配更多资源、减少同时执行的延迟任务的数量，或增加环境中的触发器数量。请注意，虽然触发器会处理可延迟的任务，但仍然是工作器负责启动并最终完成每项任务。如果要调整触发器的数量，还应考虑伸缩工作器实例的数量。

2. 某项特定任务阻止了异步线程。

   WARNING - Executing <Task finished coro=<TriggerRunner.run_trigger() done, defined at /opt/***/***/jobs/my-custom-code.py:609> result=None> took 0.401 second
   

   此警告指向由 Cloud Composer 执行的特定运算符代码。触发器在设计上应依赖于 asyncio 库在后台运行操作。触发器的自定义实现可能无法正确遵守 asyncio 协定（例如，由于在 Python 代码中错误地使用了 await 和 async 关键字）。

   解决方案：检查警告报告的代码，并检查是否已正确实现异步操作。

触发器过多

延迟任务的数量可通过 task_count 指标查看，该指标也会显示在环境的 Monitoring 信息中心内。每个触发器都会创建一些会消耗内存的资源（例如与外部资源的连接）。

图 1. Monitoring 信息中心显示的延迟任务（点击可放大）

内存和 CPU 消耗的图表表明，活跃性探测因缺少检测信号而失败，导致资源不足导致重启：

图 2.触发器因资源不足而重启（点击可放大）

解决方案：要解决此问题，请为触发器分配更多资源、减少同时执行的延迟任务的数量，或增加环境中的触发器数量。

在回调执行期间，Airflow 工作器发生崩溃

触发器完成执行后，控件会返回 Airflow 工作器，该工作器使用执行槽运行回调方法。此阶段由 Celery Executor 控制，因此适用相应的配置和资源限制（如 parallelism 或 worker_concurrency）。

如果 Airflow 工作器中的回调方法失败、工作器失败，或者运行该方法的工作器重启，则任务会被标记为 FAILED。在这种情况下，重试操作会重新执行整个任务，而不仅仅是回调方法。

触发器中存在无限循环

在实现自定义触发器运算符时，您可以彻底阻止主触发器循环，以便每次只执行一个损坏的触发器。在这种情况下，在有问题的触发器运行完毕后，触发器日志中会生成一条警告。

找不到触发器类

由于 DAGs 文件夹未与 Airflow 触发器同步，因此在执行触发器时缺少内嵌的触发器代码。失败任务的日志中会生成该错误：

ImportError: Module "PACKAGE_NAME" does not define a "CLASS_NAME" attribute/
class

解决方案：从 PyPI 导入缺失的代码。

关于 Airflow 界面中触发器的警告消息

在某些情况下，停用触发器后，您可能会在 Airflow 界面中看到以下警告消息：

The triggerer does not appear to be running. Last heartbeat was received
4 hours ago. Triggers will not run, and any deferred operator will remain
deferred until it times out or fails.

Airflow 可能会显示此消息，因为 Airflow 数据库中仍有未完成的触发器。此消息通常表示触发器在您的环境中完成所有触发器之前已停用。

您可以查看 Airflow 界面中的浏览 > 触发器页面（需要 Admin 角色），以查看在环境中运行的所有触发器。

解决方案：

• 再次启用触发器并等待推迟任务完成。
• 手动访问 Airflow 数据库并删除不完整的触发器。

触发器停用后，任务会保持推迟状态

停用触发器后，已处于推迟状态的任务会保持此状态，直到达到超时时限。此超时可以无限长，具体取决于 Airflow 和 DAG 配置。

请使用以下任一解决方案：

• 手动将任务标记为失败。
• 启用触发器以完成任务。

我们建议您仅在您的环境未运行任何延迟运算符或任务，并且所有延迟任务均已完成后才停用触发器。

后续步骤

• Airflow 触发器指标
• Airflow 触发器日志