Airflow 触发器问题排查

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

本页面介绍 Airflow 触发器常见问题和问题排查步骤和信息。

触发器中的阻塞操作

异步任务有时可能会在触发器中被屏蔽。 在大多数情况下，这些问题源自触发器资源不足或自定义异步运算符代码存在问题。

触发器日志会显示 可帮助您找出触发器性能下降的根本原因。有两个 需要留意的重要警告

  1. 异步线程被阻塞

    Triggerer's async thread was blocked for 1.2 seconds, likely due to the highly utilized environment.

    此警告表示由于异步任务数量过多而导致性能问题。

    解决方法：要解决此问题， 为触发器分配更多资源 减少同时执行的延迟任务的数量， 也可以增加环境中的触发器数量。 请注意，即使触发器处理的是可延期的任务， 负责启动和最终 完成每项任务。如果您要调整触发器的数量，另请考虑伸缩工作器实例的数量。

  2. 一项特定任务阻塞了异步线程。

    WARNING - Executing <Task finished coro=<TriggerRunner.run_trigger() done, defined at /opt/***/***/jobs/my-custom-code.py:609> result=None> took 0.401 second

    此警告指向 Cloud Composer 执行的特定 Operator 代码。触发器在设计上应依赖于 asyncio 库在后台运行操作。触发器的自定义实现可能无法正确遵循 asyncio 协定（例如，由于在 Python 代码中错误使用 await 和 async 关键字）。

    解决方法：检查警告报告的代码，并检查 异步操作是否正确实现

触发器过多

推迟的任务数量显示在 task_count 指标中，该指标也会显示在环境的 Monitoring 信息中心内。每个触发器 会创建一些资源，例如与外部资源的连接， 内存。

Monitoring 信息中心中显示的推迟任务
图 1. Monitoring 信息中心上显示的延迟任务（点击可放大）

内存和 CPU 消耗图表表明资源不足会导致 因活跃性探测因缺少检测信号而失败而重启：

触发器因资源不足而重启
图 2.触发器因资源不足而重启（点击可放大）

解决方法：要解决此问题， 为触发器分配更多资源 减少同时执行的延迟任务的数量， 也可以增加环境中的触发器数量。

回调执行期间 Airflow 工作器崩溃

触发器完成执行后，控件会返回给 Airflow 工作器，它使用执行槽运行回调方法。此阶段由 Celery 执行器控制，因此会应用相应的配置和资源限制（例如 parallelism 或 worker_concurrency）。

如果回调方法在 Airflow 工作器中失败，工作器失败，或者运行该方法的工作器重启，则任务会被标记为 FAILED。在这种情况下，重试操作会重新执行整个任务，而不仅仅是回调方法。

触发器中的无限循环

您可以实现自定义触发器运算符，使其完全阻塞主触发器循环，以便一次只执行一个损坏的触发器。在这种情况下，系统会在有问题的触发器运行完毕后在触发器日志中生成警告。

找不到触发器类

由于 DAGs 文件夹未与 Airflow 触发器同步，因此 执行触发器时缺失内嵌的触发器代码。失败任务的日志中会生成以下错误：

ImportError: Module "PACKAGE_NAME" does not define a "CLASS_NAME" attribute/
class

解决方案：从 PyPI 导入缺少的代码。

Airflow 界面中关于触发器的警告消息

在某些情况下，触发器停用后，您可能会看到以下内容 Airflow 界面中显示以下警告消息：

The triggerer does not appear to be running. Last heartbeat was received
4 hours ago. Triggers will not run, and any deferred operator will remain
deferred until it times out or fails.

Airflow 可能会显示此消息，因为未完成的触发器仍保留在 Airflow 中 数据库。此消息通常表示触发器在您的环境中完成所有触发器之前已停用。

您可以查看 Airflow 界面中的浏览 &gt; 触发器页面（Admin 角色是 （必填）。

解决方案：

停用触发器后，任务会保持推迟状态

停用触发器后，已处于推迟状态的任务会一直保持此状态，直到超时为止。超时设置为 无限，具体取决于 Airflow 和 DAG 配置。

请使用以下任一解决方案：

  • 手动将任务标记为失败。
  • 请启用触发器以完成任务。

我们建议只有在您的环境不运行任何触发器时，才停用触发器 延迟的运算符或任务，所有延迟的任务都将完成。

后续步骤