排查 KubernetesExecutor 任务问题

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

本页介绍了如何排查 KubernetesExecutor 运行的任务存在的问题,并提供了常见问题的解决方案。

排查 KubernetesExecutor 问题的一般方法

如需排查与 KubernetesExecutor 执行的任务相关的问题,请执行以下操作: 按所列顺序执行以下操作:

  1. DAG 界面中查看任务的日志,或 Airflow 界面

  2. 在 Google Cloud 控制台中查看调度程序日志:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. 在环境列表中,点击您的环境名称。环境详情页面会打开。

    3. 转到日志标签页,然后查看 Airflow 日志 > 调度器部分。

    4. 对于给定的时间范围,检查运行任务的 KubernetesExecutor worker pod。如果该 Pod 已不存在,请跳过此步骤。Pod 的名称中包含 airflow-k8s-worker 前缀和 DAG 或任务名称。查找系统报告的问题,例如失败的任务或正在执行的任务 不可调度。

KubernetesExecutor 的常见问题排查场景

本部分列出了您在使用 KubernetesExecutor 时可能会遇到的常见问题排查场景。

任务进入 Running 状态,然后在执行期间失败。

症状:

  • 您可以在 Airflow 界面和工作器部分的日志标签页中找到任务的日志。

解决方案:任务日志会指明问题。

任务实例进入 queued 状态,然后在过了一段时间后被标记为 UP_FOR_RETRYFAILED

症状:

  • Airflow 界面和工作器部分的日志标签页中没有任务日志。
  • Scheduler 部分的 Logs 标签页中会显示日志,其中包含一条消息,指出任务已标记为 UP_FOR_RETRYFAILED
  • 名称中包含 DAG/任务名称的 airflow-k8s-worker-*.* Pod 的 Pod 处于 Failed/Pending 状态或不存在。

解决方案:

  1. 检查调度器日志,了解该问题的任何详细信息。

可能的原因:

  • 如果调度器日志包含 Adopted tasks were still pending after... 消息,后跟 输出的任务实例,请检查 CeleryKubernetesExecutor 是否为 已在环境中启用

任务实例进入 Queued 状态,并立即标记为 UP_FOR_RETRYFAILED

症状:

  • Airflow 界面和工作器部分的日志标签页中没有任务日志。
  • 调度器部分中日志标签页上的调度器日志 Pod creation failed with reason ... Failing task 消息,以及 显示任务已标记为 UP_FOR_RETRYFAILED 的消息。

解决方案:

  • 请检查调度程序日志,了解确切响应和失败原因。

可能的原因:

如果错误消息为 quantities must match the regular expression ..., 那么问题很可能是由于为 k8s 设置的自定义值 任务工作器 Pod 的资源(请求/限制)。

后续步骤