Airflow Web 服务器问题排查

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页面介绍 Airflow Web 服务器常见问题和问题排查步骤和信息。

Airflow Web 服务器是一个 Airflow 组件,可提供用于管理 Airflow DAG 和任务的用户界面。本页介绍了针对以下各种问题的问题排查步骤:无法访问环境的 Airflow Web 服务器,或 Airflow 日志中显示与 Web 服务器相关的警告。

启用网络访问权限控制后,无法访问 Airflow 界面

症状:配置 Web 服务器访问权限控制后,无法访问 Airflow 界面。在这种情况下,通常会显示错误代码 403。

问题信息:Cloud Composer 支持Web 服务器网络访问权限控制,可让您指定允许连接到 Web 服务器的 IP 范围。

访问 Airflow 界面时出现问题通常会导致 403 错误。如需检查该错误是否与 Web 服务器网络访问权限控制相关,请执行以下操作:

  1. 在环境列表中,点击您的环境名称。 环境详情页面会打开。
  2. 转到环境配置标签页。
  3. 检查 Web 服务器访问权限控制项是否设置为所有 IP 地址都有访问权限(默认)
  4. 如果配置的值不同于所有 IP 地址均可访问(默认),则表示已启用网络访问权限控制,并且 Airflow 界面仅对所提供的 IPv4 和 IPv6 地址范围可见。在这种情况下,问题可能与 Web 服务器网络访问权限控制有关。

在大多数情况下,此问题的原因是您指定的预期 IP 与实际解析的用于连接到 Airflow 界面的 IP 不匹配。如需排查此问题,请执行以下操作:

  1. 在环境列表中,点击您的环境名称。环境详情页面会打开。

  2. 转到环境配置标签页。

  3. 找到 Web 服务器访问权限控制项,然后点击修改

  4. 网络服务器网络访问权限控制对话框中,选择允许从所有 IP 地址访问

  5. 多次访问 Airflow 界面,并验证其是否正常运行:

    • 如果您未遇到问题,请继续执行下一步。

    • 如果您此时遇到问题,则表示该问题可能与您的 IAM 权限配置有关。如需详细了解 Cloud Composer 的 IAM 权限,请参阅访问权限控制

  6. 网络服务器网络访问权限控制对话框中,选择仅允许来自特定 IP 地址的访问

  7. 添加 0.0.0.0/0 IP 范围,然后多次访问 Airflow 界面,验证其是否正常运行:

    • 如果您没有遇到问题,则您用于连接的 IP 是 IPv4 地址。

    • 如果您此时遇到问题,则表示您用于连接的 IP 是 IPv6 地址。

  8. 删除 0.0.0.0/0 IP 范围,并添加 ::/0 IP 范围。

    • 如果您没有遇到问题,则说明您连接的 IP 是 IPv6 地址。

    • 如果您此时遇到问题,则表示您用于连接的 IP 是 IPv4 地址。

  9. 现在,您已确定解析的地址是 IPv4 还是 IPv6。

  10. 根据地址类型,将 ::/00.0.0.0/0 范围缩小到更具体的范围,以验证访问权限停止运作时的最广泛范围:

    • 您可以先使用包含您认为的 IP 地址的宽子网掩码(例如 192.0.2.0/8)。

    • 如需确定您的 IP 地址,您可以使用第三方服务,该服务会在您访问其网页时提供您的外部 IP 地址。您可以通过“我的 IP 地址是什么”这一搜索查询来搜索此类服务)。

配置值未显示在配置页面上

Airflow 的某些 Airflow 配置参数在配置页面上处于隐藏状态,以防止访问可能敏感的信息。例如,用于访问 Airflow 数据库的凭据不会显示。

如需显示隐藏字段,请替换以下 Airflow 配置选项。建议您在获取所需值后恢复更改。

部分 备注
webserver expose_config True 默认值为 non-sensitive-only。设置为 False 可隐藏所有配置参数。

DAG 导致 Airflow Web 服务器崩溃或导致其返回“502 gateway timeout”错误

有多种不同原因可能会导致 Web 服务器故障。检查 Cloud Logging 中的 airflow-webserver 日志,确定 502 gateway timeout 错误的原因。

后续步骤