查看 DAG、DAG 运行作业和相关任务

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

本页面介绍了如何获取有关您环境中的 DAG 的信息。

查看 DAG 相关信息的方式

Cloud Composer 提供了多种方法来获取有关您环境中的 DAG 的详细信息：

  • DAG 界面是 Google Cloud 控制台界面的一部分 Cloud Composer 专用于查看和监控 DAG、DAG 运行 和具体任务。
  • Airflow 界面是 Airflow 的内置网页界面。
  • Airflow CLI 是 Airflow 的命令行界面。您 可以运行 Airflow CLI 命令来获取 DAG 的相关信息 gcloud.

Cloud Composer DAG 界面简介

DAG 界面是 Google Cloud 控制台界面的一部分 Cloud Composer 专用于查看和监控 DAG、DAG 运行 和具体任务。

在 DAG 界面中，您可以执行以下操作：

  • 查看您环境中的 DAG 列表，包括时间表间隔、DAG 状态和说明

  • 暂停、取消暂停和触发 DAG。

  • 查看 DAG 运行详情，包括成功运行、活跃运行和失败运行以及时间 自上次完成的运行以来。对于每个 DAG，您都可以查看 DAG 的历史记录 与此特定 DAG 关联的运行作业和任务实例，包括日志 。

  • 过滤 DAG 运行详情。例如，您可以选择时间间隔 创建查询以选择您需要的信息。

  • 查看有关各个 DAG 和任务的详细信息。这包括 可视化 DAG 图、DAG 中任务的相关信息、DAG 源代码，以及有关 DAG 的额外信息。

准备工作

  • 请确保您的账号具有可以访问 DAG 界面和查看 DAG 的角色 。如需了解详情，请参阅访问权限控制。

  • DAG 界面要求启用 DAG 序列化。

  • Cloud Composer 1.17.8 及更高版本支持 DAG 界面 versions.

查看您的环境的 DAG 列表

控制台

环境的 DAG 标签页会显示 DAG 列表以及 DAG 了解每个 DAG 的运行详情。

如需查看 DAG 列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击环境对应的 DAG 链接。

您可以使用过滤条件仅查看特定 DAG 或 特定条件下。例如：

  1. 选择过滤条件字段。
  2. 从下拉列表中选择 DAG id 属性。
  3. 指定 DAG 的标识符。结果仅显示以下几项的详细信息： 选定的 DAG。
  4. （可选）如需添加更多 DAG，请添加 OR 运算符，后跟 DAG ID。
  5. （可选）要按其他条件过滤，请在以下位置添加其他属性： 过滤条件字段。例如，您可以过滤出未通过验证的 DAG 通过指定 Failed runs:>0 来运行。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. Airflow 网页界面的 DAG 页面上列出了 环境

gcloud

在 Airflow 1.10.* 中，运行 list_dags Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

在 Airflow 2 中，运行 dags list Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

查看 DAG 运行和任务的历史记录

控制台

DAG 详情页面上的运行标签页会显示 DAG 运行的历史记录 不同 DAG 的服务账号。

如需查看 DAG 运行的历史记录，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 在 DAG 详情页面上，前往运行作业标签页。

  5. 从列表中选择 DAG 运行作业以查看 DAG 运行详情，例如 此 DAG 运行的任务实例状态、尝试次数以及 执行持续时间。您可以选择查看个别任务 任务实例日志。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 列表，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面中，从菜单中选择 浏览 > DAG 运行。此时将显示 DAG 运行页面。 DAG 在您的环境中运行。您可以点击运行 ID 中的链接 列以获取有关任务的更多信息。

gcloud

在 Airflow 1.10.* 中，运行 list_dag_runs Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

在 Airflow 2 中，运行 dags list-runs Airflow CLI 命令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • DAG_ID 替换为 DAG 名称。

您可以通过运行 tasks state 和 tasks states-for-dag-run Airflow CLI 命令来获取有关任务实例的更多信息。

如需了解详情，请参阅访问 Airflow CLI 和 Airflow CLI 参考文档适用于 Airflow 1 和 Airflow 2。

查看 DAG 图

控制台

DAG 详情页面上的图表标签页直观呈现了 包含任务依赖项的 DAG。

如需查看 DAG 图，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 在 DAG 详情页面上，前往图表标签页。

  5. （可选）如要查看有关任务的更多信息，请在图表上选择各个任务。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 图，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. Airflow 网页界面的 DAG 页面上列出了 环境

  5. 对于 DAG，在链接列中，点击图表视图链接。

查看 DAG 源代码以及有关 DAG 的其他信息

控制台

您可以查看 DAG 的源代码和其他信息，例如 DAG 标识符以及指向环境的 存储桶。

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 DAG 列表列中，点击环境对应的 DAG 链接。

  3. 选择一个 DAG。

  4. 如需查看 DAG 源代码，请转到图表标签页。

  5. 如需查看有关 DAG 的其他信息，请转到 Source 标签页。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 图，请执行以下操作：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在 Airflow Web 服务器列中，点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 账号登录。

  4. 在 Airflow 网页界面中，在 DAG 页面上，点击 您的 DAG。

  5. 在包含 DAG 详细信息的页面中，导航到可用标签页进行查看 了解有关 DAG 的更多信息

后续步骤