查看 DAG、 DAG 运行和任务

Cloud Composer 1 | Cloud Composer 2

本页面介绍了如何获取有关您的环境中的 DAG 的信息。

查看 DAG 相关信息的方法

Cloud Composer 提供了多种方法来获取有关您环境中 DAG 的详细信息:

  • DAG 界面是 Cloud Composer 控制台界面的一部分,专门用于查看和监控 DAG、DAG 运行以及各个任务。
  • Airflow 界面是 Airflow 的内置网页界面。
  • Airflow CLI 是 Airflow 的命令行界面。您可以使用 gcloud 运行 Airflow CLI 命令,获取有关 DAG 的信息。

关于 Cloud Composer DAG 界面

DAG 界面是 Cloud Composer 界面中适用于 Cloud Composer 的一部分,专门用于查看和监控 DAG、 DAG 运行以及各个任务。

在 DAG 界面中,您可以:

  • 查看您环境中的 DAG 列表,包括时间表间隔、DAG 状态和说明。

  • 触发 DAG

  • 查看 DAG 运行作业的详细信息,包括成功运行、活跃运行和失败运行(自上次运行后所经过的时间)。对于每个 DAG,您都可以查看与此特定 DAG 关联的 DAG 运行历史记录和任务实例,包括已执行任务的日志。

  • 过滤 DAG 运行详细信息。例如,您可以选择时间间隔并创建查询来选择所需的信息。

  • 查看有关各个 DAG 和任务的详细信息。这包括直观的 DAG 图、关于 DAG 中的任务的信息、DAG 源代码以及有关 DAG 的其他信息。

准备工作

查看您的环境的 DAG 列表

控制台

环境的 DAG 标签页会显示 DAG 列表以及每个 DAG 的 DAG 运行详情。

如需查看 DAG 列表,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. 选择环境以查看其详细信息。

  3. 环境详情页面上,转到 DAG 标签页。

您可以使用过滤条件仅查看某些 DAG 或某些条件的详细信息。例如:

  1. 选择过滤条件字段。
  2. 从下拉列表中选择 DAG id 属性。
  3. 指定 DAG 的标识符。结果仅显示所选 DAG 的详细信息。
  4. (可选)要包含更多 DAG,请添加 OR 运算符,后跟 DAG ID。
  5. (可选)如需按其他条件过滤,请在过滤条件字段中添加其他属性。例如,您可以通过指定 Failed runs:>0 来过滤运行失败的 DAG。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 列表,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 帐号登录。

  4. 在 Airflow 网页界面的 DAG 页面上,系统会显示您的环境的 DAG 列表。

gcloud

在 Airflow 1.10.* 中,运行 list_dags Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

在 Airflow 2 中,运行 dags list Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

替换:

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

查看 DAG 运行和任务的历史记录

控制台

DAG 详细信息页面上的运行标签页会显示单个 DAG 的 DAG 运行历史记录。

如需查看 DAG 运行的历史记录,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. 选择环境以查看其详细信息。

  3. 环境详情页面上,转到 DAG 标签页。

  4. 选择一个 DAG。

  5. DAG 详细信息页面上,转到运行标签页。

  6. 从列表中选择 DAG 运行以查看 DAG 运行详情,例如此 DAG 运行的任务实例的状态、尝试次数和执行时长。您可以选择单个任务以查看任务实例日志。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 列表,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 帐号登录。

  4. 在 Airflow 网页界面的菜单中,依次选择浏览 > DAG 运行DAG 运行页面会显示适用于您的环境的 DAG 运行。您可以点击运行 ID 列中的链接来获取有关任务的其他信息。

gcloud

在 Airflow 1.10.* 中,运行 list_dag_runs Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

在 Airflow 2 中,运行 dags list-runs Airflow CLI 命令:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

替换:

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • DAG_ID 替换为 DAG 名称。

您可以运行 tasks statetasks states-for-dag-run Airflow CLI 命令来获取有关任务实例的更多信息。

如需了解详情,请参阅 访问 Airflow CLI 和 Airflow CLI 参考文档了解 Airflow 1Airflow 2

查看 DAG 图

控制台

DAG 详细信息页面上的图表标签页会显示使用任务依赖项的 DAG 的可视化效果。

如需查看 DAG 的示意图,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. 选择环境以查看其详细信息。

  3. 环境详情页面上,转到 DAG 标签页。

  4. 选择一个 DAG。

  5. DAG 详细信息页面上,转到图表标签页。

  6. (可选)要查看任务的其他信息,请在图表中选择相应任务。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 图,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 帐号登录。

  4. 在 Airflow 网页界面的 DAG 页面上,系统会显示您的环境的 DAG 列表。

  5. 对于您的 DAG,点击链接列中的图表视图链接。

查看 DAG 源代码以及 DAG 的其他信息

控制台

您可以查看 DAG 的源代码以及其他信息,例如 DAG 标识符以及环境存储分区中 DAG 定义文件的链接。

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. 选择环境以查看其详细信息。

  3. 环境详情页面上,转到 DAG 标签页。

  4. 选择一个 DAG。

  5. 如需查看 DAG 源代码,请转到图表标签页。

  6. 如需查看有关 DAG 的其他信息,请转到来源标签页。

Airflow 界面

如需在 Airflow 网页界面中查看 DAG 图,请执行以下操作:

  1. 在 Google Cloud Console 中,转到环境页面。

    转到“环境”

  2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

  3. 使用具有相应权限的 Google 帐号登录。

  4. 在 Airflow 网页界面的 DAG 页面上,点击 DAG 的名称。

  5. 在包含 DAG 详情的页面中,转到可用标签页以查看 DAG 的其他信息。

后续步骤