查看 DAG、DAG 运行作业和相关任务

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

本页面介绍了如何获取有关您环境中的 DAG 的信息。

查看 DAG 相关信息的方式

Cloud Composer 提供了多种方法来获取有关您环境中 DAG 的详细信息:

  • DAG 界面是 Google Cloud 控制台界面中的一个部分,专用于查看和监控 DAG、DAG 运行作业和各项任务。
  • Airflow 界面是 Airflow 的内置网页界面。
  • Airflow CLI 是 Airflow 的命令行界面。您可以使用 gcloud 运行 Airflow CLI 命令,以获取有关 DAG 的信息。

Cloud Composer DAG 界面简介

DAG 界面是 Google Cloud 控制台界面的一部分 Cloud Composer 专用于查看和监控 DAG、DAG 运行 和具体任务。

在 DAG 界面中,您可以:

  • 查看您环境中的 DAG 列表,包括时间表间隔、DAG 状态和说明

  • 暂停、取消暂停和触发 DAG

  • 查看 DAG 运行详情,包括成功运行、活跃运行和失败运行以及时间 自上次完成的运行以来。对于每个 DAG,您都可以查看 DAG 的历史记录 与此特定 DAG 关联的运行作业和任务实例,包括日志 。

  • 过滤 DAG 运行详情。例如,您可以选择时间间隔 创建查询以选择您需要的信息。

  • 查看有关各个 DAG 和任务的详细信息。这包括可视化的 DAG 图表、DAG 内任务的相关信息、DAG 源代码以及 DAG 的其他信息。

准备工作

  • 请确保您的账号具有可访问 DAG 界面和查看 DAG 详细信息的角色。如需了解详情,请参阅访问权限控制

  • Cloud Composer 2.0.1 及更高版本支持 DAG 界面。

    查看您环境的 DAG 列表

    控制台

    您环境的 DAG 标签页会显示 DAG 列表,以及每个 DAG 的 DAG 运行详情。

    如需查看 DAG 列表,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. DAG 列表列中,点击环境对应的 DAG 链接。

    您可以使用过滤条件,仅查看特定 DAG 或特定条件的详细信息。例如:

    1. 选择过滤条件字段。
    2. 从下拉列表中选择 DAG id 属性。
    3. 指定 DAG 的标识符。结果仅显示以下几项的详细信息: 选定的 DAG。
    4. (可选)如需添加更多 DAG,请添加 OR 运算符,后跟 DAG ID。
    5. (可选)如需按其他条件过滤,请在过滤条件字段中添加其他属性。例如,您可以过滤出未通过验证的 DAG 通过指定 Failed runs:>0 来运行。

    Airflow 界面

    如需在 Airflow 网页界面中查看 DAG 列表,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 网页界面的 DAG 页面上,会显示您环境的 DAG 列表。

    gcloud

    运行 dags list Airflow CLI 命令:

      gcloud composer environments run ENVIRONMENT_NAME \
        --location LOCATION \
        dags list -- -o plain
    

    您需要将其中的:

    • ENVIRONMENT_NAME 替换为环境的名称。
    • LOCATION 替换为环境所在的区域。

    查看 DAG 运行和任务的历史记录

    控制台

    DAG 详情页面上的运行标签页会显示 DAG 运行的历史记录 单个 DAG 的生命周期。

    如需查看 DAG 运行历史记录,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. DAG 列表列中,点击环境对应的 DAG 链接。

    3. 选择一个 DAG。

    4. DAG 详情页面上,前往运行作业标签页。

    5. 从列表中选择一个 DAG 运行作业,即可查看 DAG 运行作业的详细信息,例如此 DAG 运行作业的任务实例状态、尝试次数和执行时长。您可以选择各个任务来查看任务实例日志。

    Airflow 界面

    如需在 Airflow 网页界面中查看 DAG 列表,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 网页界面中,依次选择菜单中的 Browse > DAG Runs。此时将显示 DAG 运行页面。 DAG 在您的环境中运行。您可以点击运行 ID 列中的链接,获取有关任务的更多信息。

    gcloud

    运行 dags list-runs Airflow CLI 命令:

      gcloud composer environments run ENVIRONMENT_NAME \
        --location LOCATION \
        dags list-runs -- -d DAG_ID
    
    

    您需要将其中的:

    • ENVIRONMENT_NAME 替换为环境的名称。
    • LOCATION 替换为环境所在的区域。
    • DAG_ID 替换为 DAG 名称。

    您可以运行 tasks statetasks states-for-dag-run Airflow CLI 命令,获取有关任务实例的更多信息。

    如需了解详情,请参阅访问 Airflow CLIAirflow CLI 参考文档

    查看 DAG 图

    控制台

    DAG 详情页面上的图表标签页直观呈现了 包含任务依赖项的 DAG。

    如需查看 DAG 的图表,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. DAG 列表列中,点击环境对应的 DAG 链接。

    3. 选择一个 DAG。

    4. DAG 详情页面上,前往图表标签页。

    5. (可选)如需查看有关任务的更多信息,请在图表中选择各个任务。

    Airflow 界面

    如需在 Airflow 网页界面中查看 DAG 的图表,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 网页界面的 DAG 页面上,会显示您环境的 DAG 列表。

    5. 对于 DAG,在链接列中,点击图表视图链接。

    查看 DAG 源代码以及有关 DAG 的其他信息

    控制台

    您可以查看 DAG 的源代码以及其他信息,例如 DAG 标识符和指向环境存储桶中 DAG 定义文件的链接。

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. DAG 列表列中,点击与您的环境对应的 DAG 链接。

    3. 选择 DAG。

    4. 如需查看 DAG 源代码,请前往图表标签页。

    5. 如需查看有关 DAG 的其他信息,请转到 Source 标签页。

    Airflow 界面

    如需在 Airflow 网页界面中查看 DAG 的图表,请执行以下操作:

    1. 在 Google Cloud 控制台中,前往环境页面。

      转到“环境”

    2. Airflow Web 服务器列中,点击与您的环境对应的 Airflow 链接。

    3. 使用具有相应权限的 Google 账号登录。

    4. 在 Airflow 网页界面的 DAG 页面上,点击 DAG 的名称。

    5. 在包含 DAG 详细信息的页面中,导航到可用标签页进行查看 了解有关 DAG 的更多信息

    后续步骤