编排 Airflow DAG

如需针对此功能请求支持或提供反馈，请发送电子邮件至 bigquery-orchestration-tab-feedback@google.com。

本文档介绍了如何在 BigQuery 的编排页面上通过 Cloud Composer 3（预览版）编排 Airflow 有向无环图 (DAG)，包括如何手动触发 DAG，以及如何查看过去 DAG 运行的历史记录和日志。

BigQuery 中的 Airflow DAG 简介

BigQuery 中的编排页面提供了用于编排在 Cloud Composer 3 环境中运行的 Airflow DAG 的工具。

您在 BigQuery 中编排的 Airflow DAG 会在项目中的一个或多个 Cloud Composer 环境中执行。BigQuery 中的编排页面会汇总项目中所有 Airflow DAG 的信息。

在 DAG 运行期间，Airflow 会按照 DAG 定义的顺序调度和执行构成 DAG 的各项任务。在 BigQuery 的编排页面上，您可以查看过去 DAG 运行作业的状态、浏览所有 DAG 运行作业和这些 DAG 运行作业中的所有任务的详细日志，以及查看 DAG 的详细信息。

如需详细了解 Airflow 的核心概念（例如 Airflow DAG、DAG 运行、任务或运算符），请参阅 Airflow 文档中的核心概念页面。

如需详细了解 Cloud Composer 环境，请参阅 Cloud Composer 文档中的 Cloud Composer 3 概览页面。

准备工作

  1. Enable the Cloud Composer API.

    Enable the API

  2. 确保您的 Google Cloud 项目至少有一个 Cloud Composer 3 环境，并且其中至少有一个已上传的 DAG 文件：

所需权限

如需获得编排 Airflow DAG 所需的权限，请让管理员向您授予项目的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含编排 Airflow DAG 所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需编排 Airflow DAG，您需要具备以下权限：

  • 如需查看 Airflow DAG 及其详细信息，请执行以下操作： composers.dags.list, composer.environments.list
  • 如需触发和暂停 Airflow DAG，请执行以下操作： composers.dags.list, composer.environments.list, composer.dags.execute

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解 Cloud Composer 3 IAM，请参阅 Cloud Composer 文档中的使用 IAM 进行访问权限控制。

手动触发 DAG

当您手动触发 Airflow DAG 时，Airflow 会运行一次 DAG，这与为 DAG 指定的时间表无关。

如需手动触发所选的 Airflow DAG，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往编排页面。

    前往编排页面

  2. 执行以下其中一项操作：

    • 点击所选 DAG 的名称，然后在 DAG 详情页面上，点击 Trigger DAG（触发 DAG）。

    • 在包含所选 DAG 的行中，点击操作列中的 查看操作，然后点击触发 DAG。

查看 DAG 运行日志和详情

如需查看所选 Airflow DAG 的详细信息，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往编排页面。

    前往编排页面

  2. 点击所选 DAG 的名称。

  3. 在 DAG 详情页面上，选择详细信息标签页。

  4. 如需查看过去的 DAG 运行作业，请选择运行作业标签页。

    1. 可选：运行作业标签页默认会显示过去 10 天的 DAG 运行作业。如需按其他时间范围过滤 DAG 运行情况，请在 10 天下拉菜单中选择一个时间范围，然后点击 OK。

    2. 可选：如需在所有 DAG 运行列表中显示包含 DAG 运行详细信息的其他列，请点击 Column display options（列显示选项），然后选择列并点击 OK（确定）。

    3. 如需查看所选 DAG 运行的详细信息和日志，请选择相应 DAG 运行。

  5. 如需查看包含任务依赖项的 DAG 的可视化图表，请选择图表标签页。

    1. 如需查看任务详情，请在图表中选择相应任务。

  6. 如需查看 DAG 的源代码，请选择 Code 标签页。

  7. 可选：如需刷新显示的数据，请点击刷新。

查看所有 DAG

如需查看 Google Cloud 项目中所有 Cloud Composer 3 环境中的 Airflow DAG，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往编排页面。

    前往编排页面

  2. 可选：如需显示包含 DAG 详细信息的其他列，请点击 Column display options（列显示选项），然后选择列并点击 OK（确定）。

暂停 DAG

如需暂停所选 Airflow DAG，请按以下步骤操作：

  1. 在 Google Cloud 控制台中，前往编排页面。

    前往编排页面

  2. 执行以下其中一项操作：

    • 点击所选 DAG 的名称，然后在 DAG 详情页面上，点击暂停 DAG。

    • 在包含所选 DAG 的行中，点击操作列中的 查看操作，然后点击暂停 DAG。

问题排查

如需了解如何排查 Airflow DAG 问题，请参阅 Cloud Composer 文档中的排查 Airflow DAG 问题。

后续步骤