排定 Airflow DAG

本文說明如何在 BigQuery 的「Scheduling」頁面中，從 Cloud Composer 3 排定Airflow 有向無環圖 (DAG)，包括如何手動觸發 DAG，以及如何查看過去 DAG 執行作業的記錄和記錄。

關於在 BigQuery 中管理 Airflow DAG

BigQuery 的「排程」頁面提供工具，可排定在 Cloud Composer 3 環境中執行的 Airflow DAG。

您在 BigQuery 中排定的 Airflow DAG 會在專案中一或多個 Cloud Composer 環境中執行。BigQuery 中的排程頁面會彙整專案中所有 Airflow DAG 的資訊。

在 DAG 執行期間，Airflow 會依據 DAG 定義的順序，排定並執行組成 DAG 的個別工作。您可以在 BigQuery 的「排程」頁面中查看過去 DAG 執行作業的狀態、探索所有 DAG 執行作業和這些 DAG 執行作業的詳細記錄，以及查看 DAG 的詳細資料。

如要進一步瞭解 Airflow 的核心概念，例如 Airflow DAG、DAG 執行作業、工作或運算子，請參閱 Airflow 說明文件中的「核心概念」頁面。

如要進一步瞭解 Cloud Composer 環境，請參閱 Cloud Composer 說明文件中的 Cloud Composer 3 總覽頁面。

事前準備

  1. Enable the Cloud Composer API.

    Enable the API

  2. 請確認 Google Cloud 專案至少有一個 Cloud Composer 3 環境，且至少有一個已上傳的 DAG 檔案：
    • 如要開始使用 Airflow DAG，請按照「在 Cloud Composer 3 中執行 Apache Airflow DAG」指南中的操作說明進行。本指南將說明如何使用預設設定建立 Cloud Composer 3 環境、上傳 DAG，並檢查 Airflow 是否執行 DAG。
    • 如需上傳 Airflow DAG 至 Cloud Composer 3 環境的詳細操作說明，請參閱「新增及更新 DAG」一文。
    • 如需建立 Cloud Composer 3 環境的詳細操作說明，請參閱「建立 Cloud Composer 環境」。

所需權限

如要取得安排 Airflow DAG 所需的權限，請要求管理員為您授予專案的下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這些預先定義的角色包含排定 Airflow DAG 所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要排定 Airflow DAG，您必須具備下列權限：

  • 如要查看 Airflow DAG 及其詳細資料，請按照下列步驟操作： composers.dags.list, composer.environments.list
  • 如要觸發及暫停 Airflow DAG，請按照下列步驟操作： composers.dags.list, composer.environments.list, composer.dags.execute

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

如要進一步瞭解 Cloud Composer 3 IAM，請參閱 Cloud Composer 說明文件中的「使用 IAM 控管存取權」。

手動觸發 Airflow DAG

當您手動觸發 Airflow DAG 時，Airflow 會執行 DAG 一次，不受 DAG 指定的排程影響。

如要手動觸發所選的 Airflow DAG，請按照下列步驟操作：

  1. 在 Google Cloud 控制台中，前往「Scheduling」頁面。

    前往「Scheduling」頁面

  2. 執行下列任一操作：

    • 按一下所選 DAG 的名稱，然後在「DAG 詳細資料」頁面中按一下「觸發 DAG」。

    • 在包含所選 DAG 的資料列中，按一下「Actions」欄中的 「View actions」，然後點選「Trigger DAG」。

查看 Airflow DAG 執行記錄和詳細資料

如要查看所選 Airflow DAG 的詳細資料，請按照下列步驟操作：

  1. 在 Google Cloud 控制台中，前往「Scheduling」頁面。

    前往「Scheduling」頁面

  2. 按一下所選 DAG 的名稱。

  3. 在「DAG 詳細資料」頁面中，選取「詳細資料」分頁標籤。

  4. 如要查看過去的 DAG 執行作業，請選取「Runs」分頁標籤。

    1. 選用：根據預設，「執行作業」分頁會顯示過去 10 天的 DAG 執行作業。如要依不同時間範圍篩選 DAG 執行作業，請在「10 天」下拉式選單中選取時間範圍，然後按一下「確定」。

    2. 選用：如要在所有 DAG 執行作業清單中顯示 DAG 執行作業詳細資料的其他資料欄，請按一下 「資料欄顯示選項」，然後選取資料欄並按一下「確定」。

    3. 如要查看所選 DAG 執行作業的詳細資料和記錄，請選取該 DAG 執行作業。

  5. 如要查看含有工作依附元件的 DAG 視覺化圖表，請選取「Diagram」分頁標籤。

    1. 如要查看工作詳細資料，請在圖表上選取工作。

  6. 如要查看 DAG 的原始碼，請選取「Code」分頁標籤。

  7. 選用：如要重新整理顯示的資料，請按一下「重新整理」。

查看所有 Airflow DAG

如要在Google Cloud 專案中查看所有 Cloud Composer 3 環境中的 Airflow DAG，請按照下列步驟操作：

  1. 在 Google Cloud 控制台中，前往「Scheduling」頁面。

    前往「Scheduling」頁面

  2. 選用：如要顯示 DAG 詳細資料的其他資料欄，請按一下 「資料欄顯示選項」，然後選取資料欄並按一下「確定」。

暫停 Airflow DAG

如要暫停所選 Airflow DAG，請按照下列步驟操作：

  1. 在 Google Cloud 控制台中，前往「Scheduling」頁面。

    前往「Scheduling」頁面

  2. 執行下列任一操作：

    • 按一下所選 DAG 的名稱，然後在「DAG 詳細資料」頁面中按一下「暫停 DAG」。

    • 在包含所選 DAG 的資料列中，按一下「Actions」欄中的 「View actions」，然後點選「Pause DAG」。

疑難排解

如需 Airflow DAG 疑難排解操作說明，請參閱 Cloud Composer 文件中的「Airflow DAG 疑難排解」一文。

後續步驟