查看 DAG、DAG 執行作業和任務

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁說明如何取得環境中 DAG 的相關資訊。

查看 DAG 相關資訊的方式

Cloud Composer 提供多種方式，讓您取得環境中 DAG 的詳細資訊：

  • DAG UI 是 Google Cloud 主控台介面中的一個部分，專門用於查看及監控 DAG、DAG 執行作業和個別工作。
  • Airflow UI 是 Airflow 內建的網頁介面。
  • Airflow CLI 是 Airflow 的指令列介面。您可以使用 gcloud 執行 Airflow CLI 指令，取得 DAG 相關資訊。

關於 Cloud Composer DAG UI

DAG UI 是 Google Cloud 主控台介面中的一個部分，專門用於查看及監控 DAG、DAG 執行作業和個別工作。

在 DAG UI 中，您可以：

  • 查看環境中的 DAG 清單，包括排程間隔、DAG 狀態和說明。

  • 暫停、取消暫停及觸發 DAG。

  • 查看 DAG 執行作業的詳細資料，包括成功、有效和失敗的執行作業，以及上次完成執行作業後的時間。您可以查看每個 DAG 的 DAG 執行記錄，以及與該 DAG 相關聯的工作例項，包括已執行工作記錄。

  • 篩選 DAG 執行作業的詳細資料。舉例來說，您可以選取時間間隔並建立查詢，以便選取所需資訊。

  • 查看個別 DAG 和任務的詳細資訊。包括可視化的 DAG 圖表、DAG 內工作相關資訊、DAG 原始碼，以及 DAG 的其他資訊。

事前準備

  • 請確認您的帳戶具有可存取 DAG UI 和查看 DAG 詳細資料的角色。詳情請參閱「存取權控管」。

  • DAG UI 需要啟用 DAG 序列化。

  • Cloud Composer 1.17.8 以上版本支援 DAG UI。

查看環境的 DAG 清單

主控台

環境中的「DAG」分頁會顯示 DAG 清單，以及每個 DAG 的 DAG 執行詳細資料。

如要查看 DAG 清單，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「DAG 清單」欄位中，點選環境的「DAG」連結。

您可以使用篩選器，只查看特定 DAG 或特定條件的詳細資料。例如：

  1. 選取「篩選器」欄位。
  2. 在下拉式清單中選取「DAG id」資源。
  3. 指定 DAG 的 ID。結果只會顯示所選 DAG 的詳細資料。
  4. (選用) 如要納入更多 DAG，請加入 OR 運算子，後面接著 DAG ID。
  5. (選用) 如要依其他條件篩選，請在「篩選器」欄位中新增其他屬性。舉例來說，您可以指定 Failed runs:>0，篩選出執行失敗的 DAG。

Airflow UI

如要在 Airflow 網頁介面中查看 DAG 清單，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

  3. 登入具有適當權限的 Google 帳戶。

  4. 在 Airflow 網頁介面的「DAG」頁面中，系統會顯示環境的 DAG 清單。

gcloud

在 Airflow 1.10.* 中，執行 list_dags Airflow CLI 指令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

在 Airflow 2 中，執行 dags list Airflow CLI 指令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

取代：

  • 將 ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。

查看 DAG 執行作業和任務的歷史記錄

主控台

「DAG 詳細資料」頁面上的「執行作業」分頁會顯示個別 DAG 的 DAG 執行作業記錄。

如何查看 DAG 執行記錄：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「DAG 清單」欄位中，點選環境的「DAG」連結。

  3. 選取 DAG。

  4. 在「DAG 詳細資料」頁面中，前往「執行作業」分頁。

  5. 從清單中選取 DAG 執行作業，即可查看 DAG 執行作業詳細資料，例如該 DAG 執行作業的工作例項狀態、重試次數和執行時間。您可以選取個別工作，查看工作執行個體記錄檔。

Airflow UI

如要在 Airflow 網頁介面中查看 DAG 清單，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

  3. 登入具有適當權限的 Google 帳戶。

  4. 在 Airflow 網頁介面中，依序選取選單中的「Browse」「DAG Runs」。「DAG 執行作業」頁面會顯示環境的 DAG 執行作業。您可以點選「Run ID」欄中的連結，取得工作相關的其他資訊。

gcloud

在 Airflow 1.10.* 中，執行 list_dag_runs Airflow CLI 指令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

在 Airflow 2 中，執行 dags list-runs Airflow CLI 指令：

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

取代：

  • 將 ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。
  • 將 DAG_ID 替換為 DAG 的名稱。

您可以執行 tasks state 和 tasks states-for-dag-run Airflow CLI 指令，取得工作執行個體的其他資訊。

詳情請參閱「存取 Airflow CLI」一文，以及 Airflow 1 和 Airflow 2 的 Airflow CLI 參考資料。

查看 DAG 圖表

主控台

「DAG 詳細資料」頁面上的「圖表」分頁標籤會顯示 DAG 與工作依附元件的視覺化效果。

如要查看 DAG 的圖表，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「DAG 清單」欄位中，點選環境的「DAG」連結。

  3. 選取 DAG。

  4. 在「DAG 詳細資料」頁面中，前往「圖表」分頁標籤。

  5. (選用) 如要查看工作相關的其他資訊，請在圖表中選取個別工作。

Airflow UI

如要在 Airflow 網頁介面中查看 DAG 的圖表，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

  3. 登入具有適當權限的 Google 帳戶。

  4. 在 Airflow 網頁介面的「DAG」頁面中，系統會顯示環境的 DAG 清單。

  5. 針對 DAG，請在「Links」欄中，點選「Graph View」連結。

查看 DAG 原始碼和 DAG 的其他資訊

主控台

您可以查看 DAG 的原始碼，以及其他資訊，例如 DAG 識別碼和環境值區中 DAG 定義檔的連結。

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「DAG 清單」欄位中，點選環境的「DAG」連結。

  3. 選取 DAG。

  4. 如要查看 DAG 原始碼，請前往「Diagram」分頁。

  5. 如要查看 DAG 的其他資訊，請前往「Source」分頁。

Airflow UI

如要在 Airflow 網頁介面中查看 DAG 的圖表，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

  3. 登入具有適當權限的 Google 帳戶。

  4. 在 Airflow 網頁介面的「DAG」頁面中，按一下 DAG 名稱。

  5. 在 DAG 詳細資料頁面中，前往可用分頁，查看 DAG 的其他資訊。

後續步驟