查看 DAG、DAG 執行作業和任務

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer„�

本頁說明如何取得環境中 DAG 的相關資訊。

查看 DAG 相關資訊的方式

Cloud Composer 提供多種方式，可取得環境中 DAG 的詳細資訊：

  • DAG 使用者介面是 Google Cloud 主控台介面的一部分，專門用於查看及監控 DAG、DAG 執行作業和個別工作。
  • Airflow UI 是 Airflow 的內建網頁介面。
  • Airflow CLI 是 Airflow 的指令列介面。您可以執行 Airflow CLI 指令搭配 gcloud，取得 DAG 的相關資訊。

關於 Cloud Composer DAG 使用者介面

DAG 使用者介面是 Google Cloud 主控台介面的一部分，專門用於查看及監控 DAG、DAG 執行作業和個別工作。

在 DAG UI 中，您可以：

  • 查看環境中的 DAG 清單，包括排程間隔、DAG 狀態和說明。

  • 暫停、取消暫停及觸發 DAG。

  • 查看 DAG 執行作業詳細資料，包括成功、進行中和失敗的執行作業，以及上次完成執行作業的時間。您可以查看每個 DAG 的 DAG 執行記錄，以及與該 DAG 相關聯的工作執行個體，包括已執行工作的記錄。

  • 篩選 DAG 執行作業詳細資料。舉例來說，您可以選取時間間隔，然後建立查詢來選取所需資訊。

  • 查看個別 DAG 和工作項目的詳細資訊。包括 DAG 圖表、DAG 內工作相關資訊、DAG 原始碼，以及 DAG 的額外資訊。

事前準備

  • 請確認您的帳戶具備可存取 DAG UI 和查看 DAG 詳細資料的角色。詳情請參閱存取權控管一文。

  • Cloud Composer 2.0.1 以上版本支援 DAG UI。

    查看環境的 DAG 清單

    主控台

    環境的「DAG」分頁會顯示 DAG 清單，以及每個 DAG 的 DAG 執行作業詳細資料。

    如要查看 DAG 清單：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「DAG list」資料欄中，按一下環境的「DAGs」連結。

    您可以使用篩選器，只查看特定 DAG 或特定條件的詳細資料。例如：

    1. 選取「篩選器」欄位。
    2. 從下拉式清單中選取「DAG id」屬性。
    3. 指定 DAG 的 ID。結果只會顯示所選 DAG 的詳細資料。
    4. (選用) 如要納入更多 DAG，請新增 OR 運算子，後面接上 DAG ID。
    5. (選用) 如要依其他條件篩選，請在「Filters」(篩選條件) 欄位中新增其他屬性。舉例來說，您可以指定 Failed runs:>0，篩選出執行失敗的 DAG。

    Airflow UI

    如要在 Airflow 網頁介面中查看 DAG 清單，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

    3. 登入具有適當權限的 Google 帳戶。

    4. 在 Airflow 網頁介面的「DAGs」頁面中，會顯示環境的 DAG 清單。

    gcloud

    執行 dags list Airflow CLI 指令：

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    取代：

    • 將 ENVIRONMENT_NAME 替換為環境的名稱。
    • LOCATION 改成環境所在的地區。

    查看 DAG 執行作業和工作記錄

    主控台

    「DAG details」(DAG 詳細資料) 頁面的「Runs」(執行作業) 分頁標籤會顯示個別 DAG 的 DAG 執行記錄。

    如要查看 DAG 執行記錄，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「DAG list」資料欄中，按一下環境的「DAGs」連結。

    3. 選取 DAG。

    4. 在「DAG details」(DAG 詳細資料) 頁面中，前往「Runs」(執行) 分頁標籤。

    5. 從清單中選取 DAG 執行作業，即可查看 DAG 執行作業詳細資料，例如這個 DAG 執行作業的工作執行個體狀態、嘗試次數和執行時間。您可以選取個別工作，查看工作執行個體記錄。

    Airflow UI

    如要在 Airflow 網頁介面中查看 DAG 清單，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

    3. 登入具有適當權限的 Google 帳戶。

    4. 在 Airflow 網頁介面中，依序選取選單中的「Browse」>「DAG Runs」。「DAG Runs」(DAG 執行作業) 頁面會顯示環境的 DAG 執行作業。您可以點選「Run ID」欄中的連結，取得工作相關的其他資訊。

    gcloud

    執行 dags list-runs Airflow CLI 指令：

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    取代：

    • 將 ENVIRONMENT_NAME 替換為環境的名稱。
    • LOCATION 改成環境所在的地區。
    • 將 DAG_ID 替換為 DAG 的名稱。

    您可以執行 tasks state 和 tasks states-for-dag-run Airflow CLI 指令，取得工作執行個體的其他資訊。

    詳情請參閱「存取 Airflow CLI」和「Airflow CLI 參考資料」。

    查看 DAG 圖表

    主控台

    「DAG 詳細資料」頁面的「圖表」分頁會顯示 DAG 的視覺化內容，以及工作依附元件。

    如要查看 DAG 的圖表：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「DAG list」資料欄中，按一下環境的「DAGs」連結。

    3. 選取 DAG。

    4. 在「DAG details」(DAG 詳細資料) 頁面中，前往「Diagram」(圖表) 分頁標籤。

    5. (選用) 如要查看任務的其他資訊，請在圖表中選取個別任務。

    Airflow UI

    如要在 Airflow 網頁介面中查看 DAG 的圖表，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

    3. 登入具有適當權限的 Google 帳戶。

    4. 在 Airflow 網頁介面的「DAGs」頁面中，會顯示環境的 DAG 清單。

    5. 在 DAG 的「Links」資料欄中，按一下「Graph View」連結。

    查看 DAG 原始碼和 DAG 的其他資訊

    主控台

    您可以查看 DAG 的原始碼，以及環境值區中的 DAG 識別碼和 DAG 定義檔連結等其他資訊。

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「DAG list」資料欄中，按一下環境的「DAGs」連結。

    3. 選取 DAG。

    4. 如要查看 DAG 原始碼，請前往「圖表」分頁。

    5. 如要查看 DAG 的其他資訊，請前往「來源」分頁。

    Airflow UI

    如要在 Airflow 網頁介面中查看 DAG 的圖表，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「Environments」頁面。

      前往「環境」

    2. 在「Airflow 網路伺服器」欄中，按一下環境的「Airflow」連結。

    3. 登入具有適當權限的 Google 帳戶。

    4. 在 Airflow 網頁介面的「DAGs」(DAG) 頁面中，按一下 DAG 的名稱。

    5. 在 DAG 詳細資料頁面中，前往可用分頁標籤，查看 DAG 的其他資訊。

    後續步驟