DAG、DAG 実行、タスクを表示する

Cloud Composer 1 | Cloud Composer 2

このページでは、環境内の DAG に関する情報を取得する方法について説明します。

DAG に関する情報を表示する方法

Cloud Composer には、環境内の DAG に関する詳細情報を取得する方法がいくつかあります。

  • DAG UI は、DAG、DAG の実行、個々のタスクの表示とモニタリング専用の Cloud Composer 用の Google Cloud コンソール インターフェースのセクションです。
  • Airflow UI は Airflow に組み込まれているウェブ インターフェースです。
  • Airflow CLI は Airflow のコマンドライン インターフェースです。DAG に関する情報を取得するには、gcloud を指定して Airflow CLI コマンドを実行します。

Cloud Composer DAG UI について

DAG UI は、DAG、DAG の実行、個々のタスクの表示とモニタリング専用の Cloud Composer 用の Google Cloud コンソール インターフェースのセクションです。

DAG UI では次のことを行えます。

  • スケジュール間隔、DAG の状態、説明など、環境内の DAG のリストを表示します。

  • 一時停止、一時停止解除、DAG のトリガーを行います。

  • 最後に完了した実行以降の DAG 実行の詳細（成功、アクティブ、失敗した実行など）を表示します。DAG ごとに、DAG 実行の履歴と特定の DAG に関連付けられたタスク インスタンス（実行されたタスクのログを含む）を表示できます。

  • DAG 実行の詳細をフィルタします。たとえば、時間間隔を選択し、必要な情報を選択するためにクエリを作成できます。

  • 個々の DAG とタスクに関する詳細情報を表示します。これには、可視化された DAG 図、DAG 内のタスクに関する情報、DAG ソースコード、DAG に関する追加情報が含まれます。

始める前に

  • DAG UI には有効な DAG のシリアル化が必要です。

  • DAG UI は Cloud Composer 1.17.8 以降のバージョンでサポートされています。

環境の DAG のリストを表示する

Console

環境の [DAG] タブに、DAG のリストと各 DAG の DAG 実行の詳細が表示されます。

DAG を一覧表示するには:

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [DAG list] 列で、環境の DAGs のリンクを選択します。

フィルタを使用して、特定の DAG または特定の条件の詳細のみを表示できます。例:

  1. [フィルタ] フィールドを選択します。
  2. プルダウン リストから [DAG ID] プロパティを選択します。
  3. DAG の ID を指定します。結果には、選択した DAG の詳細のみが表示されます。
  4. （省略可）DAG をさらに含めるには、OR 演算子の後に DAG ID を追加します。
  5. （省略可）他の条件でフィルタするには、[Filters] フィールドに他のプロパティを追加します。たとえば、実行に失敗した DAG は、Failed runs:>0 を指定してフィルタできます。

Airflow UI

Airflow ウェブ インターフェースで DAG のリストを表示するには:

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

  3. 適切な権限を持つ Google アカウントでログインします。

  4. Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。

gcloud

Airflow 1.10.* で、list_dags Airflow CLI コマンドを実行します。

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

Airflow 2 で、dags list Airflow CLI コマンドを実行します。

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

次のように置き換えます。

  • ENVIRONMENT_NAME を環境の名前にする。
  • LOCATION は、環境が配置されているリージョン。

DAG の実行とタスクの履歴を表示する

Console

[DAG の詳細] ページの [実行] タブには、個々の DAG の DAG 実行の履歴が表示されます。

DAG の実行履歴を表示するには:

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [DAG list] 列で、環境の DAGs のリンクを選択します。

  3. DAG を選択します。

  4. [DAG の詳細] ページで、[実行] タブに移動します。

  5. リストから DAG 実行を選択して、この DAG 実行のタスク インスタンスの状態、試行回数、実行時間など、DAG 実行の詳細を表示します。個々のタスクを選択して、タスク インスタンスのログを表示できます。

Airflow UI

Airflow ウェブ インターフェースで DAG のリストを表示するには:

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

  3. 適切な権限を持つ Google アカウントでログインします。

  4. Airflow ウェブ インターフェースのメニューで、[Browse] > [DAG Runs] を選択します。[DAG Runs] ページに、環境の DAG 実行が表示されます。[実行 ID] 列のリンクを選択すると、タスクに関する追加情報を取得できます。

gcloud

Airflow 1.10.* で、list_dag_runs Airflow CLI コマンドを実行します。

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

Airflow 2 で、dags list-runs Airflow CLI コマンドを実行します。

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

次のように置き換えます。

  • ENVIRONMENT_NAME を環境の名前にする。
  • LOCATION は、環境が配置されているリージョン。
  • DAG_ID は、DAG の名前に置き換えます。

タスクのインスタンスに関する詳細情報を取得するには、tasks state と tasks states-for-dag-run の Airflow CLI コマンドを実行します。

詳細については、Airflow CLI へのアクセス、Airflow 1 と Airflow 2 の Airflow CLI リファレンスをご覧ください。

DAG 図を表示する

Console

[DAG の詳細] ページの [図] タブに、タスクの依存関係を持つ DAG が可視化されています。

DAG の図を表示するには:

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [DAG list] 列で、環境の DAGs のリンクを選択します。

  3. DAG を選択します。

  4. [DAG の詳細] ページで、[図] タブに移動します。

  5. （省略可）タスクに関する追加情報を表示するには、図で個々のタスクを選択します。

Airflow UI

Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

  3. 適切な権限を持つ Google アカウントでログインします。

  4. Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。

  5. DAG の [リンク] 列で [グラフ表示] リンクをクリックします。

DAG のソースコードと DAG に関する追加情報を表示する

Console

DAG のソースコードと、DAG 識別子や環境のバケット内の DAG 定義ファイルへのリンクなどの追加情報を表示できます。

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [DAG list] 列で、環境の DAGs のリンクを選択します。

  3. DAG を選択します。

  4. DAG のソースコードを表示するには、[図] タブに移動します。

  5. DAG に関する追加情報を表示するには、[ソース] タブに移動します。

Airflow UI

Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。

  1. Google Cloud Console で [環境] ページに移動します。

    [環境] に移動

  2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

  3. 適切な権限を持つ Google アカウントでログインします。

  4. Airflow ウェブ インターフェースの [DAG] ページで、DAG の名前をクリックします。

  5. DAG の詳細ページで、使用可能なタブに移動し、DAG に関する追加情報を表示します。

次のステップ