DAG、DAG 実行、タスクを表示する

Cloud Composer 1 | Cloud Composer 2

このページでは、環境内の DAG に関する情報を取得する方法について説明します。

DAG に関する情報を表示する方法

Cloud Composer には、環境内の DAG に関する詳細情報を取得する方法がいくつかあります。

  • DAG UI は、DAG、DAG の実行、個々のタスクの表示とモニタリング専用の Cloud Composer 用の Google Cloud コンソール インターフェースのセクションです。
  • Airflow UI は Airflow に組み込まれているウェブ インターフェースです。
  • Airflow CLI は Airflow のコマンドライン インターフェースです。DAG に関する情報を取得するには、gcloud を指定して Airflow CLI コマンドを実行します。

Cloud Composer DAG UI について

DAG UI は、DAG、DAG の実行、個々のタスクの表示とモニタリング専用の Cloud Composer 用の Google Cloud コンソール インターフェースのセクションです。

DAG UI では次のことを行えます。

  • スケジュール間隔、DAG の状態、説明など、環境内の DAG のリストを表示します。

  • DAG のトリガー、一時停止、一時停止解除を行います。

  • 最後に完了した実行以降の DAG 実行の詳細（成功、アクティブ、失敗した実行など）を表示します。DAG ごとに、DAG 実行の履歴と特定の DAG に関連付けられたタスク インスタンス（実行されたタスクのログを含む）を表示できます。

  • DAG 実行の詳細をフィルタします。たとえば、時間間隔を選択し、必要な情報を選択するためにクエリを作成できます。

  • 個々の DAG とタスクに関する詳細情報を表示します。これには、可視化された DAG 図、DAG 内のタスクに関する情報、DAG ソースコード、DAG に関する追加情報が含まれます。

始める前に

  • DAG UI にアクセスして DAG の詳細を表示できるロールがアカウントに付与されていることを確認します。詳細については、アクセス制御をご覧ください。

  • DAG UI は Cloud Composer 2.0.1 以降のバージョンでサポートされています。

    環境の DAG のリストを表示する

    Console

    環境の [DAG] タブに、DAG のリストと各 DAG の DAG 実行の詳細が表示されます。

    DAG を一覧表示するには:

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [DAG list] 列で、環境の DAGs のリンクを選択します。

    フィルタを使用して、特定の DAG または特定の条件の詳細のみを表示できます。例:

    1. [フィルタ] フィールドを選択します。
    2. プルダウン リストから [DAG ID] プロパティを選択します。
    3. DAG の ID を指定します。結果には、選択した DAG の詳細のみが表示されます。
    4. （省略可）DAG をさらに含めるには、OR 演算子の後に DAG ID を追加します。
    5. （省略可）他の条件でフィルタするには、[Filters] フィールドに他のプロパティを追加します。たとえば、実行に失敗した DAG は、Failed runs:>0 を指定してフィルタできます。

    Airflow UI

    Airflow ウェブ インターフェースで DAG のリストを表示するには:

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

    3. 適切な権限を持つ Google アカウントでログインします。

    4. Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。

    gcloud

    dags list Airflow CLI コマンドを実行します。

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    次のように置き換えます。

    • ENVIRONMENT_NAME を環境の名前にする。
    • LOCATION は、環境が配置されているリージョン。

    DAG の実行とタスクの履歴を表示する

    Console

    [DAG の詳細] ページの [実行] タブには、個々の DAG の DAG 実行の履歴が表示されます。

    DAG の実行履歴を表示するには:

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [DAG list] 列で、環境の DAGs のリンクを選択します。

    3. DAG を選択します。

    4. [DAG の詳細] ページで、[実行] タブに移動します。

    5. リストから DAG 実行を選択して、この DAG 実行のタスク インスタンスの状態、試行回数、実行時間など、DAG 実行の詳細を表示します。個々のタスクを選択して、タスク インスタンスのログを表示できます。

    Airflow UI

    Airflow ウェブ インターフェースで DAG のリストを表示するには:

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

    3. 適切な権限を持つ Google アカウントでログインします。

    4. Airflow ウェブ インターフェースのメニューで、[ブラウジング] > [DAG 実行] を選択します。[DAG 実行] ページに、環境の DAG 実行が表示されます。[実行 ID] 列のリンクを選択すると、タスクに関する追加情報を取得できます。

    gcloud

    dags list-runs Airflow CLI コマンドを実行します。

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    次のように置き換えます。

    • ENVIRONMENT_NAME を環境の名前にする。
    • LOCATION は、環境が配置されているリージョン。
    • DAG_ID は、DAG の名前に置き換えます。

    タスク インスタンスに関する詳細情報を取得するには、tasks state と tasks states-for-dag-run の Airflow CLI コマンドを実行します。

    詳細については、Airflow CLI にアクセスすると Airflow CLI リファレンスをご覧ください。

    DAG 図を表示する

    Console

    [DAG の詳細] ページの [図] タブに、タスクの依存関係を持つ DAG が可視化されています。

    DAG の図を表示するには:

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [DAG list] 列で、環境の DAGs のリンクを選択します。

    3. DAG を選択します。

    4. [DAG の詳細] ページで、[図] タブに移動します。

    5. （省略可）タスクに関する追加情報を表示するには、図で個々のタスクを選択します。

    Airflow UI

    Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

    3. 適切な権限を持つ Google アカウントでログインします。

    4. Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。

    5. DAG の [リンク] 列で [グラフ表示] リンクをクリックします。

    DAG のソースコードと DAG に関する追加情報を表示する

    Console

    DAG のソースコードと、DAG 識別子や環境のバケット内の DAG 定義ファイルへのリンクなどの追加情報を表示できます。

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [DAG list] 列で、環境の DAGs のリンクを選択します。

    3. DAG を選択します。

    4. DAG のソースコードを表示するには、[図] タブに移動します。

    5. DAG に関する追加情報を表示するには、[ソース] タブに移動します。

    Airflow UI

    Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。

    1. Google Cloud Console で [環境] ページに移動します。

      [環境] に移動

    2. [Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。

    3. 適切な権限を持つ Google アカウントでログインします。

    4. Airflow ウェブ インターフェースの [DAG] ページで、DAG の名前をクリックします。

    5. DAG の詳細ページで、使用可能なタブに移動し、DAG に関する追加情報を表示します。

    次のステップ