Cloud Composer 1 | Cloud Composer 2
このページでは、環境内の DAG に関する情報を取得する方法について説明します。
DAG に関する情報を表示する方法
Cloud Composer には、環境内の DAG に関する詳細情報を取得する方法がいくつかあります。
- DAG UI は Google Cloud Console インターフェースのセクションであり、Cloud Composer の DAG、DAG 実行、個々のタスクの表示とモニタリング専用です。
- Airflow UI は Airflow に組み込まれているウェブ インターフェースです。
- Airflow CLI は Airflow のコマンドライン インターフェースです。DAG に関する情報を取得するには、
gcloudを指定して Airflow CLI コマンドを実行します。
Cloud Composer DAG UI について
DAG UI は Google Cloud Console インターフェースのセクションであり、DAG、DAG 実行、個々のタスクの表示とモニタリング専用です。
DAG UI では次のことを行えます。
スケジュール間隔、DAG の状態、説明など、環境内の DAG のリストを表示します。
最後に完了した実行以降の DAG 実行の詳細（成功、アクティブ、失敗した実行など）を表示します。DAG ごとに、DAG 実行の履歴と特定の DAG に関連付けられたタスク インスタンス（実行されたタスクのログを含む）を表示できます。
DAG 実行の詳細をフィルタします。たとえば、時間間隔を選択し、必要な情報を作成するためにクエリを作成できます。
個々の DAG とタスクに関する詳細情報を表示します。これには、可視化された DAG 図、DAG 内のタスクに関する情報、DAG ソースコード、DAG に関する追加情報が含まれます。
始める前に
プレビュー中、DAG UI は VPC SC を使用する環境ではサポートされません。
DAG UI には有効な DAG のシリアル化が必要です。
DAG UI は Cloud Composer 1.17.8 以降のバージョンでサポートされています。
環境の DAG のリストを表示する
Console
環境の [DAG] タブに、DAG のリストと各 DAG の DAG 実行の詳細が表示されます。
DAG を一覧表示するには:
Google Cloud Console で [環境] ページに移動します。
環境を選択して、詳細を表示します。
[環境の詳細] ページで、[DAG] タブに移動します。
フィルタを使用して、特定の DAG または特定の条件の詳細のみを表示できます。例:
- [フィルタ] フィールドを選択します。
- プルダウン リストから [DAG ID] プロパティを選択します。
- DAG の ID を指定します。結果には、選択した DAG の詳細のみが表示されます。
- （省略可）DAG をさらに含めるには、
OR演算子の後に DAG ID を追加します。 - （省略可）他の条件でフィルタするには、[フィルタ] フィールドに他のプロパティを追加します。たとえば、実行に失敗した DAG は、
Failed runs:>0を指定してフィルタできます。
Airflow UI
Airflow ウェブ インターフェースで DAG のリストを表示するには:
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。
gcloud
Airflow 1.10.* で、list_dags Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
Airflow 2 で、dags list Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
次のように置き換えます。
ENVIRONMENT_NAMEを環境の名前にする。LOCATIONは、環境が配置されているリージョン。
DAG の実行とタスクの履歴を表示する
Console
[DAG の詳細] ページの [実行] タブには、個々の DAG の DAG 実行の履歴が表示されます。
DAG の実行履歴を表示するには:
Google Cloud Console で [環境] ページに移動します。
環境を選択して、詳細を表示します。
[環境の詳細] ページで、[DAG] タブに移動します。
DAG を選択します。
[DAG の詳細] ページで、[実行] タブに移動します。
リストから DAG 実行を選択して、この DAG 実行のタスク インスタンスの状態、試行回数、実行時間など、DAG 実行の詳細を表示します。個々のタスクを選択して、タスク インスタンスのログを表示できます。
Airflow UI
Airflow ウェブ インターフェースで DAG のリストを表示するには:
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースのメニューで、[参照] > [DAG 実行] を選択します。[DAG 実行] ページに、環境の DAG 実行が表示されます。[実行 ID] 列のリンクをクリックすると、タスクに関する追加情報を取得できます。
gcloud
Airflow 1.10.* で、list_dag_runs Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
Airflow 2 で、dags list-runs Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
次のように置き換えます。
ENVIRONMENT_NAMEを環境の名前にする。LOCATIONは、環境が配置されているリージョン。DAG_IDは、DAG の名前に置き換えます。
タスクのインスタンスに関する詳細情報を取得するには、tasks state と tasks states-for-dag-run の Airflow CLI コマンドを実行します。
詳細については、Airflow CLI へのアクセス、Airflow 1 と Airflow 2 の Airflow CLI リファレンスをご覧ください。
DAG 図を表示する
Console
[DAG の詳細] ページの [図] タブに、タスクの依存関係を持つ DAG が可視化されています。
DAG の図を表示するには:
Google Cloud Console で [環境] ページに移動します。
環境を選択して、詳細を表示します。
[環境の詳細] ページで、[DAG] タブに移動します。
DAG を選択します。
[DAG の詳細] ページで、[図] タブに移動します。
（省略可）タスクに関する追加情報を表示するには、図で個々のタスクを選択します。
Airflow UI
Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。
DAG の [リンク] 列で [グラフ表示] リンクをクリックします。
DAG のソースコードと DAG に関する追加情報を表示する
Console
DAG のソースコードと、DAG 識別子や環境のバケット内の DAG 定義ファイルへのリンクなどの追加情報を表示できます。
Google Cloud Console で [環境] ページに移動します。
環境を選択して、詳細を表示します。
[環境の詳細] ページで、[DAG] タブに移動します。
DAG を選択します。
DAG のソースコードを表示するには、[図] タブに移動します。
DAG に関する追加情報を表示するには、[ソース] タブに移動します。
Airflow UI
Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースの [DAG] ページで、DAG の名前をクリックします。
DAG の詳細ページで、使用可能なタブに移動し、DAG に関する追加情報を表示します。