Cloud Composer 1 | Cloud Composer 2
このページでは、環境内の DAG に関する情報を取得する方法について説明します。
DAG に関する情報を表示する方法
Cloud Composer には、環境内の DAG に関する詳細情報を取得する方法がいくつかあります。
- DAG UI は、DAG、DAG の実行、個々のタスクの表示とモニタリング専用の Cloud Composer 用の Google Cloud コンソール インターフェースのセクションです。
- Airflow UI は Airflow に組み込まれているウェブ インターフェースです。
- Airflow CLI は Airflow のコマンドライン インターフェースです。DAG に関する情報を取得するには、
gcloudを指定して Airflow CLI コマンドを実行します。
Cloud Composer DAG UI について
DAG UI は、DAG、DAG の実行、個々のタスクの表示とモニタリング専用の Cloud Composer 用の Google Cloud コンソール インターフェースのセクションです。
DAG UI では次のことを行えます。
スケジュール間隔、DAG の状態、説明など、環境内の DAG のリストを表示します。
DAG の一時停止、一時停止解除、トリガーを行います。
最後に完了した実行以降の DAG 実行の詳細（成功、アクティブ、失敗した実行など）を表示します。DAG ごとに、DAG 実行の履歴およびこの特定の DAG に関連付けられたタスク インスタンス（実行されたタスクのログを含む）を表示できます。
DAG 実行の詳細をフィルタします。たとえば、時間間隔を選択し、必要な情報を選択するためにクエリを作成できます。
個々の DAG とタスクに関する詳細情報を表示します。これには、可視化された DAG 図、DAG 内のタスクに関する情報、DAG ソースコード、DAG に関する追加情報が含まれます。
始める前に
DAG UI にアクセスして DAG の詳細を表示できるロールがアカウントに付与されていることを確認します。詳細については、アクセス制御をご覧ください。
DAG UI では、DAG のシリアル化を有効にする必要があります。
DAG UI は Cloud Composer 1.17.8 以降のバージョンでサポートされています。
環境の DAG のリストを表示する
Console
環境の [DAG] タブに、DAG のリストと各 DAG の DAG 実行の詳細が表示されます。
DAG を一覧表示するには:
Google Cloud Console で [環境] ページに移動します。
[DAG list] 列で、環境の DAGs のリンクを選択します。
フィルタを使用して、特定の DAG または特定の条件の詳細のみを表示できます。例:
- [フィルタ] フィールドを選択します。
- プルダウン リストから [DAG ID] プロパティを選択します。
- DAG の ID を指定します。結果には、選択した DAG の詳細のみが表示されます。
- （省略可）DAG をさらに含めるには、
OR演算子の後に DAG ID を追加します。 - （省略可）他の条件でフィルタするには、[Filters] フィールドに他のプロパティを追加します。たとえば、実行に失敗した DAG は、
Failed runs:>0を指定してフィルタできます。
Airflow UI
Airflow ウェブ インターフェースで DAG のリストを表示するには:
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。
gcloud
Airflow 1.10.* で、list_dags Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
Airflow 2 で、dags list Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
次のように置き換えます。
ENVIRONMENT_NAMEを環境の名前にする。LOCATIONは、環境が配置されているリージョン。
DAG の実行とタスクの履歴を表示する
Console
[DAG の詳細] ページの [実行] タブには、個々の DAG の DAG 実行の履歴が表示されます。
DAG の実行履歴を表示するには:
Google Cloud Console で [環境] ページに移動します。
[DAG list] 列で、環境の DAGs のリンクを選択します。
DAG を選択します。
[DAG の詳細] ページで、[実行] タブに移動します。
リストから DAG 実行を選択して、この DAG 実行のタスク インスタンスの状態、試行回数、実行時間など、DAG 実行の詳細を表示します。個々のタスクを選択して、タスク インスタンスのログを表示できます。
Airflow UI
Airflow ウェブ インターフェースで DAG のリストを表示するには:
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースのメニューで、[ブラウジング] > [DAG 実行] を選択します。[DAG 実行] ページに、環境の DAG 実行が表示されます。[実行 ID] 列のリンクを選択すると、タスクに関する追加情報を取得できます。
gcloud
Airflow 1.10.* で、list_dag_runs Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
Airflow 2 で、dags list-runs Airflow CLI コマンドを実行します。
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
次のように置き換えます。
ENVIRONMENT_NAMEを環境の名前にする。LOCATIONは、環境が配置されているリージョン。DAG_IDは、DAG の名前に置き換えます。
タスク インスタンスに関する詳細情報を取得するには、tasks state と tasks states-for-dag-run の Airflow CLI コマンドを実行します。
詳細については、Airflow CLI へのアクセスと、Airflow CLI リファレンスの Airflow 1 と Airflow 2 をご覧ください。
DAG 図を表示する
Console
[DAG の詳細] ページの [図] タブに、タスクの依存関係を持つ DAG が可視化されています。
DAG の図を表示するには:
Google Cloud Console で [環境] ページに移動します。
[DAG list] 列で、環境の DAGs のリンクを選択します。
DAG を選択します。
[DAG の詳細] ページで、[図] タブに移動します。
（省略可）タスクに関する追加情報を表示するには、図で個々のタスクを選択します。
Airflow UI
Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースの [DAG] ページに、環境の DAG のリストが表示されます。
DAG の [リンク] 列で [グラフ表示] リンクをクリックします。
DAG のソースコードと DAG に関する追加情報を表示する
Console
DAG のソースコードと、DAG 識別子や環境のバケット内の DAG 定義ファイルへのリンクなどの追加情報を表示できます。
Google Cloud Console で [環境] ページに移動します。
[DAG list] 列で、環境の DAGs のリンクを選択します。
DAG を選択します。
DAG のソースコードを表示するには、[図] タブに移動します。
DAG に関する追加情報を表示するには、[ソース] タブに移動します。
Airflow UI
Airflow ウェブ インターフェースで DAG の図を表示するには、以下のようにします。
Google Cloud Console で [環境] ページに移動します。
[Airflow ウェブサーバー] 列で、ご使用の環境の [Airflow] リンクをクリックします。
適切な権限を持つ Google アカウントでログインします。
Airflow ウェブ インターフェースの [DAG] ページで、DAG の名前をクリックします。
DAG の詳細ページで、使用可能なタブに移動し、DAG に関する追加情報を表示します。