Airflow DAG をオーケストレートする

この機能に関するサポートをリクエストするか、フィードバックを送信するには、bigquery-orchestration-tab-feedback@google.com にメールを送信してください。

このドキュメントでは、BigQuery の [オーケストレーション] ページで Cloud Composer 3（プレビュー）から Airflow 有向非巡回グラフ（DAG）をオーケストレートする方法について説明します。これには、DAG を手動でトリガーする方法や、過去の DAG 実行の履歴とログを表示する方法が含まれます。

BigQuery の Airflow DAG について

BigQuery の [オーケストレーション] ページには、Cloud Composer 3 環境で実行される Airflow DAG をオーケストレートするためのツールが用意されています。

BigQuery でオーケストレートする Airflow DAG は、プロジェクト内の 1 つ以上の Cloud Composer 環境で実行されます。BigQuery の [Orchestration] ページには、プロジェクト内のすべての Airflow DAG の情報がまとめられます。

DAG の実行中、Airflow は DAG で定義された順序で DAG を構成する個々のタスクをスケジュールして実行します。BigQuery の [Orchestration] ページでは、過去の DAG 実行のステータスを確認したり、すべての DAG 実行とこれらの DAG 実行のすべてのタスクの詳細なログを調べたり、DAG の詳細を確認したりできます。

Airflow DAG、DAG 実行、タスク、オペレーターなどの Airflow のコアコンセプトの詳細については、Airflow ドキュメントのコアコンセプト ページをご覧ください。

Cloud Composer 環境の詳細については、Cloud Composer ドキュメントの Cloud Composer 3 の概要をご覧ください。

始める前に

  1. Enable the Cloud Composer API.

    Enable the API

  2. Google Cloud プロジェクトに 1 つ以上の Cloud Composer 3 環境があり、少なくとも 1 つの DAG ファイルがすでにアップロードされていることを確認します。
    • Airflow DAG の使用を開始するには、Cloud Composer 3 で Apache Airflow DAG を実行するガイドの手順に沿って操作します。このガイドでは、デフォルト構成で Cloud Composer 3 環境を作成し、DAG をアップロードして、Airflow が DAG を実行することを確認します。
    • Airflow DAG を Cloud Composer 3 環境にアップロードする詳細な手順については、DAG の追加と更新をご覧ください。
    • Cloud Composer 3 環境を作成する詳細な手順については、Cloud Composer 環境を作成するをご覧ください。

必要な権限

Airflow DAG をオーケストレートするために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、Airflow DAG をオーケストレートするために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

Airflow DAG をオーケストレートするには、次の権限が必要です。

  • Airflow DAG とその詳細を表示するには: composers.dags.list, composer.environments.list
  • Airflow DAG をトリガーして一時停止するには: composers.dags.list, composer.environments.list, composer.dags.execute

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

Cloud Composer 3 IAM の詳細については、Cloud Composer ドキュメントの IAM を使用したアクセス制御をご覧ください。

DAG を手動でトリガーする

Airflow DAG を手動でトリガーすると、Airflow は DAG に指定されたスケジュールとは別に DAG を 1 回実行します。

選択した Airflow DAG を手動でトリガーする手順は次のとおりです。

  1. Google Cloud コンソールの [オーケストレーション] ページに移動します。

    [オーケストレーション] ページに移動

  2. 次のいずれかを行います。

    • 選択した DAG の名前をクリックし、[DAG の詳細] ページで [DAG をトリガー] をクリックします。

    • 選択した DAG を含む行で、[アクション] 列の [アクションを表示] をクリックし、[DAG をトリガー] をクリックします。

DAG 実行のログと詳細を表示する

選択した Airflow DAG の詳細を表示する手順は次のとおりです。

  1. Google Cloud コンソールの [オーケストレーション] ページに移動します。

    [オーケストレーション] ページに移動

  2. 選択した DAG の名前をクリックします。

  3. [DAG の詳細] ページで、[詳細] タブを選択します。

  4. 過去の DAG 実行を表示するには、[実行] タブを選択します。

    1. 省略可: [実行] タブには、デフォルトで過去 10 日間の DAG 実行が表示されます。DAG 実行を別の期間でフィルタするには、[10 日間] プルダウン メニューで期間を選択し、[OK] をクリックします。

    2. 省略可: すべての DAG 実行のリストの DAG 実行の詳細を含む追加の列を表示するには、 [列表示オプション] をクリックし、列を選択して [OK] をクリックします。

    3. 選択した DAG 実行の詳細とログを表示するには、DAG 実行を選択します。

  5. タスクの依存関係を含む DAG の可視化を表示するには、[図] タブを選択します。

    1. タスクの詳細を表示するには、図上でタスクを選択します。

  6. DAG のソースコードを表示するには、[コード] タブを選択します。

  7. 省略可: 表示されたデータを更新するには、[更新] をクリックします。

すべての DAG を表示する

Google Cloud プロジェクト内のすべての Cloud Composer 3 環境の Airflow DAG を表示する手順は次のとおりです。

  1. Google Cloud コンソールの [オーケストレーション] ページに移動します。

    [オーケストレーション] ページに移動

  2. 省略可: DAG の詳細を含む追加の列を表示するには、 [列表示オプション] をクリックし、列を選択して [OK] をクリックします。

DAG を一時停止する

選択した Airflow DAG を一時停止する手順は次のとおりです。

  1. Google Cloud コンソールの [オーケストレーション] ページに移動します。

    [オーケストレーション] ページに移動

  2. 次のいずれかを行います。

    • 選択した DAG の名前をクリックし、[DAG の詳細] ページで [DAG の一時停止] をクリックします。

    • 選択した DAG を含む行で、[アクション] 列の [アクションを表示] をクリックし、[DAG を一時停止] をクリックします。

トラブルシューティング

Airflow DAG のトラブルシューティングの手順については、Cloud Composer ドキュメントの Airflow DAG のトラブルシューティングをご覧ください。

次のステップ