トリガーの使用

このページでは、Cloud Data Fusion パイプラインのトリガーを作成して使用する方法について説明します。ダウンストリーム パイプラインと呼ばれるデータ パイプラインにトリガーを作成し、アップストリーム パイプラインと呼ばれる別のパイプラインの完了時にトリガーを実行します。トリガーを作成するときは、ダウンストリーム パイプラインの実行タイミング(アップストリーム パイプラインの実行の成功、失敗、停止、またはそれらの組み合わせ)を選択します。

トリガーは次のような場合に役立ちます。

  • データをクレンジングして、複数のダウンストリーム パイプラインでデータを使用できるようにします。
  • ランタイム引数やプラグイン構成などの情報をパイプライン間で共有します。これをペイロード構成といいます。
  • 実行ごとに更新する必要がある静的パイプラインではなく、時間、日、週、月のデータを使用して実行できる一連の動的パイプラインを用意する。

始める前に

Pipeline Studio で、アップストリーム パイプラインとダウンストリーム パイプラインであるパイプラインをデプロイします。

(省略可)アップストリーム パイプラインのランタイム引数を設定します

ペイロード構成をランタイム引数として渡す場合は、アップストリーム パイプラインのランタイム引数を設定します。

  1. [リスト] ページに移動します。[Deployed] タブで、アップストリーム パイプラインの名前をクリックします。そのパイプラインの [Deploy] ビューが表示されます。

  2. [Run] ボタンの右側にある矢印をクリックします。

  3. [+] ボタンをクリックし、ランタイム引数の [キー] と [] に入力します。

  4. [保存] をクリックします。

ダウンストリーム パイプラインで受信トリガーを作成する

ダウンストリーム パイプラインでトリガーを作成し、アップストリーム パイプラインの完了時に実行させます。

  1. [リスト] ページに移動します。[Deployed] タブで、ダウンストリーム パイプラインの名前をクリックします。そのパイプラインの [Deploy] ビューが表示されます。

  2. ページの左下隅にある [受信のトリガー] をクリックします。使用可能なパイプラインのリストが表示されます。

  3. アップストリーム パイプラインをクリックします。アップストリーム パイプラインの完了状態(SucceedsFailsStops)を 1 つ以上の条件として選択し、ダウンストリーム パイプラインが実行されるようにします。

  4. アップストリーム パイプラインがダウンストリーム パイプラインと情報(ペイロード構成)を共有する場合は、Trigger config をクリックし、ペイロード構成をランタイム引数として渡す手順に従いますそれ以外の場合は、[トリガーを有効にする] をクリックします。

ペイロード構成をランタイム引数として渡す

ペイロード構成を使用すると、アップストリーム パイプラインからダウンストリーム パイプラインに情報を共有できます。この情報には、出力ディレクトリ、データ形式、パイプラインが実行された日などが含まれます。この情報を基に、読み取り先のデータセットを決定します。

アップストリーム パイプラインからダウンストリーム パイプラインに情報を渡すには、ダウンストリーム パイプラインのランタイム引数を、アップストリーム パイプラインのランタイム引数またはプラグインの構成のいずれかに設定します。

ダウンストリーム パイプラインが実行(トリガー)されるたびに、ダウンストリーム パイプラインをトリガーしたアップストリーム パイプラインの特定の実行のランタイム引数を使用してペイロード構成が設定されます。

ペイロードの構成をランタイム引数として渡すには:

  1. 受信トリガーの作成セクションで中断したところから再開し、トリガーの構成をクリックしたあと、アップストリーム パイプラインに以前設定したいずれかのランタイム引数が表示されます。このトリガーの実行時に、アップストリーム パイプラインからダウンストリーム パイプラインに渡すランタイム引数を選択します。

  2. [Plugin config] タブをクリックすると、トリガーされた時点でアップストリーム パイプラインからダウンストリーム パイプラインに渡されるもののリストが表示されます。

  3. [トリガーを構成して有効にする] をクリックします。

ダウンストリーム パイプライン トリガーをテストする

トリガーをテストするには、次の手順に従います。

  1. [リスト] ページに移動します。[Deployed] タブで、アップストリーム パイプラインの名前をクリックします。そのパイプラインの [Deploy] ビューが表示されます。

  2. [実行] をクリックします。

  3. アップストリーム パイプラインの実行が完了するまで待ちます。[List] ビューから、ダウンストリーム パイプラインに移動します。作成したトリガーの結果として、実行されたことがわかります。