このページでは、Cloud Data Fusion パイプラインのトリガーを作成して使用する方法について説明します。ダウンストリーム パイプラインと呼ばれるデータ パイプラインにトリガーを作成し、アップストリーム パイプラインと呼ばれる別のパイプラインの完了時にトリガーを実行します。トリガーを作成するときは、ダウンストリーム パイプラインの実行タイミング(アップストリーム パイプラインの実行の成功、失敗、停止、またはその組み合わせ)を選択します。
トリガーは次のような場合に役立ちます。
- データをクレンジングして、複数のダウンストリーム パイプラインでデータを使用できるようにします。
- ランタイム引数やプラグイン構成などの情報をパイプライン間で共有します。これをペイロード構成といいます。
- 実行ごとに更新する必要のある静的パイプラインの代わりに、時間、日、週、月のデータを使用して実行できる一連の動的パイプラインを備えています。
始める前に
パイプライン スタジオ で、アップストリーム パイプラインとダウンストリーム パイプラインであるパイプラインをデプロイします。
(省略可)アップストリーム パイプラインのランタイム引数を設定します
ペイロード構成をランタイム引数として渡す場合は、アップストリーム パイプラインのランタイム引数を設定します。
[リスト] ページに移動します。[デプロイ済み] タブで、上流パイプラインの名前をクリックします。そのパイプラインの [デプロイ] ビューが表示されます。
[実行] ボタンの右側にある矢印をクリックします。
[+] ボタンをクリックし、ランタイム引数の [キー] と [値] を入力します。
[保存] をクリックします。
ダウンストリーム パイプラインで受信トリガーを作成する
ダウンストリーム パイプラインの完了時に実行されるように、ダウンストリーム パイプラインでトリガーを作成します。
[リスト] ページに移動します。[デプロイ済み] タブで、ダウンストリーム パイプラインの名前をクリックします。そのパイプラインの [デプロイ] ビューが表示されます。
ページ中央の左側にある [受信トリガー] をクリックします。使用可能なパイプラインのリストが表示されます。
アップストリーム パイプラインをクリックします。アップストリーム パイプラインの完了状態(Succeeds、Fails、Stops)を 1 つ以上の条件として選択し、ダウンストリーム パイプラインが実行されるようにします。
アップストリーム パイプラインがダウンストリーム パイプラインと情報(ペイロード構成と呼ばれる)を共有する場合は、[トリガーの構成] をクリックし、ペイロード構成をランタイム引数として渡すの手順に従います。それ以外の場合は、[トリガーを有効にする] をクリックします。
ペイロード構成をランタイム引数として渡す
ペイロード構成を使用すると、アップストリーム パイプラインからダウンストリーム パイプラインに情報を共有できます。この情報には、出力ディレクトリ、データ形式、パイプラインが実行された日付などがあります。この情報はダウンストリーム パイプラインによって使用され、読み取り対象となるデータセットを決定します。
アップストリーム パイプラインからダウンストリーム パイプラインに情報を渡すには、ダウンストリーム パイプラインのランタイム引数を、ランタイム引数またはアップストリーム パイプライン内のプラグインの構成のいずれかの値に設定します。
ダウンストリーム パイプラインが実行される(トリガーされる)たびに、ダウンストリーム パイプラインをトリガーしたアップストリーム パイプラインの特定の実行のランタイム引数を使用してペイロード構成が設定されます。
ペイロードの構成をランタイム引数として渡すには:
[トリガーの構成] をクリックした後に、受信トリガーの作成セクションで中断したところから再開すると、上流パイプライン用に以前に設定したランタイム引数が表示されます。このトリガーの実行時に、上流パイプラインから下流パイプラインに渡すランタイム引数を選択します。
[プラグイン コンフィグ] タブをクリックすると、トリガーされた時点でアップストリーム パイプラインからダウンストリーム パイプラインに渡されるもののリストが表示されます。
[トリガーを構成して有効にする] をクリックします。
ダウンストリーム パイプライン トリガーをテストする
トリガーをテストするには、次の手順に従います。
[リスト] ページに移動します。[デプロイ済み] タブで、上流パイプラインの名前をクリックします。そのパイプラインの [デプロイ] ビューが表示されます。
[実行] をクリックします。
上流パイプラインの実行が完了するまで待ちます。[リスト] ビューから、ダウンストリーム パイプラインに移動します。作成したトリガーの結果として、実行中であることを確認します。