Cloud Data Fusion でデータ パイプラインを作成する場合は、ノードと呼ばれる一連のステージを使用して、ソースからシンクへの移動時にデータを移動、管理します。各ノードは、Cloud Data Fusion の機能を拡張する、カスタマイズ可能なモジュールであるプラグインで構成されています。
Cloud Data Fusion ウェブ インターフェースのプラグインは、[Studio] ページに移動します。他のプラグインについては、[Hub] をクリックします。
プラグイン タイプ
プラグインは以下のカテゴリに分類されます。
- ソース
- 変換
- 分析
- シンク
- Conditions and Actions
- Error handlers and alerts
ソース
ソース プラグインは、パイプラインがデータを読み取るデータベース、ファイル、リアルタイム ストリームに接続します。ウェブ インターフェースを使用してデータ パイプラインのソースを設定するため、低レベルの接続のコーディングについて心配する必要はありません。
変換
変換プラグインは、データがソースから取り込まれた後にデータを変更します。たとえば、レコードのクローンを作成したり、ファイル形式を JSON に変更したり、JavaScript プラグインを使用してカスタム変換を作成したりできます。
分析
分析プラグインは、異なるソースからのデータを結合したり、分析や機械学習オペレーションを実行したりするなど、集計を行います。
シンク
シンク プラグインは、Cloud Storage、BigQuery、Spanner、リレーショナル データベース、ファイル システム、メインフレームなどのリソースにデータを書き込みます。Cloud Data Fusion ウェブ インターフェースまたは REST API を使用して、シンクに書き込まれたデータをクエリできます。
Conditions and Actions
条件プラグインとアクション プラグインを使用して、ワークフロー内のデータを直接操作しないワークフローで実行されるアクションをスケジュールします。次に例を示します。
- データベース プラグインを使用して、パイプラインの最後で実行するデータベース コマンドをスケジュールします。
- File Move プラグインを使用して、Cloud Storage 内でファイルを移動するアクションをトリガーします。
Error handlers and alerts
ステージに null 値、論理エラー、その他のエラーの原因が存在する場合、エラーハンドラ プラグインを使用してエラーを検出できます。変換または分析プラグインの後に、これらのプラグインを使用して出力のエラーを見つけます。分析のために、エラーをデータベースに書き込むことができます。
次のステップ
- プラグインを調べる。
- プラグインを使用してデータ パイプラインを作成する。