Cloud Data Fusion のプラグイン

プラグインとは、Cloud Data Fusion の機能を拡張するために使用できる、カスタマイズ可能なモジュールのことです。さまざまなプラグイン タイプが、ソース、変換、分析、アクション、シンク、エラーハンドラ、アラート パブリッシャー、条件として分類されています。以下のプラグイン リファレンス表に、Cloud Data Fusion で使用できるすべてのプラグインを示します。必要なプラグインが存在しない場合は、Cloud Data Fusion のプラグイン API を使用して独自のプラグインを構築できます

この表では、Cloud Data Fusion で使用可能な各種プラグインについて説明しています。

タイプ 説明
ソース ソースは、データを取得するデータベース、ファイル、リアルタイム ストリームへのコネクタです。シンプルな UI を使用してデータを取り込めるため、低レベルの接続のコーディングについて懸念する必要がなくなります。
変換 変換を使用すると、データが取り込まれた後にデータを操作できます。たとえば、レコードのクローンを作成できます。JSON をフォーマットすることもできます。さらに、JavaScript プラグインを使用してカスタム変換を作成することもできます。
分析 分析プラグインは、集約(さまざまなソースからのデータのグループ化、結合など)したり、分析、機械学習を実行したりするために使用されます。Data Fusion には、こうしたさまざまなユースケースに対応する組み込みのプラグインが用意されています。
アクション アクション プラグインは、ワークフロー中に実行される予定のカスタム アクションを定義します。ただし、ワークフロー内のデータを直接操作することはありません。たとえば、データベース カスタム アクションを使用すると、パイプラインの最後で任意のデータベース コマンドを実行できます。または、Cloud Storage 内でファイルを移動するアクションをトリガーすることもできます。
シンク データはシンクに書き込む必要があります。Cloud Data Fusion には、Cloud Storage、BigQuery、Cloud Spanner、リレーショナル データベース、ファイル システム、メインフレームなど、さまざまなシンクがあります。
エラーハンドラ ノードに null 値、論理エラー、その他のエラーの原因が発生した場合、エラーハンドラ プラグインを使用してエラーを検出できます。このプラグインは、エラーを検出する変換プラグインや分析プラグインの出力に接続できます。検出したエラーは、パイプラインの別個のエラー処理フローで処理できます。
アラート パブリッシャー 別の種類のプラグインとして、アラート パブリッシャーがあります。これを使用すると、一般的ではないイベントが発生したときに通知を発行できます。その後、下流のプロセスでこれらの通知を設定して、アラートに対するカスタム処理をトリガーできます。
条件 パイプラインには、条件形式の制御フロー プラグインもあります。条件プラグインを使用すると、指定した条件述部の評価が true か false かに応じて、パイプラインを 2 つの別々のパスに分岐できます。