このページでは、Cloud Data Fusion インスタンスの作成時にデフォルトでインストールされるプラグインの種類について説明します。これらのプラグインは、インスタンスのデフォルトの名前空間と、作成した新しい名前空間で使用できます。追加のプラグインは Hub からダウンロードできます。
Cloud Data Fusion では、プラグインには次のカテゴリがあります。これらは、Cloud Data Fusion の [Studio] ページの左側のパネルに表示されます。
ソース
ソース プラグインは、パイプラインがデータを読み取るデータベース、ファイル、リアルタイム ストリームに接続します。ウェブ インターフェースを使用してデータ パイプラインのソースを設定するため、コードを使用して低レベルの接続を構成する必要はありません。
変換
変換プラグインは、データがソースから読み込まれた後にデータを変更します。たとえば、これらのプラグインを使用して、レコードのクローンを作成したり、ファイル形式を JSON に変更したり、JavaScript を使用してカスタム変換を作成したりできます。
分析
分析プラグインは、さまざまなソースからのデータの結合、分析と ML オペレーションの実行など、集約を行います。
シンク
シンク プラグインは、Cloud Storage、BigQuery、Spanner、リレーショナル データベース、ファイル システム、メインフレームなどのリソースにデータを書き込みます。シンクに書き込まれるデータをクエリするには、Cloud Data Fusion ウェブ インターフェースまたは REST API を使用します。
Conditions and Actions
条件プラグインとアクション プラグインは、ワークフロー中に実行されるアクションをスケジュールしますが、ワークフロー内のデータを直接操作することはありません。
サンプル ユースケース:
- データベース アクション プラグインをパイプラインに追加して、パイプラインの最後に実行されるデータベース コマンドをスケジュールします。
- ファイル移動プラグインをパイプラインに追加して、Cloud Storage 内でファイルを移動するアクションをトリガーします。
Error handlers and alerts
パイプラインのステージで null 値、論理エラー、その他のエラーが発生すると、エラーハンドラ プラグインがエラーをキャッチします。パイプライン内の変換プラグインまたは分析プラグインの後に、これらのプラグインを使用して出力のエラーを見つけます。エラーをデータベースに書き込んで分析できます。