Cloud Data Fusion のプラグインリファレンス

このソースプラグインは、Cloud Storage バケット内のパスからオブジェクトを読み取ります。

このシンクプラグインは、Cloud Storage のディレクトリにある 1 つ以上のファイルに、CSV、Avro、Parquet、JSON などのさまざまな形式でレコードを書き込みます。

マルチデータベーステーブル

データベース内の複数のテーブルから読み取ります。Cloud Storage マルチシンクや BigQuery マルチシンクなどのマルチシンクプラグインを使用して、1 つのパイプラインでデータベース全体からデータを読み込むために使用されます。

MySQL

構成可能な SQL クエリを使用して、MySQL インスタンスから読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

構成可能な SQL クエリを使用して、Oracle テーブルから読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

このソースは Salesforce から商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどの sObject を一括して読み取ります。

SAP ODP

SAP ソースに接続して、Operational Data Provisioning（ODP）を使用してバッチベースおよびデルタベースのデータ抽出を行います。

構成可能な SQL クエリを使用して、SQL Server から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

Google Cloud

Cloud Storage、BigQuery、Cloud Bigtable、Datastore、Pub/Sub、Google Workspace など、Google Cloud プロダクトで使用可能なすべてのプラグインを確認できます。

BigQuery

このソースは、BigQuery テーブルのコンテンツ全体を読み取ります。

BigQuery Argument Setter

BigQuery テーブルから読み取りを行い、パイプラインに設定する引数を取得します。

BigQuery の実行

このプラグインは、BigQuery SQL クエリを実行します。

BigQuery の複数テーブル

このシンクは複数の BigQuery テーブルに書き込みます。データはまず Cloud Storage 上の一時的な場所に書き込まれ、そこから BigQuery に読み込まれます。

BigQuery テーブル

このシンクは BigQuery テーブルに書き込みます。データはまず Cloud Storage 上の一時的な場所に書き込まれ、そこから BigQuery に読み込まれます。

Cloud Bigtable にデータを書き込むバッチシンク。

このソースは、Cloud Bigtable からデータを読み取ります。

Dataplex シンク

Dataplex でサポートされている任意のアセットにデータを取り込みます。

Dataplex ソース

Cloud Storage または BigQuery アセットに存在する Dataplex エンティティ（テーブル）からデータを読み取ります。

Datastore

このソースは、Datastore からデータを読み取ります。Datastore は、自動スケーリングと高パフォーマンスを実現するために構築された NoSQL ドキュメントデータベースです。

データストア

このシンクは Cloud Datastore にデータを書き込みます。Datastore は、自動スケーリングと高パフォーマンスを実現するために構築された NoSQL ドキュメントデータベースです。

Firestore

バッチパイプラインで Cloud Firestore から読み取ります。

Firestore

バッチパイプラインとストリーミングパイプラインで Cloud Firestore に書き込むプラグイン。

このシンクプラグインは、Cloud Storage のディレクトリにある 1 つ以上のファイルに、CSV、Avro、Parquet、JSON などのさまざまな形式でレコードを書き込みます。

このソースプラグインは、Cloud Storage バケット内のパスからオブジェクトを読み取ります。

Cloud Storage 引数セッター

Cloud Storage ファイルから読み取りを行い、パイプラインに設定する引数を取得します。

Cloud Storage の削除

このプラグインは、Cloud Storage バケット内のオブジェクトを削除します。

Cloud Storage のコピー

このプラグインは、Cloud Storage バケット間でオブジェクトをコピーします。単一のオブジェクトをコピーするか、オブジェクトのディレクトリをコピーできます。

Cloud Storage の作成

このプラグインは、Cloud Storage バケットにオブジェクトを作成します。

Cloud Storage 完了ファイルマーカー

パイプラインの完了、成功、失敗時に、指定された Cloud Storage バケットに空の DONE（または SUCCESS）ファイルを作成し、依存するプロセスをオーケストレートします。

Cloud Storage の移動

このプラグインは、Cloud Storage バケット間でオブジェクトを移動します。単一のオブジェクトを移動することも、オブジェクトのディレクトリを移動することもできます。

Cloud Storage の複数ファイル

このプラグインは、MultiTableDatabase ソースと組み合わせて使用し、複数のデータベースのレコードを別々のディレクトリに書き込みます。

Cloud DLP 復号

あらかじめ Cloud Data Loss Prevention（DLP）によって暗号化されていたセンシティブデータを、Format Preserving Encryption などの可逆暗号化変換を使用して復号します。

Cloud Data Loss Prevention（DLP）API を使用して、機密レコードをユーザー定義のテンプレートと一致するかどうかに基づいて分離します。

Cloud DLP の削除

Cloud Data Loss Prevention（DLP）を使用して、定義済みの DLP フィルタまたはカスタムのユーザー定義のテンプレートと照合して、機密レコードを削除します。

Google Drive API を介して、指定した Google ドライブディレクトリからファイルを読み取ります。

シンクプラグインは、Google Drive API を介してパイプラインから Google ドライブディレクトリにファイルを保存します。

指定した Google ドライブディレクトリにスプレッドシートを書き込みます。

指定した Google ドライブディレクトリからスプレッドシートを読み取ります。

Pub/Sub

このシンクは、ストリーミングパイプラインの Pub/Sub トピックに書き込みます。

Pub/Sub

このソースは、Pub/Sub サブスクリプションからリアルタイムで読み取りを行います。

このシンクは Cloud Spanner テーブルに書き込みます。

このソースは、Cloud Spanner テーブルから読み取ります。

音声入力

このプラグインは、Speech-to-Text を使用して音声ファイルをテキストに変換します。

集計

平均、カウント、カウント（*）、最初、最後、最大、最小、合計、収集などの関数（テーブル結合を含む）を集約するプラグイン。

グループ条件

1 つ以上のフィールドでグループ化し、平均、カウント、カウント（*）、最初、最後、最大、最小、合計、収集などの集計関数をグループごとに実行します。

Joiner

結合キーに基づいて、1 つ以上の入力レコードからレコードを結合します。出力フィールドの内部結合と外部結合、選択、名前変更をサポートしています。

上位 N

プラグイン設定で指定された条件に基づいて、入力セットから上位「n」個のレコードを返します。

ウィンドウ集計

データのウィンドウに集計関数を適用します。

アラート

アラートのプラグイン。

Email

パイプライン実行の終了時にメールを送信します。

SendGrid によるメール

パイプライン実行の終了時にメールを送信するアクション。

Cloud Storage 完了ファイルマーカー

パイプラインの完了、成功、失敗時に、指定された Cloud Storage バケットに空の DONE（または SUCCESS）ファイルを作成し、依存するプロセスをオーケストレートします。

HTTP コールバック

パイプライン実行の終了時に HTTP リクエストを実行します。

Kafka アラートパブリッシャー

アラートを JSON オブジェクトとして Kafka に公開できる Kafka アラートパブリッシャー。

パイプライン実行の終了時に MariaDB クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

パイプライン実行の終了時に Netezza クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

パイプライン実行の終了時に Oracle クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

パイプライン実行の終了時に PostgreSQL クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

パイプライン実行の終了時に SQL Server クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

パイプライン実行の終了時に Teradata クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

TMS

アラートを JSON オブジェクトとして CDAP Transactional Messaging System（TMS）にパブリッシュします。

Apache

Apache 用のプラグイン。

Cassandra

Apache Cassandra にデータを書き込むバッチシンク。

Cassandra

Apache Cassandra から読み取るバッチソース。

1 つのフィールドは行キーにマッピングし、その他のすべてのレコードフィールドは列修飾子にマッピングして、レコードを HBase テーブルに書き込みます。

HBase テーブルの列ファミリーから読み取るバッチソース。

Hive 一括エクスポート

Hive エクスポートは選択クエリを入力として使用し、Hive テーブルでそのクエリを実行して結果を指定の場所に保存します。

Hive 一括インポート

Hive の読み込みステートメントを使用して、ディレクトリ/ファイルから Hive テーブルにデータを読み込みます。

アラートを JSON オブジェクトとして Kafka に公開できる Kafka アラートパブリッシャー。

Kafka アラートパブリッシャー

Kafka コンシューマー

バッチパイプラインで Apache Kafka からイベントを読み取る Kafka バッチソース。

Kafka コンシューマー

ストリーミングパイプラインで Apache Kafka からイベントを読み取る Kafka ストリーミングソース。

Kafka プロデューサー

イベントを CSV または JSON で Kafka に書き込むことができる Kafka シンク。

クーズー

Apache Kudu にデータを取り込むための CDAP プラグイン。プラグインは、バッチパイプラインとリアルタイムパイプラインの両方に構成できます。

クーズー

Apache Kudu テーブルからデータを読み取るための CDAP プラグイン。

PySpark プログラム

ユーザーが指定した Spark コードを Python で実行します。

Repartitioner

このプラグインは、Spark RDD を再パーティショニングします。

Scala Spark コンピューティング

RDD をすべての Spark 機能へのフルアクセス権を持つ RDD に変換する Scala でユーザー提供の Spark コードを実行します。

Scala Spark プログラム

Scala でユーザー提供の Spark コードを実行します。

Spark

すべての Spark 機能へのフルアクセス権を持つ入力 RDD または Dataframe で動作する Scala でユーザー提供の Spark コードを実行します。

ウェブサーバーのログパーサー

任意の入力ソースからのログを解析し、URI、IP、ブラウザ、デバイス、HTTP ステータスコード、タイムスタンプなどの関連情報を取得します。

API

各種 API 用のプラグイン。

Anaplan

Anaplan モデルからデータパイプラインにデータを読み込むためのソースプラグイン。

Anaplan

CDAP から Anaplan サーバーへのデータのインポートをサポートするシンクプラグイン。

Anaplan 関数

指定された Anaplan モデルで事前定義されたアクション/プロセスを実行します。これはデータのインポートとエクスポートの準備に最もよく使用されます。

Facebook 広告

バッチパイプラインで Facebook Insights API から広告データを読み取ります。

GitHub

バッチパイプラインで GitHub から読み取ります。

Google 広告の複数のレポート

バッチパイプラインで Google 広告アカウントからすべての Google 広告レポートを読み取ります。

Google 広告の単一のレポート

バッチパイプラインで Google 広告アカウントから指定されたレポートタイプを読み取ります。

Google アナリティクスバッチ

バッチパイプラインで Google アナリティクス 360 から読み取ります。

Google アナリティクスのストリーミング

ストリーミングパイプラインで Google アナリティクス 360 から読み取ります。

Google Drive API を介して、指定した Google ドライブディレクトリからファイルを読み取ります。

シンクプラグインは、Google Drive API を介してパイプラインから Google ドライブディレクトリにファイルを保存します。

Google Search Console

バッチパイプラインで Google Search Console から読み取ります。

指定した Google ドライブディレクトリにスプレッドシートを書き込みます。

指定した Google ドライブディレクトリからスプレッドシートを読み取ります。

HTTP

バッチパイプラインで HTTP/HTTPS API から、JSON、XML、CSV、TSV、TEXT、BLOB 形式のデータを読み取ります。

HTTP

パイプラインから外部 http エンドポイントにメッセージを送信するためのシンクプラグイン。

HTTP コールバック

パイプライン実行の終了時に HTTP リクエストを実行します。

HTTP ポーラー

指定された間隔で特定の URL からデータを取得し、結果を次のプラグインに渡すストリーミングソースです。

HTTP ストリーミング

ストリーミングパイプラインで HTTP/HTTPS API から JSON、XML、CSV、TSV、TEXT、BLOB 形式のデータを読み取ります。

バッチパイプラインとストリーミングパイプラインで HubSpot CRM にデータを書き込むプラグイン。

ストリーミングパイプラインで HubSpot CRM からデータを読み取ります。

バッチパイプラインで HubSpot CRM からデータを読み取ります。

このソースは Salesforce から商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどの sObject を一括して読み取ります。

このソースは Salesforce sObject の更新を追跡します。sObject の例としては、商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどがあります。

商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどの sObject を Salesforce に挿入するバッチシンク。

このソースは、商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどのSalesforce sObject の更新を追跡します。

このシンクは SFMC API とのサーバー間統合を介して、Salesforce Marketing Cloud（SFMC）データエクステンションにレコードを挿入します。

Salesforce マルチオブジェクト

このソースは、Salesforce から複数の sObject を読み取ります。マルチシンクと組み合わせて使用することが推奨されます。

ServiceNow

ServiceNow 内の 1 つまたは複数のテーブルから読み取ります。

音声入力

このプラグインは、Speech-to-Text を使用して音声ファイルをテキストに変換します。

Splunk

ストリーミングパイプラインで Splunk から読み取ります。

Splunk

バッチパイプラインで Splunk から読み取ります。

Zendesk

記事コメント、投稿コメント、リクエストコメント、チケットコメント、グループ、組織、満足度評価、タグ、チケットフィールド、チケット指標、チケット指標イベント、チケット、ユーザーなどのオブジェクトを Zendesk から読み取ります。

Zendesk マルチオブジェクト

Zendesk から複数のオブジェクトを読み取り、特定の宛先にルーティングするマルチソース。マルチシンクと組み合わせて使用することが推奨されます。

Zuora

バッチパイプラインとストリーミングパイプラインで Zuora にデータを書き込むプラグイン。

Zuora

バッチパイプラインで Zuora からデータを読み取ります。

Avro

Avro 用のプラグイン。

さまざまな形式のファイルシステムに書き込みます。

このソースは、分散ファイルシステムからの読み取りが必要になるときに使用されます。

Cloud Storage のディレクトリにある 1 つ以上のファイルに、CSV、Avro、Parquet、JSON などのさまざまな形式でレコードを書き込みます。

AWS

AWS で利用可能なプラグイン。

このソースは、Amazon S3 からの読み取りが必要になるときに使用されます。

このシンクは、さまざまな形式で Amazon S3 に書き込むために使用されます。

Amazon S3 クライアント

このアクションは、パイプラインの実行の前後に S3 バケットやオブジェクトを操作するために使用されます。

Kinesis シンク

指定された Amazon Kinesis ストリームに出力する Kinesis シンク。

Kinesis ソース

AWS Kinesis ストリームから読み取る Spark ストリーミングソース。

Redshift から S3 へのアクションは、AWS で UNLOAD コマンドを実行し、クエリの結果を Redshift から Amazon S3 上の 1 つ以上のファイルに保存します。

AWS S3 バケットから AWS Redshift テーブルにデータを読み込む S3 から Redshift へのアクション。

クレンジング

クレンジング用のプラグイン。

Deduplicate

1 つ以上のフィールドを使用するか、レコード全体を使用して、レコードの重複除去を行います。また、フィルタフィールドに基づいて重複するレコードから 1 つのレコードを論理的に選択することもできます。サポートされている論理関数は max、min、first、last です。

Distinct

入力レコードの重複を除去し、すべての出力レコードを別個に識別できるようにします。

高速フィルタ

指定した条件に基づいてメッセージを除外します。

Cloud Data Loss Prevention（DLP）API を使用して、機密レコードをユーザー定義のテンプレートと一致するかどうかに基づいて分離します。

Wrangler

インタラクティブな UI を介して生成されたデータ変換ディレクティブ、またはデータレコードに手動で生成されたデータ変換ディレクティブを適用します。

Cloud Storage

クラウドストレージで使用可能なプラグイン。

このソースは、Amazon S3 からの読み取りが必要になるときに使用されます。

Azure Blob Store

Microsoft Azure Blob Storage をソースとして使用するバッチソース。

Azure Decompress

Azure Decompress Action プラグインは、Azure Storage Blob サービス上のコンテナから別のコンテナに gz ファイルを解凍します。

Cloud Storage から Snowflake へ

Cloud Storage の外部ステージまたは内部ステージのファイルから既存の Snowflake テーブルにデータを読み込みます。

このシンクプラグインは、Cloud Storage のディレクトリにある 1 つ以上のファイルに、CSV、Avro、Parquet、JSON などのさまざまな形式でレコードを書き込みます。

Cloud Storage バケット内のパスからオブジェクトを読み取ります。

Cloud Storage 引数セッター

Cloud Storage ファイルから読み取りを行い、パイプラインに設定する引数を取得します。

Cloud Storage の削除

このプラグインは、Cloud Storage バケット内のオブジェクトを削除します。

Cloud Storage のコピー

このプラグインは、Cloud Storage バケット間でオブジェクトをコピーします。単一のオブジェクトをコピーするか、オブジェクトのディレクトリをコピーできます。

Cloud Storage の作成

このプラグインは、Cloud Storage バケットにオブジェクトを作成します。

Cloud Storage の移動

このプラグインは、Cloud Storage バケット間でオブジェクトを移動します。単一のオブジェクトを移動することも、オブジェクトのディレクトリを移動することもできます。

Cloud Storage の複数ファイル

このプラグインは、MultiTableDatabase ソースと組み合わせて使用し、複数のデータベースのレコードを別々のディレクトリに書き込みます。

Cloud Storage 完了ファイルマーカー

パイプラインの完了、成功、失敗時に、指定された Cloud Storage バケットに空の DONE（または SUCCESS）ファイルを作成し、依存するプロセスをオーケストレートします。

Microsoft Azure の削除

このアクションプラグインは Azure Storage Blob サービス上のコンテナを削除します。

Snowflake から Cloud Storage へ

Snowflake テーブルから内部または外部の Cloud Storage ロケーション（ステージ）にデータをアンロードします。

コード

独自のコードを実行するためのプラグイン。

JavaScript

ユーザー提供の JavaScript を実行して、1 つのレコードを 0 個以上のレコードに変換します。

PySpark プログラム

ユーザーが指定した Spark コードを Python で実行します。

Python エバリュエータ

ユーザー提供の Python コードを実行して、入力レコードを変換します。入力レコードは Python 辞書として利用できます。

Scala Spark コンピューティング

RDD をすべての Spark 機能へのフルアクセス権を持つ RDD に変換する Scala でユーザー提供の Spark コードを実行します。

Scala Spark プログラム

Scala でユーザー提供の Spark コードを実行します。

Spark

すべての Spark 機能へのフルアクセス権を持つ入力 RDD または Dataframe で動作する Scala でユーザー提供の Spark コードを実行します。

圧縮

圧縮用のプラグイン。

コンプレッサー

SNAPPY、ZIP、GZIP などのさまざまな圧縮アルゴリズムを使用して、構成済みのフィールドを圧縮します。

Azure Decompress

このアクションは、パイプラインでさらに処理を行う前に、アーカイブしたファイルや圧縮したファイル（.zip、.gz、.tar、.tar.gz など）を展開するために使用されます。

フィールド解凍

SNAPPY、ZIP、GZIP などの圧縮アルゴリズムを使用して、構成済みのフィールドを解凍します。

条件次第

パイプラインには、条件形式の制御フロープラグインもあります。条件プラグインを使用すると、指定した条件述部の評価が true か false かに応じて、パイプラインを 2 つの別々のパスに分岐できます。

条件次第

式に基づいてパイプライン内で条件付き実行を可能にする制御フロープラグイン。

エラーコレクタ

前のステージで発生したエラーを収集し、エラーメッセージ、コード、ステージをレコードに追加します。

パイプラインの失敗

最初のレコードを受け取った直後にパイプラインが失敗するバッチシンク。

null フィールドスプリッター

特定のフィールドが null 値のレコードを null ポートに送信し、null 値でないレコードを nonnull ポートに送信します。

解凍

1 つ以上のフィールドの値に対する式の評価に基づいて、レコードを適切なポートにルーティングします。

ユニオンスプリッター

ユニオンスプリッターは、ユニオンスキーマによってデータを分割するために使用されます。これにより、タイプ固有のロジックをダウンストリームで実行できます。

制御フロー

制御フロー用のプラグイン。

Anaplan 関数

指定された Anaplan モデルで事前定義されたアクション/プロセスを実行します。これはデータのインポートとエクスポートの準備に最もよく使用されます。

BigQuery の実行

パイプラインの最初または最後に SQL クエリを実行します。

パイプライン実行の終了時にデータベースクエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

データベースコマンドを実行するアクション。

データベースクエリ

DB2 実行

DB2 コマンドを実行するアクション。

Azure Decompress

このアクションは、パイプラインでさらに処理を行う前に、アーカイブしたファイルや圧縮したファイル（.zip、.gz、.tar、.tar.gz など）を展開するために使用されます。

ファイルコンテンツチェッカー

このアクションプラグインを使用して、ファイルが空であるか、ファイルの内容が指定されたパターンに一致するかどうかを確認できます。

FTP サーバーから指定した宛先にファイルをコピーします。

FTP Put

指定した宛先から FTP サーバーにファイルをコピーします。

Cloud Storage の削除

このプラグインは、Cloud Storage バケット内のオブジェクトを削除します。

Cloud Storage のコピー

このプラグインは、Cloud Storage バケット間でオブジェクトをコピーします。単一のオブジェクトをコピーするか、オブジェクトのディレクトリをコピーできます。

Cloud Storage の作成

このプラグインは、Cloud Storage バケットにオブジェクトを作成します。

Cloud Storage の移動

このプラグインは、Cloud Storage バケット間でオブジェクトを移動します。単一のオブジェクトを移動することも、オブジェクトのディレクトリを移動することもできます。

Oracle のコマンドラインツールを使用して、Oracle からファイルシステムにデータを効率的にエクスポートするアクションプラグイン。

MariaDB 実行

MariaDB コマンドを実行するアクション。

MySQL 実行

MySQL コマンドを実行するアクション。

Netezza 実行

Netezza コマンドを実行するアクション。

Oracle 実行

Oracle コマンドを実行するアクション。

Oracle エクスポート

PostgreSQL 実行

PostgreSQL コマンドを実行するアクション。

Redshift から S3 へのアクションは、AWS で UNLOAD コマンドを実行し、クエリの結果を Redshift から Amazon S3 上の 1 つ以上のファイルに保存します。

リモートプログラムエグゼキュータ

リモートマシンとの SSH 接続を確立して、そのマシンでコマンドを実行します。

AWS S3 バケットから AWS Redshift テーブルにデータを読み込む S3 から Redshift へのアクション。

SFTP コピー

SFTP サーバーの指定したディレクトリから、指定した宛先にファイルをコピーします。

SFTP 削除

SFTP サーバーから指定したファイルを削除するための CDAP アクションプラグイン。

SFTP Put

ファイルシステム（ローカルまたは HDFS）から FTP サーバーにファイルをアップロードします。ファイルの正規表現を使用して、必要なファイルのみをフィルタすることもできます。

Snowflake 実行 SQL

指定した SQL クエリを Snowflake で実行します。

SQL Server の実行

SQL Server コマンドを実行するアクション。

Teradata の実行

Teradata コマンドを実行するアクション。

Windows Share のコピー

1 つまたは複数の Microsoft Windows 共有ファイルをファイルシステムにコピーします。

CRM

Salesforce などの CRM プラットフォーム用のプラグイン。

バッチパイプラインとストリーミングパイプラインで HubSpot CRM にデータを書き込むプラグイン。

ストリーミングパイプラインで HubSpot CRM からデータを読み取ります。

バッチパイプラインで HubSpot CRM からデータを読み取ります。

このソースは Salesforce から商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどの sObject を一括して読み取ります。

商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどの sObject を Salesforce に挿入するバッチシンク。

このソースは Salesforce sObject の更新を追跡します。sObject の例としては、商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどがあります。

このソースは、商談、連絡先、アカウント、見込み顧客、任意のカスタムオブジェクトなどのSalesforce sObject の更新を追跡します。

このシンクは SFMC API とのサーバー間統合を介して、Salesforce Marketing Cloud（SFMC）データエクステンションにレコードを挿入します。

Salesforce マルチオブジェクト

このソースは、Salesforce から複数の sObject を読み取ります。マルチシンクと組み合わせて使用することが推奨されます。

CSV

CSV 用のプラグイン。

CSV フォーマッタ

DELIMITED、EXCEL、MYSQL、RFC4180、TDF などの形式を使用して、CSV レコードへの入力をフォーマットします。

CSV パーサー

DEFAULT、EXCEL、MYSQL、RFC4180、Tab Delimited、Pipe Delimited としてフォーマットされた CSV レコードを構造化レコードに解析します。

さまざまな形式のファイルシステムに書き込みます。

このソースは、分散ファイルシステムからの読み取りが必要になるときに使用されます。

このシンクプラグインは、Cloud Storage のディレクトリにある 1 つ以上のファイルに、CSV、Avro、Parquet、JSON などのさまざまな形式でレコードを書き込みます。

Kafka プロデューサー

イベントを CSV または JSON で Kafka に書き込むことができる Kafka シンク。

データベース

データベース用のプラグイン。

Cloud Bigtable にデータを書き込むバッチシンク。

このソースは、Cloud Bigtable からデータを読み取ります。

データベースコマンドを実行するアクション。

構成可能な SQL クエリを使用して、データベースから読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

レコードをデータベーステーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

データベース引数セッター

リレーショナルデータベーステーブルから読み取りを行い、パイプラインに設定する引数を取得します。

データベースクエリ

パイプライン実行の終了時にデータベースクエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

DB2

構成可能な SQL クエリを使用して DB2 から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

DB2

パイプライン実行の終了時に DB2 クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

DB2 実行

DB2 コマンドを実行するアクション。

IBM DB2

レコードを DB2 テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

MariaDB テーブルにレコードを書き込みます。各レコードがテーブルの 1 行に書き込まれます。

構成可能な SQL クエリを使用して、MariaDB から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

パイプライン実行の終了時に MariaDB クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

MariaDB 実行

MariaDB コマンドを実行するアクション。

マルチデータベーステーブル

データベース内の複数のテーブルから読み取ります。Cloud Storage マルチシンクや BigQuery マルチシンクなどのマルチシンクプラグインを使用して、1 つのパイプラインでデータベース全体からデータを読み込むために使用されます。

MySQL クエリ

パイプライン実行の終了時に MySQL クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

MySQL

レコードを MySQL テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

MySQL

構成可能な SQL クエリを使用して、MySQL インスタンスから読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

MySQL 実行

MySQL コマンドを実行するアクション。

構成可能な SQL クエリを使用して、Oracle テーブルから読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

レコードを Oracle テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

パイプライン実行の終了時に Oracle クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

Oracle 実行

Oracle コマンドを実行するアクション。

Oracle エクスポート

Oracle のコマンドラインツールを使用して、Oracle からファイルシステムにデータを効率的にエクスポートするアクションプラグイン。

構成可能な SQL クエリを使用して PostgreSQL から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

レコードを PostgreSQL テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

パイプライン実行の終了時に PostgreSQL クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

PostgreSQL 実行

PostgreSQL コマンドを実行するアクション。

このシンクは Cloud Spanner テーブルに書き込みます。

このソースは、Cloud Spanner テーブルから読み取ります。

レコードを SQL Server テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

パイプライン実行の終了時に SQL Server クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

構成可能な SQL クエリを使用して、SQL Server から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

SQL Server の実行

SQL Server コマンドを実行するアクション。

Cloud SQL

DB2 はパイプライン実行の終了時に DB2 クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

データウェアハウス

データウェアハウス用のプラグイン。

BigQuery

このソースは、BigQuery テーブルのコンテンツ全体を読み取ります。

BigQuery Argument Setter

BigQuery テーブルから読み取りを行い、パイプラインに設定する引数を取得します。

BigQuery の実行

BigQuery SQL クエリを実行します。

BigQuery の複数テーブル

このシンクは複数の BigQuery テーブルに書き込みます。データはまず Cloud Storage 上の一時的な場所に書き込まれ、そこから BigQuery に読み込まれます。

BigQuery テーブル

このシンクは BigQuery テーブルに書き込みます。データはまず Cloud Storage 上の一時的な場所に書き込まれ、そこから BigQuery に読み込まれます。

Cloud Storage から Snowflake へ

Cloud Storage の外部ステージまたは内部ステージのファイルから既存の Snowflake テーブルにデータを読み込みます。

Hive 一括エクスポート

Hive エクスポートは選択クエリを入力として使用し、Hive テーブルでそのクエリを実行して結果を指定の場所に保存します。

Hive 一括インポート

Hive の読み込みステートメントを使用して、ディレクトリ/ファイルから Hive テーブルにデータを読み込みます。

レコードを Netezza テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

構成可能な SQL クエリを使用して Netezza から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

パイプライン実行の終了時に Netezza クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

Netezza 実行

Netezza コマンドを実行するアクション。

Redshift から S3 へのアクションは、AWS で UNLOAD コマンドを実行し、クエリの結果を Redshift から Amazon S3 上の 1 つ以上のファイルに保存します。

AWS S3 バケットから AWS Redshift テーブルにデータを読み込む S3 から Redshift へのアクション。

SCD2 Spark コンピューティング

指定されたキーでソースレコードをグループ化し、そのソースの開始日と終了日（有効期限）を生成することによって、レコードの SCD2 表現を作成します。

Snowflake

バッチパイプラインで Snowflake テーブルにデータを書き込みます。

Snowflake

バッチパイプラインで Snowflake テーブルからデータを読み取ります。

Snowflake 実行 SQL

指定した SQL クエリを Snowflake で実行します。

Snowflake から Cloud Storage へ

Snowflake テーブルから内部または外部の Cloud Storage ロケーション（ステージ）にデータをアンロードします。

レコードを Teradata テーブルに書き込みます。各レコードがテーブルの 1 行に書き込まれます。

構成可能な SQL クエリを使用して、Teradata から読み取ります。クエリによって返された行ごとに 1 つのレコードを出力します。

パイプライン実行の終了時に Teradata クエリを実行します。成功時のみ、失敗時のみ、または常に実行の終了時に実行するように構成できます。

Vertica テーブルのデータをファイルに一括エクスポートします。

Teradata コマンドを実行するアクション。

Vertica 一括エクスポートアクション

Vertica 一括インポートアクション

特定のディレクトリ内のすべてのファイルを読み取り、Vertica テーブルにコンテンツを一括インポートします。

DLP

Cloud Data Loss Prevention（DLP）用のプラグイン。

Cloud DLP 復号

あらかじめ Cloud Data Loss Prevention（DLP）によって暗号化されていたセンシティブデータを、Format Preserving Encryption などの可逆暗号化変換を使用して復号します。

Cloud Data Loss Prevention（DLP）API を使用して、機密レコードをユーザー定義のテンプレートと一致するかどうかに基づいて分離します。

Cloud DLP の削除

Cloud Data Loss Prevention（DLP）を使用して、定義済みの DLP フィルタまたはカスタムのユーザー定義のテンプレートと照合して、機密レコードを削除します。

動的

動的プラグイン。

引数セッター

HTTP リクエストを実行して、パイプラインで設定する引数を取得します。

データベース引数セッター

リレーショナルデータベーステーブルから読み取りを行い、パイプラインに設定する引数を取得します。

Cloud Storage 引数セッター

Cloud Storage ファイルから読み取りを行い、パイプラインに設定する引数を取得します。

Email

メール用のプラグイン。

Email

パイプライン実行の終了時にメールを送信します。

SendGrid によるメール

パイプライン実行の終了時にメールを送信するアクション。

SendGrid

SendGrid から既存のマーケティングキャンペーン、メール分析、バウンス、スパムレポートに関するデータを読み取ります。

SendGrid

バッチパイプラインとストリーミングパイプラインでデータを SendGrid に書き込みます。

ファイル

ファイルプラグイン。

CSV フォーマッタ

DELIMITED、EXCEL、MYSQL、RFC4180、TDF などの形式を使用して、CSV レコードへの入力をフォーマットします。

CSV パーサー

DEFAULT、EXCEL、MYSQL、RFC4180、Tab Delimited、Pipe Delimited としてフォーマットされた CSV レコードを構造化レコードに解析します。

さまざまな形式のファイルシステムに書き込みます。

このソースは、分散ファイルシステムからの読み取りが必要になるときに使用されます。

ディレクトリを監視し、ディレクトリに追加された新しいファイルのファイルコンテンツをストリーミングするファイルストリーミングソース。

ファイルアペンダー

このシンクプラグインは、既存のファイルに対して、サイズまたはエージベースのしきい値に達するまで追加します。

ファイルコンテンツチェッカー

このアクションプラグインを使用して、ファイルが空であるか、ファイルの内容が指定されたパターンに一致するかどうかを確認できます。

FTP（ftp://..）または SFTP（sftp://...）から読み取るバッチソース。

FTP コピー

FTP サーバーから指定した宛先にファイルをコピーします。

FTP Put

指定した宛先から FTP サーバーにファイルをコピーします。

PDF エクストラクタ

この変換では、Apache PDF Box ライブラリを利用して、PDF ファイルからテキストとメタデータを抽出します。

Redshift から S3 へのアクションは、AWS で UNLOAD コマンドを実行し、クエリの結果を Redshift から Amazon S3 上の 1 つ以上のファイルに保存します。

このシンクは、さまざまな形式で Amazon S3 に書き込むために使用されます。

AWS S3 バケットから AWS Redshift テーブルにデータを読み込む S3 から Redshift へのアクション。

SFTP コピー

SFTP サーバーの指定したディレクトリから、指定した宛先にファイルをコピーします。

SFTP 削除

SFTP サーバーから指定したファイルを削除するための CDAP アクションプラグイン。

SFTP Put

ファイルシステム（ローカルまたは HDFS）から FTP サーバーにファイルをアップロードします。ファイルの正規表現を使用して、必要なファイルのみをフィルタすることもできます。

フィルタ

フィルタプラグイン

Deduplicate

1 つ以上のフィールドを使用するか、レコード全体を使用して、レコードの重複除去を行います。また、フィルタフィールドに基づいて重複するレコードから 1 つのレコードを論理的に選択することもできます。サポートされている論理関数は max、min、first、last です。

Distinct

入力レコードの重複を除去し、すべての出力レコードを別個に識別できるようにします。

高速フィルタ

指定した条件に基づいてメッセージを除外します。

Cloud Data Loss Prevention（DLP）API を使用して、機密レコードをユーザー定義のテンプレートと一致するかどうかに基づいて分離します。

null フィールドスプリッター

特定のフィールドが null 値のレコードを null ポートに送信し、null 値でないレコードを nonnull ポートに送信します。

サンプリング

このプラグインを介して大規模なデータセットをサンプリングし、体系的サンプリングまたは Reservoir サンプリングを使用してランダムなレコードを pull します。

上位 N

プラグイン設定で指定された条件に基づいて、入力セットから上位「n」個のレコードを返します。

FTP

FTP プラグイン。

FTP

FTP（ftp://..）または SFTP（sftp://...）から読み取るバッチソース。

FTP コピー

FTP サーバーから指定した宛先にファイルをコピーします。

FTP Put

指定した宛先から FTP サーバーにファイルをコピーします。

SFTP コピー

SFTP サーバーの指定したディレクトリから、指定した宛先にファイルをコピーします。

SFTP 削除

SFTP サーバーから指定したファイルを削除するための CDAP アクションプラグイン。

SFTP Put

ファイルシステム（ローカルまたは HDFS）から FTP サーバーにファイルをアップロードします。ファイルの正規表現を使用して、必要なファイルのみをフィルタすることもできます。

Google 広告

Google 広告用のプラグイン。

Google 広告の複数のレポート

バッチパイプラインで Google 広告アカウントからすべての Google 広告レポートを読み取ります。

Google 広告の単一のレポート

バッチパイプラインで Google 広告アカウントから指定されたレポートタイプを読み取ります。

Google Search Console

バッチパイプラインで Google Search Console から読み取ります。

Google アナリティクス 360

Google アナリティクス 360 用のプラグイン。

Google アナリティクスバッチ

バッチパイプラインで Google アナリティクス 360 から読み取ります。

Google アナリティクスのストリーミング

ストリーミングパイプラインで Google アナリティクス 360 から読み取ります。

Google Workspace

Google スプレッドシートや Google ドライブなどの Google Workspace 用のプラグイン。

Google Drive API を介して、指定した Google ドライブディレクトリからファイルを読み取ります。

シンクプラグインは、Google Drive API を介してパイプラインから Google ドライブディレクトリにファイルを保存します。

指定した Google ドライブディレクトリからスプレッドシートを読み取ります。

指定した Google ドライブディレクトリにスプレッドシートを書き込みます。

Hadoop

Hadoop 用のプラグイン。

1 つのフィールドは行キーにマッピングし、その他のすべてのレコードフィールドは列修飾子にマッピングして、レコードを HBase テーブルに書き込みます。

HBase テーブルの列ファミリーから読み取るバッチソース。

Hive 一括エクスポート

Hive エクスポートは選択クエリを入力として使用し、Hive テーブルでそのクエリを実行して結果を指定の場所に保存します。

Hive 一括インポート

Hive の読み込みステートメントを使用して、ディレクトリ/ファイルから Hive テーブルにデータを読み込みます。

HDFS に格納されている XML ファイルをユーザーが読み取れるようにするソースプラグインです。

HDFS

HDFS 用のプラグイン。

XML Reader