跳转到

Cloud Data Fusion 插件

Cloud Data Fusion 插件

插件是可自定义的模块，可用于扩展 Cloud Data Fusion 的功能。以下是 Cloud Data Fusion 中可用插件的完整列表，不过您也可以使用插件 API 构建自己的插件。

与我们联系 与我们联系

最热门

快速探索和访问最受欢迎的 Cloud Data Fusion 插件。

BigQuery

此来源会读取 BigQuery 表的全部内容。

BigQuery Multi Table

此接收器会向多个 BigQuery 表写入数据。数据会先写入 Cloud Storage 上的某个临时位置，然后从那里加载到 BigQuery 中。

BigQuery 表

此接收器会向 BigQuery 表写入数据。数据会先写入 Cloud Storage 上的某个临时位置，然后从那里加载到 BigQuery 中。

Cloud Storage

此来源插件会从 Cloud Storage 存储桶中的某个路径读取对象。

Cloud Storage

此接收器插件以多种格式（例如 CSV、Avro、Parquet 和 JSON）将记录写入某个 Cloud Storage 目录中的一个或多个文件。

Multi Database Table

从数据库内的多个表中读取数据。与 Cloud Storage 多接收器和 BigQuery 多接收器等多接收器插件配合使用，从而在单个流水线中加载整个数据库的数据。

MySQL

使用可配置的 SQL 查询从 MySQL 实例中读取数据。为查询返回的每一行输出一条记录。

Oracle

使用可配置的 SQL 查询从 Oracle 表中读取数据。为查询返回的每一行输出一条记录。

Salesforce

此来源会从 Salesforce 中批量读取 sObject，例如商机、联系人、帐号、潜在客户、任何自定义对象等。

SAP ODP

连接到 SAP 来源，通过操作数据预配 (ODP) 提取批量数据和增量数据。

SQL Server

使用可配置的 SQL 查询从 SQL Server 中读取数据。为查询返回的每一行输出一条记录。

Google Cloud

查看适用于 Google Cloud 产品的所有插件，这些产品包括 Cloud Storage、BigQuery、Cloud Bigtable、Datastore、Pub/Sub 和 Google Workspace。

BigQuery

此来源会读取 BigQuery 表的全部内容。

BigQuery Argument Setter

从 BigQuery 表中读取内容，以提取要在流水线中设置的参数。

BigQuery Execute

此插件会执行 BigQuery SQL 查询。

BigQuery Multi Table

此接收器会向多个 BigQuery 表写入数据。数据会先写入 Cloud Storage 上的某个临时位置，然后从那里加载到 BigQuery 中。

BigQuery 表

此接收器会向 BigQuery 表写入数据。数据会先写入 Cloud Storage 上的某个临时位置，然后从那里加载到 BigQuery 中。

Cloud Bigtable

此批处理接收器将数据写入 Cloud Bigtable。

Cloud Bigtable

此来源会从 Cloud Bigtable 中读取数据。

Datastore

此来源从 Datastore 中读取数据。Datastore 是一个 NoSQL 文档数据库，能够自动扩缩并且具备出色的性能。

Datastore

此接收器会将数据写入 Cloud Datastore。Datastore 是一个 NoSQL 文档数据库，能够自动扩缩并且具备出色的性能。

Firestore

在批处理流水线中从 Cloud Firestore 内读取数据。

Firestore

此插件用于在批处理和流式处理流水线中向 Cloud Firestore 写入数据。

Cloud Storage

此接收器插件以多种格式（例如 CSV、Avro、Parquet 和 JSON）将记录写入某个 Cloud Storage 目录中的一个或多个文件。

Cloud Storage

此来源插件会从 Cloud Storage 存储桶中的某个路径读取对象。

Cloud Storage Argument Setter

从 Cloud Storage 文件中读取数据，以提取要在流水线中设置的参数。

Cloud Storage Delete

此插件可删除 Cloud Storage 存储桶中的对象。

Cloud Storage Copy

此插件可将对象从一个 Cloud Storage 存储桶复制到另一个。您可以复制单个对象，也可以复制包含多个对象的目录。

Cloud Storage Create

此插件在 Cloud Storage 存储桶中创建对象。

Cloud Storage Done File Marker

在流水线完成、成功或失败时，在给定的 Cloud Storage 存储桶中创建空的 DONE（或 SUCCESS）文件，以编排相关流程。

Cloud Storage Move

此插件可将对象从一个 Cloud Storage 存储桶移至另一个存储桶。您可以移动单个对象，也可以移动包含多个对象的目录。

Cloud Storage Multi FIle

此插件与 MultiTableDatabase 来源配合使用，可将多个数据库中的记录分别写入单独的目录。

Cloud DLP Decrypt

使用可逆转的加密转换（例如格式保留加密），解密先前由 Cloud Data Loss Prevention (DLP) 加密的敏感数据。

Cloud DLP PII Filter

使用 Cloud Data Loss Prevention (DLP) API，根据与用户定义模板的匹配情况将敏感记录区分开来。

Cloud DLP Redact

通过匹配某些预定义的 DLP 过滤条件或某个自定义的用户定义模板，使用 Cloud Data Loss Prevention (DLP) 隐去敏感记录。

Google 云端硬盘

通过 Google Drive API 从指定 Google 云端硬盘目录中读取文件。

Google 云端硬盘

该接收器插件通过 Google Drive API 将文件从流水线保存到 Google 云端硬盘目录。

Google 表格

将电子表格写入指定 Google 云端硬盘目录。

Google 表格

从指定 Google 云端硬盘目录中读取电子表格。

Pub/Sub

此接收器会在流式处理流水线中向一个 Pub/Sub 主题写入数据。

Pub/Sub

此来源会实时从 Pub/Sub 订阅中读取数据。

Spanner

此接收器会向 Cloud Spanner 表写入数据。

Spanner

此来源从 Cloud Spanner 表中读取数据。

Speech To Text

此插件使用 Speech-to-Text 将音频文件转换为文字。

汇总

用于各类聚合函数的插件，例如 avg、count、count(*)、first、last、max、min、sum、collect（包括表联接相关函数）等。

分组依据

按一个或多个字段分组，然后针对每个组执行聚合函数，如 avg、count、count(*)、first、last、max、min、sum 和 collect。

Joiner

基于联接键，联接来自一个或多个输入的记录。支持输出字段的内部和外部联接、选择和重命名。

Top N

Top N 会根据插件配置中指定的条件，返回输入集中的前“n”条记录。

Window Aggregation

对数据窗口应用聚合函数。

提醒

用于提醒的插件。

电子邮件

在流水线运行结束时发送电子邮件。

Email by SendGrid

在流水线运行结束时发送电子邮件的操作。

Cloud Storage Done File Marker

在流水线完成、成功或失败时，在给定的 Cloud Storage 存储桶中创建空的 DONE（或 SUCCESS）文件，以编排相关流程。

HTTP Callback

在流水线运行结束时执行 HTTP 请求。

Kafka Alert Publisher

Kafka Alert Publisher 允许您将提醒以 JSON 对象的形式发布到 Kafka。

MariaDB

在流水线运行结束时运行 MariaDB 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Netezza

在流水线运行结束时运行 Netezza 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Oracle

在流水线运行结束时运行 Oracle 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

PostgreSQL

在流水线运行结束时运行 PostgreSQL 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

SQL Server

在流水线运行结束时运行 SQL Server 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

TeraData

在流水线运行结束时运行 Teradata 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

TMS

将提醒以 JSON 对象的形式发布到 CDAP 事务性消息传递系统 (TMS)。

Apache

用于 Apache 的插件。

Cassandra

此批处理接收器将数据写入 Apache Cassandra。

Cassandra

此批处理来源从 Apache Cassandra 读取数据。

HBase

将记录写入一个 HBase 表，其中有一个字段映射到行键，所有其他记录字段映射到列限定符。

HBase

此批处理来源从 HBase 表中的一个列族读取数据。

Hive Bulk Export

Hive Export 会将选定查询作为输入，以在 Hive 表上运行该查询，并将结果存储在指定位置。

Hive Bulk Import

使用 Hive Load 语句，将目录/文件中的数据导入 Hive 表。

HTTP to HDFS

执行从某个外部 http 端点提取数据，并在 HDFS 中创建文件的操作。

Kafka Alert Publisher

Kafka Alert Publisher 允许您将提醒以 JSON 对象的形式发布到 Kafka。

Kafka Consumer

此 Kafka 批处理来源在批处理流水线中从 Apache Kafka 读取事件。

Kafka Consumer

此 Kafka 流式处理来源从流式处理流水线中读取 Apache Kafka 事件。

Kafka Producer

此 Kafka 接收器允许您将事件以 CSV 或 JSON 形式写入 Kafka。

Kudu

此 CDAP 插件用于将数据提取到 Apache Kudu。可以为批处理和实时流水线配置插件。

Kudu

此 CDAP 插件用于从 Apache Kudu 表读取数据。

PySpark Program

在 Python 中执行由用户提供的 Spark 代码。

Repartitioner

此插件会重新对 Spark RDD 进行分区。

Scala Spark Compute

在 Scala 中执行由用户提供的 Spark 代码，它将 RDD 转换为 RDD，并且拥有对所有 Spark 功能的完整访问权限。

Scala Spark Program

在 Scala 中执行由用户提供的 Spark 代码。

Spark

在 Scala 中执行用由户提供的 Spark 代码，它对输入 RDD 或 DataFrame 执行操作，并且拥有对所有 Spark 功能的完整访问权限。

Webserver Log Parser

解析来自任何输入来源的日志，以便获取相关信息，例如 URI、IP、浏览器、设备、HTTP 状态代码和时间戳。

API

用于各种 API 的插件。

Anaplan

此来源插件用于将 Anaplan 模型中的数据加载到数据流水线。

Anaplan

此接收器插件用于将数据从 CDAP 导入 Anaplan 服务器。

Anaplan Function

执行在给定 Anaplan 模型中预定义的操作/流程。这通常用于为数据导入和导出做准备。

Facebook Ads

在批处理流水线中，通过 Facebook Insights API 读取广告数据。

GitHub

在批处理流水线中从 GitHub 中读取数据。

Google Ads Multiple Reports

在批处理流水线中，从 Google Ads 帐号读取所有 Google Ads 报告。

Google Ads Single Report

在批处理流水线中，从 Google Ads 帐号读取指定的报告类型。

Google Analytics Batch

在批处理流水线中，从 Google Analytics 360 读取数据。

Google Analytics Streaming

在流式处理流水线中，从 Google Analytics 360 读取数据。

Google 云端硬盘

通过 Google Drive API 从指定 Google 云端硬盘目录中读取文件。

Google 云端硬盘

该接收器插件通过 Google Drive API 将文件从流水线保存到 Google 云端硬盘目录。

Google Search Console

在批处理流水线中，从 Google Search Console 中读取数据。

Google 表格

将电子表格写入指定 Google 云端硬盘目录。

Google 表格

从指定 Google 云端硬盘目录中读取电子表格。

HTTP

在批处理流水线中，通过 HTTP/HTTPS API 读取 JSON、XML、CSV、TSV、TEXT 和 BLOB 格式的数据。

HTTP

此接收器插件可从流水线将消息发送到外部 HTTP 端点。

HTTP Callback

在流水线运行结束时执行 HTTP 请求。

HTTP Poller

这是一个流式处理来源，将按指定时间间隔从指定网址提取数据，并将结果传递给下一个插件。

HTTP Streaming

在流式处理流水线中，通过 HTTP/HTTPS API 读取 JSON、XML、CSV、TSV、TEXT 和 BLOB 格式的数据。

HTTP to HDFS

执行从某个外部 http 端点提取数据，并在 HDFS 中创建文件的操作。

HubSpot

此插件用于在批处理和流式处理流水线中将数据写入 HubSpot CRM。

HubSpot

在流式处理流水线中，从 HubSpot CRM 读取数据。

HubSpot

在批处理流水线中，从 HubSpot CRM 读取数据。

Salesforce

此来源会从 Salesforce 中批量读取 sObject，例如商机、联系人、帐号、潜在客户、任何自定义对象等。

Salesforce

此来源可跟踪 Salesforce sObject 中的更新内容。sObject 示例包括商机、联系人、帐号、潜在客户、任何自定义对象等。

Salesforce

此批量接收器将 sObject（如商机、联系人、帐号、潜在客户、任何自定义对象等）插入 Salesforce。

Salesforce Marketing Cloud

此来源可跟踪 Salesforce 中的 sObject 更新，例如商机、联系人、帐号、潜在客户、任何自定义对象等。

Salesforce Marketing Cloud

此接收器通过与 SFMC API 的服务器到服务器集成，将记录插入 Salesforce Marketing Cloud (SFMC) 数据扩展。

Salesforce Multi Objects

此来源从 Salesforce 读取多个 sObject。它应与多接收器配合使用。

ServiceNow

从 ServiceNow 中的一个或多个表读取数据。

Speech To Text

此插件使用 Speech-to-Text 将音频文件转换为文字。

Splunk

在流式处理流水线中，从 Splunk 读取数据。

Splunk

在批处理流水线中，从 Splunk 读取数据。

Zendesk

从 Zendesk 读取各种对象，例如文章评论、帖子评论、请求评论、工单评论、群组、组织、满意度评分、标签、工单字段、工单指标、工单指标事件、工单、用户。

Zendesk Multi Objects

此多来源插件从 Zendesk 读取多个对象，并将其路由到特定目的地。它应与多接收器结合使用。

Zuora

此插件用于在批处理和流式处理流水线中将数据写入 Zuora。

Zuora

在批处理流水线中，从 Zuora 读取数据。

Avro

用于 Avro 的插件。

文件

以各种格式向文件系统写入数据。

文件

在您需要从分布式文件系统中读取数据时，即可使用此来源。

Cloud Storage

以多种格式（例如 CSV、Avro、Parquet 和 JSON）将记录写入某个 Cloud Storage 目录中的一个或多个文件。

AWS

用于 AWS 的插件。

Amazon S3

当您需要从 Amazon S3 读取数据时，即可使用此来源。

Amazon S3

此接收器用于以各种格式向 Amazon S3 写入数据。

Amazon S3 Client

Amazon S3 客户端操作用于在流水线执行前后处理 S3 存储桶和对象。

Kinesis Sink

此 Kinesis 接收器输出到指定 Amazon Kinesis 流。

Kinesis Source

此 Spark 流式处理来源从 AWS Kinesis 流中读取数据。

Redshift to S3

此 Redshift To S3 操作会在 AWS 上运行 UNLOAD 命令，将 Redshift 的查询结果保存到 Amazon S3 上的一个或多个文件中。

S3 to Redshift

此 S3 To Redshift 操作可将 AWS S3 存储桶中的数据加载到 AWS Redshift 表中。

清理

用于清理的插件。

Deduplicate

使用一个或多个字段或使用完整记录的形式删除重复的记录。此外，它还支持根据一个过滤条件字段，从重复记录中合理地选择记录。支持的逻辑函数包括 max、min、first 和 last。

Distinct

删除重复的输入记录，以保证所有输出记录均不重复。

Fast Filter

根据指定条件筛选掉一些消息。

Cloud DLP PII Filter

使用 Cloud Data Loss Prevention (DLP) API，根据与用户定义模板的匹配情况将敏感记录区分开来。

Wrangler

此插件将通过交互式界面或手动方式生成的数据转换指令应用于您的数据记录。

Cloud Storage

可用于云端存储空间的插件。

Amazon S3

当您需要从 Amazon S3 读取数据时，即可使用此来源。

Azure Blob Store

此批处理来源使用 Microsoft Azure Blob Storage 作为来源。

Azure Decompress

Azure Decompress 操作插件将 Azure Storage Blob 服务中一个容器内的 gz 文件解压缩到另一个容器中。

Cloud Storage to Snowflake

将 Cloud Storage 上外部或内部暂存文件中的数据加载到一个现有 Snowflake 表。

Cloud Storage

此接收器插件以多种格式（例如 CSV、Avro、Parquet 和 JSON）将记录写入某个 Cloud Storage 目录中的一个或多个文件。

Cloud Storage

此插件会从 Cloud Storage 存储桶中的某个路径读取对象。

Cloud Storage Argument Setter

从 Cloud Storage 文件中读取数据，以提取要在流水线中设置的参数。

Cloud Storage Delete

此插件可删除 Cloud Storage 存储桶中的对象。

Cloud Storage Copy

此插件可将对象从一个 Cloud Storage 存储桶复制到另一个。您可以复制单个对象，也可以复制包含多个对象的目录。

Cloud Storage Create

此插件在 Cloud Storage 存储桶中创建对象。

Cloud Storage Move

此插件可将对象从一个 Cloud Storage 存储桶移至另一个存储桶。您可以移动单个对象，也可以移动包含多个对象的目录。

Cloud Storage Multi FIle

此插件与 MultiTableDatabase 来源配合使用，可将多个数据库中的记录分别写入单独的目录。

Cloud Storage Done File Marker

在流水线完成、成功或失败时，在给定的 Cloud Storage 存储桶中创建空的 DONE（或 SUCCESS）文件，以编排相关流程。

Microsoft Azure Delete

Azure Delete 操作插件可删除 Azure Storage Blob 服务上的容器。

Snowflake to Cloud Storage

将 Snowflake 表格中的数据分载到内部或外部 Cloud Storage 位置（暂存区）。

代码

用于执行您自己的代码的各种插件。

JavaScript

执行由用户提供的 JavaScript，可将一条记录转换为零条或多条记录。

PySpark Program

在 Python 中执行由用户提供的 Spark 代码。

Python Evaluator

执行由用户提供的 Python 代码，用于转换以 Python 字典形式提供的输入记录。

Scala Spark Compute

在 Scala 中执行由用户提供的 Spark 代码，它将 RDD 转换为 RDD，并且拥有对所有 Spark 功能的完整访问权限。

Scala Spark Program

在 Scala 中执行由用户提供的 Spark 代码。

Spark

在 Scala 中执行用由户提供的 Spark 代码，它对输入 RDD 或 DataFrame 执行操作，并且拥有对所有 Spark 功能的完整访问权限。

压缩

用于压缩的各种插件。

Compressor

使用不同压缩算法（例如 SNAPPY、ZIP 和 GZIP）对已配置的字段进行压缩。

Azure Decompress

解压缩操作用于展开归档文件或压缩文件（.zip、.gz、.tar、.tar、.gz 等），然后在流水线中做进一步处理。

Field Decompresser

使用压缩算法（例如 SNAPPY、ZIP 和 GZIP）解压缩已配置的字段。

条件

流水线还以条件的形式提供控制流插件。借助条件插件，您可以将流水线分为两个单独的路径，具体取决于指定的条件谓词判定结果是 true 还是 false。

条件

这是一个控制流插件，允许根据表达式在流水线中进行有条件的执行。

Error Collector

收集在上一阶段发出的错误，并将一条错误消息、代码和阶段添加到记录中。

Fail Pipeline

此批处理接收器会导致流水线在接收第一条记录后立即失败。

Null Field Splitter

此插件将给定字段的值为 null 的记录发送到 null 端口，并将具有非 null 值的记录发送到非 null 端口。

Decompress

根据对记录的一个或多个字段值进行的表达式求值结果，将此记录路由到相应的端口。

Union Splitter

Union Splitter 用于根据并集架构来拆分数据，以便在下游完成特定于类型的逻辑。

控制流

用于控制流的各种插件。

Anaplan Function

执行在给定 Anaplan 模型中预定义的操作/流程。这通常用于为数据导入和导出做准备。

BigQuery Execute

在流水线的开头或末尾执行 SQL 查询。

数据库

运行一条数据库命令的操作。

Database Query

在流水线运行结束时运行数据库查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

DB2 Execute

运行 DB2 命令的操作。

Azure Decompress

解压缩操作用于展开归档文件或压缩文件（.zip、.gz、.tar、.tar、.gz 等），然后在流水线中做进一步处理。

File Contents Checketer

此操作插件可用于检查文件是否为空，或者文件的内容是否与给定模式匹配。

File Delete

删除一个或多个文件。

File Move

移动一个或多个文件。

FTP Copy

将文件从 FTP 服务器复制到指定目的地。

FTP Put

将文件从指定目的地复制到 FTP 服务器。

Cloud Storage Delete

此插件可删除 Cloud Storage 存储桶中的对象。

Cloud Storage Copy

此插件可将对象从一个 Cloud Storage 存储桶复制到另一个。您可以复制单个对象，也可以复制包含多个对象的目录。

Cloud Storage Create

此插件在 Cloud Storage 存储桶中创建对象。

Cloud Storage Move

此插件可将对象从一个 Cloud Storage 存储桶移至另一个存储桶。您可以移动单个对象，也可以移动包含多个对象的目录。

HTTP to HDFS

执行从某个外部 http 端点提取数据，并在 HDFS 中创建文件的操作。

MariaDB Execute

运行 MariaDB 命令的操作。

MySQL Execute

运行 MySQL 命令的操作。

Netezza Execute

运行 Netezza 命令的操作。

Oracle Execute

运行 Oracle 命令的操作。

Oracle Export

这个操作插件使用 Oracle 命令行工具高效地将 Oracle 数据导出到文件系统。

PostgreSQL Execute

运行 PostgreSQL 命令的操作。

Redshift to S3

此 Redshift To S3 操作会在 AWS 上运行 UNLOAD 命令，将 Redshift 的查询结果保存到 Amazon S3 上的一个或多个文件中。

Remote Program Executor

与远程机器建立 SSH 连接，以便在该机器上执行命令。

S3 to Redshift

此 S3 To Redshift 操作可将 AWS S3 存储桶中的数据加载到 AWS Redshift 表中。

SFTP Copy

借助 SFTP Copy 插件，您可以将 SFTP 服务器上指定目录中的文件复制到指定的目的地。

SFTP Delete

此 CDAP 操作插件用于从 SFTP 服务器中删除指定文件。

SFTP Put

借助 SFTP Put 插件，您可以将文件从文件系统（本地/HDFS）上传到 FTP 服务器。也可使用文件正则表达式来执行筛选，从而仅包含您感兴趣的文件。

Snowflake Run SQL

在 Snowflake 中运行指定的 SQL 查询。

SQL Server Execute

运行 SQL Server 命令的操作。

Teradata Execute

运行 Teradata 命令的操作。

Windows Share Copy

将 Microsoft Windows 共享区中的一个或多个文件复制到文件系统中。

客户关系管理

适用于 Salesforce 等 CRM 平台的插件。

HubSpot

此插件用于在批处理和流式处理流水线中将数据写入 HubSpot CRM。

HubSpot

在流式处理流水线中，从 HubSpot CRM 读取数据。

HubSpot

在批处理流水线中，从 HubSpot CRM 读取数据。

Salesforce

此来源会从 Salesforce 中批量读取 sObject，例如商机、联系人、帐号、潜在客户、任何自定义对象等。

Salesforce

此批量接收器将 sObject（如商机、联系人、帐号、潜在客户、任何自定义对象等）插入 Salesforce。

Salesforce

此来源可跟踪 Salesforce sObject 中的更新内容。sObject 示例包括商机、联系人、帐号、潜在客户、任何自定义对象等。

Salesforce Marketing Cloud

此来源可跟踪 Salesforce 中的 sObject 更新，例如商机、联系人、帐号、潜在客户、任何自定义对象等。

Salesforce Marketing Cloud

此接收器通过与 SFMC API 的服务器到服务器集成，将记录插入 Salesforce Marketing Cloud (SFMC) 数据扩展。

Salesforce Multi Objects

此来源从 Salesforce 读取多个 sObject。它应与多接收器配合使用。

CSV

用于 CSV 的插件。

CSV Formatter

使用 DELIMITED、EXCEL、MYSQL、RFC4180 和 TDF 等格式，为 CSV 记录的输入设置格式。

CSV Parser

将格式设置为 DEFAULT、EXCEL、MYSQL、RFC4180、制表符分隔、竖线分隔的 CSV 记录解析为结构化记录。

文件

以各种格式向文件系统写入数据。

文件

在您需要从分布式文件系统中读取数据时，即可使用此来源。

Cloud Storage

此接收器插件以多种格式（例如 CSV、Avro、Parquet 和 JSON）将记录写入某个 Cloud Storage 目录中的一个或多个文件。

Kafka Producer

此 Kafka 接收器允许您将事件以 CSV 或 JSON 形式写入 Kafka。

数据库

用于数据库的插件。

Cloud Bigtable

此批处理接收器将数据写入 Cloud Bigtable。

Cloud Bigtable

此来源会从 Cloud Bigtable 中读取数据。

数据库

运行一条数据库命令的操作。

数据库

使用可配置的 SQL 查询从数据库中读取数据。为查询返回的每一行输出一条记录。

数据库

将记录写入一个数据库表。每条记录都会写入该表中的一行。

Database Argument Setter

从关系型数据库表中读取，以提取要在流水线中设置的参数。

Database Query

在流水线运行结束时运行数据库查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

DB2

使用可配置的 SQL 查询从 DB2 中读取数据。为查询返回的每一行输出一条记录。

DB2

在流水线运行结束时运行 DB2 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

DB2 Execute

运行 DB2 命令的操作。

IBM DB2

将记录写入 DB2 表。每条记录都会写入该表中的一行。

MariaDB

将记录写入 MariaDB 表。每条记录都会写入该表中的一行。

MariaDB

使用可配置的 SQL 查询从 MariaDB 中读取数据。为查询返回的每一行输出一条记录。

MariaDB

在流水线运行结束时运行 MariaDB 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

MariaDB Execute

运行 MariaDB 命令的操作。

Multi Database Table

从数据库内的多个表中读取数据。与 Cloud Storage 多接收器和 BigQuery 多接收器等多接收器插件配合使用，从而在单个流水线中加载整个数据库的数据。

MySQL Query

在流水线运行结束时运行 MySQL 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

MySQL

将记录写入一个 MySQL 表。每条记录都会写入该表中的一行。

MySQL

使用可配置的 SQL 查询从 MySQL 实例中读取数据。为查询返回的每一行输出一条记录。

MySQL Execute

运行 MySQL 命令的操作。

Oracle

使用可配置的 SQL 查询从 Oracle 表中读取数据。为查询返回的每一行输出一条记录。

Oracle

将记录写入 Oracle 表。每条记录都会写入该表中的一行。

Oracle

在流水线运行结束时运行 Oracle 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Oracle Execute

运行 Oracle 命令的操作。

Oracle Export

这个操作插件使用 Oracle 命令行工具高效地将 Oracle 数据导出到文件系统。

PostgreSQL

使用可配置的 SQL 查询从 PostgreSQL 中读取数据。为查询返回的每一行输出一条记录。

PostgreSQL

将记录写入一个 PostgreSQL 表。每条记录都会写入该表中的一行。

PostgreSQL

在流水线运行结束时运行 PostgreSQL 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

PostgreSQL Execute

运行 PostgreSQL 命令的操作。

Spanner

此接收器会向 Cloud Spanner 表写入数据。

Spanner

此来源从 Cloud Spanner 表中读取数据。

SQL Server

将记录写入一个 SQL Server 表。每条记录都会写入该表中的一行。

SQL Server

在流水线运行结束时运行 SQL Server 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

SQL Server

使用可配置的 SQL 查询从 SQL Server 中读取数据。为查询返回的每一行输出一条记录。

SQL Server Execute

运行 SQL Server 命令的操作。

Cloud SQL

DB2 会在流水线运行结束时运行 DB2 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

数据仓库

用于数据仓库的插件。

BigQuery

此来源会读取 BigQuery 表的全部内容。

BigQuery Argument Setter

从 BigQuery 表中读取内容，以提取要在流水线中设置的参数。

BigQuery Execute

此插件会执行 BigQuery SQL 查询。

BigQuery Multi Table

此接收器会向多个 BigQuery 表写入数据。数据会先写入 Cloud Storage 上的某个临时位置，然后从那里加载到 BigQuery 中。

BigQuery 表

此接收器会向 BigQuery 表写入数据。数据会先写入 Cloud Storage 上的某个临时位置，然后从那里加载到 BigQuery 中。

Cloud Storage to Snowflake

将 Cloud Storage 上外部或内部暂存文件中的数据加载到一个现有 Snowflake 表。

Hive Bulk Export

Hive Export 会将选定查询作为输入，以在 Hive 表上运行该查询，并将结果存储在指定位置。

Hive Bulk Import

使用 Hive Load 语句，将目录/文件中的数据导入 Hive 表。

Netezza

将记录写入一个 Netezza 表。每条记录都会写入该表中的一行。

Netezza

使用可配置的 SQL 查询从 Netezza 中读取数据。为查询返回的每一行输出一条记录。

Netezza

在流水线运行结束时运行 Netezza 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Netezza Execute

运行 Netezza 命令的操作。

Redshift to S3

此 Redshift To S3 操作会在 AWS 上运行 UNLOAD 命令，将 Redshift 的查询结果保存到 Amazon S3 上的一个或多个文件中。

S3 to Redshift

此 S3 To Redshift 操作可将 AWS S3 存储桶中的数据加载到 AWS Redshift 表中。

SCD2 Spark Compute

按指定键对源记录进行分组，并生成该记录的开始和结束（到期）日期，通过这种方式创建记录的 SCD2 表示形式。

Snowflake

在批处理流水线中将数据写入 Snowflake 表格。

Snowflake

在批处理流水线中，读取 Snowflake 表中的数据。

Snowflake Run SQL

在 Snowflake 中运行指定的 SQL 查询。

Snowflake to Cloud Storage

将 Snowflake 表格中的数据分载到内部或外部 Cloud Storage 位置（暂存区）。

TeraData

将记录写入一个 Teradata 表。每条记录都会写入该表中的一行。

TeraData

使用可配置的 SQL 查询从 Teradata 中读取。为查询返回的每一行输出一条记录。

TeraData

在流水线运行结束时运行 Teradata 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

TeraData

运行 Teradata 命令的操作。

Vertica Bulk Export Action

将 Vertica 表中的数据批量导出到一个文件中。

Vertica Bulk Import Action

Vertica Bulk Import Action 插件可读取给定目录中的所有文件，并将内容批量导入 Vertica 表。

数据泄露防护

用于 Cloud Data Loss Prevention (DLP) 的插件。

Cloud DLP Decrypt

使用可逆转的加密转换（例如格式保留加密），解密先前由 Cloud Data Loss Prevention (DLP) 加密的敏感数据。

Cloud DLP PII Filter

使用 Cloud Data Loss Prevention (DLP) API，根据与用户定义模板的匹配情况将敏感记录区分开来。

Cloud DLP Redact

通过匹配某些预定义的 DLP 过滤条件或某个自定义的用户定义模板，使用 Cloud Data Loss Prevention (DLP) 隐去敏感记录。

动态

动态插件。

Argument Setter

执行 HTTP 请求，以提取要在流水线中设置的参数。

Database Argument Setter

从关系型数据库表中读取，以提取要在流水线中设置的参数。

Cloud Storage Argument Setter

从 Cloud Storage 文件中读取数据，以提取要在流水线中设置的参数。

电子邮件

用于电子邮件的插件。

电子邮件

在流水线运行结束时发送电子邮件。

Email by SendGrid

在流水线运行结束时发送电子邮件的操作。

SendGrid

读取来自 SendGrid 的现有营销广告系列、电子邮件分析、退信、垃圾信息举报的数据。

SendGrid

在批处理流水线和流式处理流水线中将数据写入 SendGrid。

文件

文件插件。

CSV Formatter

使用 DELIMITED、EXCEL、MYSQL、RFC4180 和 TDF 等格式，为 CSV 记录的输入设置格式。

CSV Parser

将格式设置为 DEFAULT、EXCEL、MYSQL、RFC4180、制表符分隔、竖线分隔的 CSV 记录解析为结构化记录。

文件

以各种格式向文件系统写入数据。

文件

在您需要从分布式文件系统中读取数据时，即可使用此来源。

文件

文件流式处理来源，用于监控目录并流式传输添加到目录中的所有新文件的内容。

File Appender

此接收器插件会向现有文件附加内容，直至该文件达到特定大小，或基于存在时间的阈值。

File Contents Checketer

此操作插件可用于检查文件是否为空，或者文件的内容是否与给定模式匹配。

File Delete

删除一个或多个文件。

File Move

移动一个或多个文件。

FTP

此批处理来源从 FTP (ftp://..) 或 SFTP (sftp://...) 读取数据。

FTP Copy

将文件从 FTP 服务器复制到指定目的地。

FTP Put

将文件从指定目的地复制到 FTP 服务器。

PDF Extractor

此转换利用 Apache PDF Box 库，从 PDF 文件中提取文本和元数据。

Redshift to S3

此 Redshift To S3 操作会在 AWS 上运行 UNLOAD 命令，将 Redshift 的查询结果保存到 Amazon S3 上的一个或多个文件中。

Amazon S3

此接收器用于以各种格式向 Amazon S3 写入数据。

S3 to Redshift

此 S3 To Redshift 操作可将 AWS S3 存储桶中的数据加载到 AWS Redshift 表中。

SFTP Copy

借助 SFTP Copy 插件，您可以将 SFTP 服务器上指定目录中的文件复制到指定的目的地。

SFTP Delete

此 CDAP 操作插件用于从 SFTP 服务器中删除指定文件。

SFTP Put

借助 SFTP Put 插件，您可以将文件从文件系统（本地/HDFS）上传到 FTP 服务器。也可使用文件正则表达式来执行筛选，从而仅包含您感兴趣的文件。

过滤器

过滤器插件。

Deduplicate

使用一个或多个字段或使用完整记录的形式删除重复的记录。此外，它还支持根据一个过滤条件字段，从重复记录中合理地选择记录。支持的逻辑函数包括 max、min、first 和 last。

Distinct

删除重复的输入记录，以保证所有输出记录均不重复。

Fast Filter

根据指定条件筛选掉一些消息。

Cloud DLP PII Filter

使用 Cloud Data Loss Prevention (DLP) API，根据与用户定义模板的匹配情况将敏感记录区分开来。

Null Field Splitter

此插件将给定字段的值为 null 的记录发送到 null 端口，并将具有非 null 值的记录发送到非 null 端口。

采样

对流经此插件的大型数据集进行采样，以通过系统采样或 reservoir 采样来提取随机记录。

Top N

Top N 会根据插件配置中指定的条件，返回输入集中的前“n”条记录。

FTP

FTP 插件。

FTP

此批处理来源从 FTP (ftp://..) 或 SFTP (sftp://...) 读取数据。

FTP Copy

将文件从 FTP 服务器复制到指定目的地。

FTP Put

将文件从指定目的地复制到 FTP 服务器。

SFTP Copy

借助 SFTP Copy 插件，您可以将 SFTP 服务器上指定目录中的文件复制到指定的目的地。

SFTP Delete

此 CDAP 操作插件用于从 SFTP 服务器中删除指定文件。

SFTP Put

借助 SFTP Put 插件，您可以将文件从文件系统（本地/HDFS）上传到 FTP 服务器。也可使用文件正则表达式来执行筛选，从而仅包含您感兴趣的文件。

Google Ads

用于 Google Ads 的插件。

Google Ads Multiple Reports

在批处理流水线中，从 Google Ads 帐号读取所有 Google Ads 报告。

Google Ads Single Report

在批处理流水线中，从 Google Ads 帐号读取指定的报告类型。

Google Search Console

在批处理流水线中，从 Google Search Console 中读取数据。

Google Analytics 360

用于 Google Analytics 360 的插件。

Google Analytics Batch

在批处理流水线中，从 Google Analytics 360 读取数据。

Google Analytics Streaming

在流式处理流水线中，从 Google Analytics 360 读取数据。

Google Workspace

用于 Google Workspace 的插件，包括 Google 表格和 Google 云端硬盘。

Google 云端硬盘

通过 Google Drive API 从指定 Google 云端硬盘目录中读取文件。

Google 云端硬盘

该接收器插件通过 Google Drive API 将文件从流水线保存到 Google 云端硬盘目录。

Google 表格

从指定 Google 云端硬盘目录中读取电子表格。

Google 表格

将电子表格写入指定 Google 云端硬盘目录。

Hadoop

用于 Hadoop 的插件。

HBase

将记录写入一个 HBase 表，其中有一个字段映射到行键，所有其他记录字段映射到列限定符。

HBase

此批处理来源从 HBase 表中的一个列族读取数据。

Hive Bulk Export

Hive Export 会将选定查询作为输入，以在 Hive 表上运行该查询，并将结果存储在指定位置。

Hive Bulk Import

使用 Hive Load 语句，将目录/文件中的数据导入 Hive 表。

HTTP to HDFS

执行从某个外部 http 端点提取数据，并在 HDFS 中创建文件的操作。

HDFS

用于 HDFS 的插件。

XML Reader

XML Reader 插件是一种来源插件，可让用户读取存储在 HDFS 中的 XML 文件。

HTTP to HDFS

执行从某个外部 http 端点提取数据，并在 HDFS 中创建文件的操作。

HP

用于 HP 的插件。

Vertica Bulk Export Action

将 Vertica 表中的数据批量导出到一个文件中。

Vertica Bulk Import Action

Vertica Bulk Import Action 插件可读取给定目录中的所有文件，并将内容批量导入 Vertica 表。

HTTP

用于 HTTP 的插件。

Argument Setter

执行 HTTP 请求，以提取要在流水线中设置的参数。

IBM

用于 IBM 的插件。

DB2

使用可配置的 SQL 查询从 DB2 中读取数据。为查询返回的每一行输出一条记录。

DB2

在流水线运行结束时运行 DB2 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

DB2 Execute

运行 DB2 命令的操作。

IBM DB2

将记录写入 DB2 表。每条记录都会写入该表中的一行。

Netezza

将记录写入一个 Netezza 表。每条记录都会写入该表中的一行。

Netezza

使用可配置的 SQL 查询从 Netezza 中读取数据。为查询返回的每一行输出一条记录。

Netezza

在流水线运行结束时运行 Netezza 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Netezza Execute

运行 Netezza 命令的操作。

JDBC

用于 JDBC 的插件。

数据库

使用可配置的 SQL 查询从数据库中读取数据。为查询返回的每一行输出一条记录。

数据库

将记录写入一个数据库表。每条记录都会写入该表中的一行。

MongoDB

从指定 MongoDB 集合中读取文档，并在指定架构的帮助下将每个文档转换为 StructuredRecord。

MongoDB

此接收器会将数据写入 MongoDB 集合。

MySQL Query

在流水线运行结束时运行 MySQL 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

MySQL

将记录写入一个 MySQL 表。每条记录都会写入该表中的一行。

MySQL

使用可配置的 SQL 查询从 MySQL 实例中读取数据。为查询返回的每一行输出一条记录。

MySQL Execute

运行 MySQL 命令的操作。

Netezza

将记录写入一个 Netezza 表。每条记录都会写入该表中的一行。

Netezza

使用可配置的 SQL 查询从 Netezza 中读取数据。为查询返回的每一行输出一条记录。

Netezza

在流水线运行结束时运行 Netezza 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Netezza Execute

运行 Netezza 命令的操作。

Oracle

使用可配置的 SQL 查询从 Oracle 表中读取数据。为查询返回的每一行输出一条记录。

Oracle

将记录写入 Oracle 表。每条记录都会写入该表中的一行。

Oracle

在流水线运行结束时运行 Oracle 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Oracle Execute

运行 Oracle 命令的操作。

Oracle Export

这个操作插件使用 Oracle 命令行工具高效地将 Oracle 数据导出到文件系统。

PostgreSQL

使用可配置的 SQL 查询从 PostgreSQL 中读取数据。为查询返回的每一行输出一条记录。

PostgreSQL

将记录写入一个 PostgreSQL 表。每条记录都会写入该表中的一行。

PostgreSQL

在流水线运行结束时运行 PostgreSQL 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

PostgreSQL Execute

运行 PostgreSQL 命令的操作。

SQL Server

将记录写入一个 SQL Server 表。每条记录都会写入该表中的一行。

SQL Server

在流水线运行结束时运行 SQL Server 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

SQL Server

使用可配置的 SQL 查询从 SQL Server 中读取数据。为查询返回的每一行输出一条记录。

SQL Server Execute

运行 SQL Server 命令的操作。

TeraData

将记录写入一个 Teradata 表。每条记录都会写入该表中的一行。

TeraData

使用可配置的 SQL 查询从 Teradata 中读取。为查询返回的每一行输出一条记录。

TeraData

在流水线运行结束时运行 Teradata 查询。可配置为仅在成功时运行、仅在失败时运行，或者在运行结束时始终运行。

Teradata Execute

运行 Teradata 命令的操作。

JSON

用于 JSON 的插件。

Elasticsearch

将数据以 JSON 字符串的形式写入 Elasticsearch，然后使用由用户指定的索引、类型和 idField 将其编入索引。

Cloud Storage

以多种格式（例如 CSV、Avro、Parquet 和 JSON）将记录写入某个 Cloud Storage 目录中的一个或多个文件。

JSON Formatter

将结构化记录的格式设置为 JSON 对象。

JSON Parser

使用 JSON 路径将输入 JSON 事件解析为记录，以从复杂的嵌套式输入 JSON 中提取字段。

Kafka Producer

此 Kafka 接收器允许您将事件以 CSV 或 JSON 形式写入 Kafka。

XML to JSON

接受包含设置了适当格式的 XML 字符串的字段，并输出设置了适当格式的 JSON 字符串版本数据。

Kafka

用于 Kafka 的插件。

Confluent

在流式处理流水线中，从 Confluent Kafka 读取数据。

Confluent

此插件用于在流式处理流水线中向 Confluent Kafka 写入数据。

Kafka Consumer

此 Kafka 批处理来源在批处理流水线中从 Apache Kafka 读取事件。

Kafka Consumer

此 Kafka 流式处理来源从流式处理流水线中读取 Apache Kafka 事件。

Kafka Alert Publisher

Kafka Alert Publisher 允许您将提醒以 JSON 对象的形式发布到 Kafka。

Kafka Producer

此 Kafka 接收器允许您将事件以 CSV 或 JSON 形式写入 Kafka。

日志

用于日志的插件。

Splunk

在批处理流水线中，从 Splunk 读取数据。

Splunk

在流式处理流水线中，从 Splunk 读取数据。

Webserver Log Parser

解析来自任何输入来源的日志，以便获取相关信息，例如 URI、IP、浏览器、设备、HTTP 状态代码和时间戳。

映射

用于映射的插件。

添加字段

向每条记录添加一个新字段。字段值可以是新的 UUID，也可以通过配置直接设置。

Clone Record

针对所收到的每条输入记录，在输出中进行给定次数的复制。

Create Record

用于从平面架构生成分层结构的插件。

Date Transform

此转换接受 Unix 时间戳或字符串形式的日期，并将其转换为格式化的字符串。（已启用宏）。

Cloud DLP Redact

通过匹配某些预定义的 DLP 过滤条件或某个自定义的用户定义模板，使用 Cloud Data Loss Prevention (DLP) 隐去敏感记录。

查询

通过将查找数据集与输入数据集匹配，对查找数据集中的指定字段执行查找，并在结果数据集中包括此字段及其值。

Multi Field Adder

利用 Multi Field Adder 转换，您可以向输出添加一个或多个字段。

NGramTransform Spark Compute

将输入特征转换为 N 元语法。

Projection

投影转换让您可以拖放、保留、重命名字段以及将字段转换为其他类型。

Record Splitter

给定一个字段和一种分隔符，系统会针对字段的每个分块发出一条记录。

Row Denormalizer

根据键列将原始数据转换为反规范化数据。

SCD2 Spark Compute

按指定键对源记录进行分组，并生成该记录的开始和结束（到期）日期，通过这种方式创建记录的 SCD2 表示形式。