插件类型

本页面介绍了在您访问网站时默认安装的插件类型。 创建 Cloud Data Fusion 实例。这些插件可在 默认命名空间,以及您创建的任何新命名空间。您 可以从 Hub 下载其他插件。

Cloud Data Fusion 中的插件具有以下类别。显示位置 点击 Cloud Data Fusion Studio 页面的左侧面板中。

来源

源插件可以连接到数据库、文件或实时流, 流水线读取数据您可以使用 Web 为数据流水线设置来源 因此您不必使用代码来配置底层连接。

转换

转换插件会在数据从来源加载后更改数据。对于 例如,您可以使用这些插件克隆一条记录,将文件格式更改为 JSON,也可以使用 JavaScript 创建自定义转换。

分析

Google Analytics 插件会执行聚合操作,例如联接来自不同来源的数据 并运行分析和机器学习操作。

接收器

接收器插件将数据写入到各种资源,例如 Cloud Storage、 BigQuery、Spanner、关系型数据库、文件系统以及 大型主机您可以使用 Cloud Data Fusion 网页界面或 REST API。

条件和操作

条件和操作插件会调度在工作流中发生的操作, 但不直接在工作流中操作数据

应用场景示例:

  • 通过添加 将数据库操作插件添加到流水线。
  • 通过向 Cloud Storage 添加 File Move 插件到您的流水线。

错误处理程序和提醒

当流水线的各个阶段遇到 null 值、逻辑错误或其他 错误处理程序插件会捕获它们。使用这些插件可在 转换或分析插件之后的输出。您可以编写 将错误发送到数据库进行分析。

后续步骤