使用作业构建器创建流水线

作业构建器是一个可视化界面，用于在 Google Cloud 控制台中构建和运行 Dataflow 流水线，而无需编写代码。

下图显示了作业构建器界面的详细信息。在此图片中，用户正在创建一个流水线以从 Pub/Sub 读取到 BigQuery：

作业构建器界面的屏幕截图

概览

作业构建器支持读取和写入以下类型的数据：

作业构建器支持流水线转换，包括过滤、联接、映射、分组依据和分解（数组展平）。

作业构建器还可以将流水线保存为 Apache Beam YAML 文件。通过使用此功能，您可以在作业构建器中设计流水线，然后将 YAML 文件存储在 Cloud Storage 或源代码控制代码库中以供重复使用。

在以下应用场景中，请考虑使用作业构建器：

如需在作业构建器中创建新流水线，请按照以下步骤操作：

前往 Google Cloud 控制台中的作业页面。

转到作业
点击 基于模板创建作业。
点击作业构建器。
在作业名称字段中，输入作业的名称。
选择批处理或流式处理。
如果选择流式处理，请选择窗口模式。然后，输入窗口的规范，如下所示：
- 固定窗口：输入窗口大小（以秒为单位）。
- 滑动窗口：输入窗口大小和窗口周期（以秒为单位）。
- 会话窗口：输入会话间隔（以秒为单位）。
如需详细了解窗口，请参阅窗口和窗口函数。

接下来，向流水线添加来源、转换和接收器，如以下部分所述。

流水线必须至少有一个来源。最初，作业构建器会填充空来源。如需配置来源，请执行以下步骤：

在来源名称框中，输入来源的名称或使用默认名称。运行作业时，该名称会显示在作业图中。
在来源类型列表中，选择数据源的类型。
根据来源类型，提供其他配置信息。例如，如果您选择 BigQuery，请指定要从中读取数据的表。

如果您选择 Pub/Sub，请指定消息架构。输入要从 Pub/Sub 消息中读取的每个字段的名称和数据类型。流水线会丢弃架构中未指定的任何字段。
可选：对于某些来源类型，您可以点击预览源数据以预览源数据。

如需向流水线添加其他来源，请点击添加来源。如需组合来自多个来源的数据，请向流水线添加 Join 转换。

（可选）向流水线添加一个或多个转换。如需添加转换，请执行以下操作：

流水线必须至少有一个接收器。最初，作业构建器会填充空接收器。如需配置接收器，请执行以下步骤：

如需从作业构建器运行流水线，请执行以下步骤：

如需将流水线保存到 Beam YAML，请执行以下操作：

点击保存，打开保存 YAML 窗口。
执行以下操作之一：
- 如需将 YAML 复制到剪贴板，请点击复制。
- 如需保存到 Cloud Storage，请输入 Cloud Storage 路径，然后点击保存。
- 如需下载本地文件，请点击下载。

将流水线保存到 Beam YAML 后，您可以将其加载回作业构建器。然后，您可以使用作业构建器修改或运行流水线。

您可以从 Cloud Storage 或文本加载 Beam YAML。

如需从 Cloud Storage 加载流水线，请执行以下操作：

如需从文本加载流水线，请执行以下操作：