此页面由 Cloud Translation API 翻译。

使用作业构建器创建流水线

作业构建器是一个直观的界面，可用于在 Google Cloud 控制台中构建和运行 Dataflow 流水线，而无需编写代码。

下图显示了作业构建器界面中的详细信息。在此图片中，用户正在创建一个流水线，以便从 Pub/Sub 读取数据并将其写入 BigQuery：

作业构建器界面的屏幕截图

概览

作业构建器支持读取和写入以下类型的数据：

作业构建器支持流水线转换，包括过滤、联接、映射、分组依据和分解（数组展平）。

作业构建器还可以将流水线保存为 Apache Beam YAML 文件。借助此功能，您可以在作业构建器中设计流水线，然后将 YAML 文件存储在 Cloud Storage 或源代码控制库中以供重复使用。

在以下应用场景中，请考虑使用作业构建器：

如需在作业构建工具中创建新流水线，请按以下步骤操作：

前往 Google Cloud 控制台中的作业页面。

转到作业
点击 基于构建器创建作业。
在作业名称字段中，输入作业的名称。
选择批处理或流式处理。
如果选择流式处理，请选择窗口模式。然后，输入窗口的规范，如下所示：
- 固定窗口：输入窗口大小（以秒为单位）。
- 滑动窗口：输入窗口大小和窗口周期（以秒为单位）。
- 会话时段：输入会话间隔（以秒为单位）。
如需详细了解窗口，请参阅窗口和窗口函数。

接下来，将来源、转换和接收器添加到流水线，如以下部分所述。

流水线必须至少有一个来源。最初，作业构建器会填充空来源。如需配置来源，请执行以下步骤：

在来源名称框中，输入来源的名称，或使用默认名称。当您运行作业时，该名称会显示在作业图表中。
在来源类型列表中，选择数据源的类型。
根据来源类型，提供其他配置信息。例如，如果您选择 BigQuery，请指定要从中读取数据的表。

如果您选择 Pub/Sub，请指定消息架构。输入您要从 Pub/Sub 消息中读取的每个字段的名称和数据类型。该流水线会丢弃架构中未指定的任何字段。
可选：对于某些来源类型，您可以点击预览来源数据以预览来源数据。

如需向渠道添加其他来源，请点击添加来源。如需组合来自多个来源的数据，请向流水线添加 Join 转换。

（可选）向流水线添加一个或多个转换。如需添加转换，请执行以下操作：

流水线必须至少有一个接收器。最初，作业构建器会填充空接收器。如需配置接收器，请执行以下步骤：

如需通过作业构建器运行流水线，请执行以下步骤：

如需将流水线保存为 Beam YAML，请执行以下操作：

点击保存，打开 Save YAML 窗口。
执行以下操作之一：
- 如需将 YAML 复制到剪贴板，请点击 Copy（复制）。
- 如需保存到 Cloud Storage，请输入 Cloud Storage 路径，然后点击保存。
- 如需下载本地文件，请点击下载。

将流水线保存为 Beam YAML 后，您可以将其重新加载到作业构建器中。然后，您可以使用作业构建器修改或运行流水线。

您可以从 Cloud Storage 或文本加载 Beam YAML。

如需从 Cloud Storage 加载流水线，请执行以下操作：

如需从文本加载流水线，请执行以下操作：