安排流水线

本页介绍了如何为流水线运行创建时间安排。例如，您可以安排在每天凌晨 1:00（世界协调时间 (UTC)）运行流水线。

准备工作

如需创建时间安排，您需要在 Cloud Data Fusion 中有一个已部署的流水线。如果没有该流水线，则可以按照快速入门来创建流水线。

如需创建、修改或暂停时间安排，请在 Cloud Data Fusion 中打开流水线：

  1. 转到您的实例：

    1. 在 Google Cloud 控制台中，转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 转到 Cloud Data Fusion 列表页面。

  3. 在已部署标签页中，选择流水线。

    此时会打开流水线页面，您可以在其中为流水线创建、修改或暂停时间安排。

创建时间安排

在 Cloud Data Fusion Studio 的流水线页面中，点击 计划发布。

您可以使用基本或高级标签页来定义时间安排。

基本

  1. 在基本标签页上，输入以下有关时间安排的信息：

    • 频率，如 Every 5 minutes 和 Repeats every 30 days。
    • 开始时间（世界协调时间）。
    • 并发运行数上限：最多选择 10 次运行。如果已运行了 10 次流水线，则您创建的预定运行将不会运行。
    • Compute Engine 配置文件：选择计算配置文件。默认是 Dataproc 计算配置文件。

  2. 点击保存并启动时间安排 (Save and start schedule)，或者如果您希望稍后启动，请点击保存时间安排 (Save schedule)。

高级

  1. 在高级标签页上，使用 Cron 语法定义您的时间表。
  2. 在最大并发运行数量字段中，选择最多 10 次运行。如果 已经有 有 10 个流水线正在运行，则您创建的计划运行作业不会 运行。
  3. 点击保存并启动时间安排 (Save and start schedule)，或者如果您希望稍后启动，请点击保存时间安排 (Save schedule)。

更改或暂停时间安排

  • 您可以在 Cloud Data Fusion Studio 的流水线页面中更改、启动或暂停流水线时间安排。

  • 如需暂停时间安排，请点击取消时间安排。