调度流水线

本页面介绍了如何为流水线运行创建时间安排。例如,您可以安排在每天凌晨 1:00(世界协调时间 (UTC))运行流水线。

准备工作

如需创建时间安排,您需要在 Cloud Data Fusion 中有一个已部署的流水线。如果没有该流水线,则可以按照快速入门来创建流水线。

如需创建、修改或暂停时间安排,请在 Cloud Data Fusion 中打开流水线:

  1. 转到您的实例:

    1. 在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion 网页界面中打开实例,请点击实例,然后点击查看实例

      转到实例

  2. 转到 Cloud Data Fusion 列表页面。

  3. 已部署标签页中,选择所需的流水线。

    此时会打开流水线页面,您可以在其中为流水线创建、修改或暂停时间安排。

创建时间安排

在 Cloud Data Fusion 界面的流水线页面中,点击时间安排

您可以使用基本高级标签页来定义时间安排。高级标签页可让您使用 unix-cron 格式定义复杂的时间安排。

基本

  1. 基本标签页上,输入以下有关时间安排的信息:

    • Frequency
    • 开始时间,以世界协调时间 (UTC) 指定。
    • 可选:日期
    • 并发运行次数上限(最多运行 10 次)。如果已运行了 10 次流水线,则您创建的预定运行将不会运行。
    • 可选:Compute Engine 配置文件。如果您将此字段留空,则系统将使用默认的 Dataproc 配置文件。
  2. 点击保存并启动时间安排 (Save and start schedule),或者如果您希望稍后启动,请点击保存时间安排 (Save schedule)。

高级

  1. 高级标签页上,使用 unix-cron 格式定义时间安排。

    您可以安排流水线每天运行多次,或者在特定的日期和月份运行。

    时间字段具有下表中显示的格式和可能值:

    字段 有效值的范围
    分钟 0-59
    小时 0-23
    日期 1-31
    1-12
    周几 0-6(星期日是 0,星期一是 1
  2. 点击保存并启动时间安排 (Save and start schedule),或者如果您希望稍后启动,请点击保存时间安排 (Save schedule)。

更改或暂停时间安排

您可以在 Cloud Data Fusion 界面的流水线页面中更改或暂停流水线时间安排。

  • 如需更改时间安排,请点击配置并更新字段。

  • 如需暂停时间安排,请点击取消时间安排