本页面介绍如何为 Cloud Data Fusion 流水线创建和使用触发器。您可以在数据流水线(称为“下游”流水线)上创建触发器,使其在另一个流水线(称为“上游”流水线)完成后运行。创建触发器时,您可以选择下游流水线的运行时间 - 上游流水线运行成功、失败、停止或其任意组合运行时。
触发器非常适用于:
- 清理一次数据,并将其提供给多个下游流水线。
- 在流水线之间共享信息,例如运行时参数和插件配置。这称为载荷配置。
- 拥有一组使用每小时/每天/每周/每月的数据运行的动态流水线,而不是每次运行时都需要更新的静态流水线。
准备工作
在 Pipeline Studio 中,部署上游和下游流水线。
可选:为上游流水线设置运行时参数
如果要将载荷配置作为运行时参数传递,请设置上游流水线的运行时参数:
转到列表页面。在已部署标签页中,点击上游流水线的名称。您将看到该流水线的“部署”视图。
点击运行按钮右侧的箭头。
点击 + 按钮,并填写运行时参数的 Key 和 Value。
点击保存。
在下游流水线上创建入站触发器
在下游流水线上创建触发器,以便在上游流水线完成时运行。
转到列表页面。在已部署标签页中,点击下游流水线的名称。您将看到该流水线的“部署”视图。
点击页面中间的入站触发器。系统会显示可用流水线的列表。
点击上游流水线。选择一种或多种上游流水线完成状态(成功、失败或停止)作为下游流水线应运行的条件。
如果您希望上游流水线与下游流水线共享信息(称为载荷配置),请点击触发器配置,然后按照将载荷配置作为运行时参数传递的步骤操作。否则,请点击启用触发器。
将载荷配置作为运行时参数传递
载荷配置允许将来自上游流水线的信息共享到下游流水线。例如,此信息可以是输出目录、数据格式或流水线的运行日期。然后,下游流水线会使用此信息做出决策,例如确定要读取的正确数据集。
要将信息从上游流水线传递给下游流水线,请使用下游流水线的运行时参数或任何插件的配置设置下游流水线的运行时参数。
每当下游流水线运行(触发)时,其载荷配置将使用触发下游流水线的特定上游流水线运行的运行时参数进行设置。
将载荷配置作为运行时参数传递:
从您在创建入站触发器部分,点击触发器配置,任何运行时参数之前设置。选择在此触发器执行时要从上游流水线传递到下游流水线的运行时参数。
点击插件配置标签页以查看在上游流水线被触发时将传递给下游流水线的列表。
点击配置并启用触发器。
测试下游流水线触发器
如需测试触发器,请按以下步骤操作:
转到列表页面。在已部署标签页中,点击上游流水线的名称。您将看到该流水线的“部署”视图。
点击运行。
等待上游流水线运行完成。从列表视图中,导航到下游流水线。您应该看到,由于您创建的触发器正在运行。