修改流水线

本页面介绍如何修改 Cloud Data Fusion 中已部署的批处理流水线。

通过修改流水线,您可以执行以下操作:

  • 向已部署的流水线逐步添加特征,而不会创建重复项。例如,您可以添加、移除或修改插件,然后重新部署流水线。修改流水线会创建同一流水线的新版本,这样可以防止流水线激增,从而更好地进行组织。复制流水线会创建一个具有不同名称的新流水线。
  • 保留修改过的版本的历史记录。
  • 查看和恢复流水线的旧版本。
  • 修改流水线的任何部分,例如流水线结构、配置、元数据、偏好设置和注释。
  • 为已部署的流水线导出修改后的 JSON 文件。

当您修改流水线时,Cloud Data Fusion 会创建新草稿,该草稿将成为最新版本。流水线名称保持不变。您可以迭代开发流水线,无需创建具有唯一名称的重复流水线。最新版本保留了上一版本中的触发器、流水线配置、运行时参数、元数据、注释和时间表。最新版本是流水线的活跃版本:它可以运行,也可以安排运行。

准备工作

  • 在 6.9.1 及更高版本中,Cloud Data Fusion 支持修改已部署的批处理流水线。如需升级到最新版本,请参阅升级 Cloud Data Fusion 环境
  • Cloud Data Fusion 不支持修改已部署的实时流水线或复制作业。

修改流水线

如需在 Cloud Data Fusion 中修改已部署的批处理流水线,请按以下步骤操作:

  1. 转到您的实例:
    1. 在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例

      转到实例

  2. 点击列表 > 已部署
  3. 转到要修改的流水线,然后点击 更多 > 修改

    Studio 页面上会显示流水线的新草稿。

  4. 修改流水线。例如,添加新的分析节点或修改某个来源的属性。

  5. 可选:如需稍后完成流水线修改,请点击保存

  6. 完成流水线修改后,点击部署

  7. 输入更改摘要对话框中,输入您对流水线所做更改的说明,然后点击部署。部署的流水线会在流水线页面上打开。

查看或恢复流水线的先前版本

如需查看或部署旧版批处理流水线,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中打开实例。
  2. 点击列表 > 已部署
  3. 选择流水线。流水线将显示在流水线页面上。
  4. 点击 历史记录

    系统会显示版本记录记录列表。

  5. 可选:如需查看流水线的先前版本,请点击查看

  6. 可选:如需将流水线的旧版本恢复到最新版本,请点击恢复

    Cloud Data Fusion 会创建流水线的新版本,并在流水线页面上打开该版本。现在是最新版本。

导出已部署流水线的修改版本

您可以将已部署流水线的修改版本导出为 JSON 文件以与其他开发者共享,将其添加到版本控制中,或将其从开发环境移至测试或生产环境。例如,在开发和调试阶段修改流水线后,您可以导出 JSON 文件,然后将其导入并部署到生产环境中。

导出最新版本

如需导出最新版本的流水线,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中打开实例。
  2. 点击列表 > 已部署
  3. 选择要导出的流水线,然后点击 更多 > 导出

    包含最新版本流水线配置的 JSON 文件将保存在本地。

导出先前版本

如需导出旧版流水线,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中打开实例。
  2. 点击列表 > 已部署
  3. 选择流水线。最新版本会在流水线页面上打开。
  4. 点击 历史记录
  5. 选择要导出的流水线版本,然后依次点击查看 > 操作 > 导出

导入已部署流水线的修改版本

所有流水线均以 Draft 状态导出。已部署流水线的修改版本也会以 Draft 状态导入。如需了解详情,请参阅导入流水线

删除流水线的修改版本

当您删除已部署流水线的最新版本时,已部署流水线的所有版本都将被删除。草稿版本不会被删除。

相反,草稿流水线版本将处于 Orphaned 状态。如需解决此状态,请部署草稿流水线。Cloud Data Fusion 会创建一个新的流水线,这是最新版本。

已修改的流水线的状态

修改流水线时,流水线草稿页面上可能会显示以下状态。

状态 说明
进行中 您已保存对流水线的修改。
无主 流水线的最新版本已被删除,关联的草稿不再属于现有流水线。如果有人通过以下端点删除流水线,您可能会看到此状态:DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID
已过时 在修改过程中,部署了一个较新版本。 如果其他开发者在您完成修改之前部署了流水线,您可能会看到此状态。这与“流水线”页面上显示的草稿已过期 相同。

修改流水线时,工作室页面上可能会显示以下状态。

状态 说明
正在修改 您正在修改草稿流水线。
孤立草稿 在您修改流水线时,有人部署了较新版本。

后续步骤