本页面介绍如何修改 Cloud Data Fusion 中已部署的批处理流水线。
通过修改流水线,您可以执行以下操作:
- 向已部署的流水线逐步添加特征,而不会创建重复项。例如,您可以添加、移除或修改插件,然后重新部署流水线。修改流水线会创建同一流水线的新版本,这样可以防止流水线激增,从而更好地进行组织。复制流水线会创建一个具有不同名称的新流水线。
- 保留修改过的版本的历史记录。
- 查看和恢复流水线的旧版本。
- 修改流水线的任何部分,例如流水线结构、配置、元数据、偏好设置和注释。
- 为已部署的流水线导出修改后的 JSON 文件。
当您修改流水线时,Cloud Data Fusion 会创建新草稿,该草稿将成为最新版本。流水线名称保持不变。您可以迭代开发流水线,无需创建具有唯一名称的重复流水线。最新版本保留了上一版本中的触发器、流水线配置、运行时参数、元数据、注释和时间表。最新版本是流水线的活跃版本:它可以运行,也可以安排运行。
准备工作
- 在 6.9.1 及更高版本中,Cloud Data Fusion 支持修改已部署的批处理流水线。如需升级到最新版本,请参阅升级 Cloud Data Fusion 环境。
- Cloud Data Fusion 不支持修改已部署的实时流水线或复制作业。
修改流水线
如需在 Cloud Data Fusion 中修改已部署的批处理流水线,请按以下步骤操作:
- 转到您的实例:
在 Google Cloud 控制台中,转到 Cloud Data Fusion 页面。
如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例。
- 点击列表 > 已部署。
转到要修改的流水线,然后点击 > 修改。
更多Studio 页面上会显示流水线的新草稿。
修改流水线。例如,添加新的分析节点或修改某个来源的属性。
可选:如需稍后完成流水线修改,请点击保存。
完成流水线修改后,点击部署。
在输入更改摘要对话框中,输入您对流水线所做更改的说明,然后点击部署。部署的流水线会在流水线页面上打开。
查看或恢复流水线的先前版本
如需查看或部署旧版批处理流水线,请按以下步骤操作:
- 在 Cloud Data Fusion 界面中打开实例。
- 点击列表 > 已部署。
- 选择流水线。流水线将显示在流水线页面上。
点击
历史记录。系统会显示版本记录记录列表。
可选:如需查看流水线的先前版本,请点击查看。
可选:如需将流水线的旧版本恢复到最新版本,请点击恢复。
Cloud Data Fusion 会创建流水线的新版本,并在流水线页面上打开该版本。现在是最新版本。
导出已部署流水线的修改版本
您可以将已部署流水线的修改版本导出为 JSON 文件以与其他开发者共享,将其添加到版本控制中,或将其从开发环境移至测试或生产环境。例如,在开发和调试阶段修改流水线后,您可以导出 JSON 文件,然后将其导入并部署到生产环境中。
导出最新版本
如需导出最新版本的流水线,请按以下步骤操作:
- 在 Cloud Data Fusion 界面中打开实例。
- 点击列表 > 已部署。
选择要导出的流水线,然后点击 > 导出。
更多包含最新版本流水线配置的 JSON 文件将保存在本地。
导出先前版本
如需导出旧版流水线,请按以下步骤操作:
- 在 Cloud Data Fusion 界面中打开实例。
- 点击列表 > 已部署。
- 选择流水线。最新版本会在流水线页面上打开。
- 点击 历史记录。
- 选择要导出的流水线版本,然后依次点击查看 > 操作 > 导出。
导入已部署流水线的修改版本
所有流水线均以 Draft
状态导出。已部署流水线的修改版本也会以 Draft
状态导入。如需了解详情,请参阅导入流水线。
删除流水线的修改版本
当您删除已部署流水线的最新版本时,已部署流水线的所有版本都将被删除。草稿版本不会被删除。
相反,草稿流水线版本将处于 Orphaned 状态。如需解决此状态,请部署草稿流水线。Cloud Data Fusion 会创建一个新的流水线,这是最新版本。
已修改的流水线的状态
修改流水线时,流水线草稿页面上可能会显示以下状态。
状态 | 说明 |
---|---|
进行中 | 您已保存对流水线的修改。 |
无主 | 流水线的最新版本已被删除,关联的草稿不再属于现有流水线。如果有人通过以下端点删除流水线,您可能会看到此状态:DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID
。 |
已过时 | 在修改过程中,部署了一个较新版本。 如果其他开发者在您完成修改之前部署了流水线,您可能会看到此状态。这与“流水线”页面上显示的草稿已过期 相同。 |
修改流水线时,工作室页面上可能会显示以下状态。
状态 | 说明 |
---|---|
正在修改 | 您正在修改草稿流水线。 |
孤立草稿 | 在您修改流水线时,有人部署了较新版本。 |
后续步骤
- 了解如何导出和导入流水线。