本页面介绍了如何解决在 Cloud Data Fusion 中删除临时 Dataproc 集群时遇到的问题。
当 Cloud Data Fusion 在流水线运行配置期间创建临时 Dataproc 集群时,系统会在流水线运行完成后删除该集群。在极少数情况下,集群删除失败。
强烈建议:升级到最新的 Cloud Data Fusion 版本以确保适当的集群维护。
设置最长空闲时间
如需解决此问题,请配置 Max Idle Time
选项。这样,即使流水线结束显式调用失败,Dataproc 也会自动删除集群。
Max Idle Time
在 Cloud Data Fusion 6.4 及更高版本中提供。
建议:对于 6.6 之前的版本,请将 Max Idle Time
手动设置为 30 分钟或更长时间。
手动删除集群
如果您无法升级版本或配置 Max Idle Time
选项,请改为手动删除过时的集群:
获取创建集群的每个项目 ID:
在流水线的运行时参数中,检查 Dataproc 项目 ID 是否针对运行进行了自定义。
如果未明确指定 Dataproc 项目 ID,请确定使用的是哪个预配工具,然后检查项目 ID:
在流水线运行时参数中,检查
system.profile.name
值。打开预配工具设置,并检查是否已设置 Dataproc 项目 ID。如果此设置不存在或该字段为空,则使用运行 Cloud Data Fusion 实例的项目。
对于每个项目:
在 Google Cloud Console 中打开项目,并转到 Dataproc 集群页面。
按集群创建日期对集群进行排序(从最早到最新)。
如果信息面板处于隐藏状态,请点击显示信息面板并转到标签标签页。
对于每个未使用的集群(例如,超过一天的时间),请检查是否具有 Cloud Data Fusion 版本标签。这表示它是由 Cloud Data Fusion 创建的。
选中相应集群名称对应的复选框,然后点击删除。