问题排查:删除集群

本页面介绍了如何解决在 Cloud Data Fusion 中删除临时 Dataproc 集群时遇到的问题。

如果在流水线运行配置期间 Cloud Data Fusion 创建了临时 Dataproc 集群,则该集群会在流水线运行完成后删除。在极少数情况下,集群删除会失败。

强烈建议:升级到最新的 Cloud Data Fusion 版本以确保适当的集群维护。

设置最长空闲时间

如需解决此问题,请配置 Max Idle Time 选项。这样,即使流水线上的显式调用失败,Dataproc 也会自动删除集群。

Max Idle Time 在 Cloud Data Fusion 6.4 及更高版本中提供。

建议:对于 6.6 之前的版本,请将 Max Idle Time 手动设置为 30 分钟或更长时间。

手动删除集群

如果您无法升级版本或配置 Max Idle Time 选项,请改为手动删除过时集群:

  1. 获取创建集群的每个项目 ID:

    1. 在流水线的运行时参数中,检查 Dataproc 项目 ID 是否针对运行进行了自定义。

      检查 Dataproc 项目 ID 是否针对运行进行了自定义

    2. 如果未明确指定 Dataproc 项目 ID,请确定使用的是哪个预配程序,然后检查项目 ID:

      1. 在流水线运行时参数中,检查 system.profile.name 值。

        获取运行时参数中的预配工具名称

      2. 打开预配工具设置,并检查是否已设置 Dataproc 项目 ID。如果此设置不存在或此字段为空,则使用 Cloud Data Fusion 实例正在运行的项目。

  2. 对于每个项目:

    1. 在 Google Cloud Console 中打开项目并转到 Dataproc 集群页面。

      转到集群

    2. 按集群创建日期对集群进行排序,时间从最早到最新。

    3. 如果信息面板处于隐藏状态,请点击显示信息面板并转到标签标签页。

    4. 对于未使用的每个集群(例如,已超过一天),请检查它是否具有 Cloud Data Fusion 版本标签。表明它是由 Cloud Data Fusion 创建的。

    5. 选中集群名称对应的复选框,然后点击删除