问题排查：删除集群

本页面介绍了如何解决在 Cloud Data Fusion 中删除临时 Dataproc 集群时遇到的问题。

当 Cloud Data Fusion 在流水线运行配置期间创建临时 Dataproc 集群时，系统会在流水线运行完成后删除该集群。在极少数情况下，集群删除失败。

强烈建议：升级到最新的 Cloud Data Fusion 版本以确保适当的集群维护。

设置最长空闲时间

如需解决此问题，请配置 Max Idle Time 选项。这样，即使流水线结束显式调用失败，Dataproc 也会自动删除集群。

Max Idle Time 在 Cloud Data Fusion 6.4 及更高版本中提供。

注意：在 Cloud Data Fusion 6.6 及更高版本中，Max Idle Time 默认设置为 30 分钟，不需要其他配置。

建议：对于 6.6 之前的版本，请将 Max Idle Time 手动设置为 30 分钟或更长时间。

手动删除集群

如果您无法升级版本或配置 Max Idle Time 选项，请改为手动删除过时的集群：

1. 获取创建集群的每个项目 ID：

   1. 在流水线的运行时参数中，检查 Dataproc 项目 ID 是否针对运行进行了自定义。

      

   2. 如果未明确指定 Dataproc 项目 ID，请确定使用的是哪个预配工具，然后检查项目 ID：

      1. 在流水线运行时参数中，检查 system.profile.name 值。

         

      2. 打开预配工具设置，并检查是否已设置 Dataproc 项目 ID。如果此设置不存在或该字段为空，则使用运行 Cloud Data Fusion 实例的项目。

   重要提示：多个流水线运行可能会使用不同的项目。请务必获取所有项目 ID。

2. 对于每个项目：

   1. 在 Google Cloud Console 中打开项目，并转到 Dataproc 集群页面。

      转到集群

   2. 按集群创建日期对集群进行排序（从最早到最新）。

   3. 如果信息面板处于隐藏状态，请点击显示信息面板并转到标签标签页。

   4. 对于每个未使用的集群（例如，超过一天的时间），请检查是否具有 Cloud Data Fusion 版本标签。这表示它是由 Cloud Data Fusion 创建的。

   5. 选中相应集群名称对应的复选框，然后点击删除。