排查集群删除问题

本页面介绍如何解决在 Cloud Data Fusion 中删除临时 Dataproc 集群的问题。

当 Cloud Data Fusion 在流水线运行预配期间创建临时 Dataproc 集群时，系统会在流水线运行完成后删除该集群。在极少数情况下，集群删除失败。

强烈建议：升级到最新的 Cloud Data Fusion 版本，以确保对集群进行适当的维护。

设置空闲时间上限

如需解决此问题，请配置最长空闲时间值。这样，即使对流水线的显式调用失败，Dataproc 也可以自动删除集群。

Max Idle Time 可在 Cloud Data Fusion 6.4 及更高版本中使用。

在 Cloud Data Fusion 6.6 及更高版本中，最长空闲时间默认设置为 4 小时。

如需替换默认计算配置文件中的默认时间，请按以下步骤操作：

1. 在 Cloud Data Fusion 网页界面中打开该实例。
2. 依次点击 System Admin > Configuration > System Preferences。
3. 点击 Edit System Preferences，然后以 IntegerUnit 格式添加键 system.profile.properties.idleTTL 和值，例如 30m。

建议：对于 6.6 之前的版本，请将 Max Idle Time 手动设置为 30 分钟或更长时间。

手动删除集群

如果您无法升级版本或配置 Max Idle Time 选项，请改为手动删除过时集群：

1. 获取创建了集群的每个项目 ID：

   1. 在流水线的运行时参数中，检查 Dataproc 项目 ID 是否为运行进行了自定义。

      

   2. 如果未明确指定 Dataproc 项目 ID，请确定使用哪个预配工具，然后检查项目 ID：

      1. 在流水线运行时参数中，检查 system.profile.name 值。

         

      2. 打开预配工具设置，检查是否已设置 Dataproc 项目 ID。如果该设置不存在或该字段为空，系统会使用运行 Cloud Data Fusion 实例的项目。

   重要提示 ：多次运行流水线可能会使用不同的项目。请务必获取所有项目 ID。

2. 对于每个项目：

   1. 在 Google Cloud 控制台中打开项目，然后转到 Dataproc 集群页面。

      转到集群

   2. 按集群的创建日期（从最早到最新）对集群进行排序。

   3. 如果信息面板处于隐藏状态，请点击显示信息面板，然后转到标签标签页。

   4. 对于每个未使用的集群（例如，已超过一天），请检查它是否具有 Cloud Data Fusion 版本标签。这表明它是由 Cloud Data Fusion 创建的。

   5. 选中集群名称旁边的复选框，然后点击删除。

跳过集群删除

出于调试目的，您可以停止自动删除临时集群。

如需停止删除操作，请将 Skip Cluster Deletion 属性设置为 True。完成调试后，您必须手动删除集群。