问题排查:删除集群

本页面介绍了如何解决在 Cloud Data Fusion 中删除临时 Dataproc 集群时遇到的问题。

当 Cloud Data Fusion 在流水线运行配置期间创建临时 Dataproc 集群时,系统会在流水线运行完成后删除该集群。在极少数情况下,集群删除失败。

强烈建议:升级到最新的 Cloud Data Fusion 版本以确保适当的集群维护。

设置最长空闲时间

如需解决此问题,请配置 Max Idle Time 选项。这样,即使流水线结束显式调用失败,Dataproc 也会自动删除集群。

Max Idle Time 在 Cloud Data Fusion 6.4 及更高版本中提供。

建议:对于 6.6 之前的版本,请将 Max Idle Time 手动设置为 30 分钟或更长时间。

手动删除集群

如果您无法升级版本或配置 Max Idle Time 选项,请改为手动删除过时的集群:

  1. 获取创建集群的每个项目 ID:

    1. 在流水线的运行时参数中,检查 Dataproc 项目 ID 是否针对运行进行了自定义。

      检查是否已为运行自定义 Dataproc 项目 ID

    2. 如果未明确指定 Dataproc 项目 ID,请确定使用的是哪个预配工具,然后检查项目 ID:

      1. 在流水线运行时参数中,检查 system.profile.name 值。

        获取运行时参数中的预配工具名称

      2. 打开预配工具设置,并检查是否已设置 Dataproc 项目 ID。如果此设置不存在或该字段为空,则使用运行 Cloud Data Fusion 实例的项目。

  2. 对于每个项目:

    1. 在 Google Cloud Console 中打开项目,并转到 Dataproc 集群页面。

      转到集群

    2. 按集群创建日期对集群进行排序(从最早到最新)。

    3. 如果信息面板处于隐藏状态,请点击显示信息面板并转到标签标签页。

    4. 对于每个未使用的集群(例如,超过一天的时间),请检查是否具有 Cloud Data Fusion 版本标签。这表示它是由 Cloud Data Fusion 创建的。

    5. 选中相应集群名称对应的复选框,然后点击删除