Soluciona problemas: Borra clústeres

En esta página, se muestra cómo resolver problemas relacionados con la eliminación de clústeres efímeros de Dataproc en Cloud Data Fusion.

Cuando Cloud Data Fusion crea un clúster efímero de Dataproc durante el aprovisionamiento de ejecución de la canalización, el clúster se borra una vez finalizada la ejecución de la canalización. En casos excepcionales, la eliminación del clúster falla.

Recomendación: Actualiza a la versión más reciente de Cloud Data Fusion para garantizar un mantenimiento adecuado del clúster.

Establecer tiempo de inactividad máximo

Para resolver este problema, configura la opción Max Idle Time. Esto permite que Dataproc borre clústeres de forma automática, incluso si falla una llamada explícita en la canalización.

Max Idle Time está disponible en Cloud Data Fusion 6.4 y versiones posteriores.

Recomendado: Para versiones anteriores a 6.6, configura Max Idle Time de forma manual en 30 minutos o más.

Borrar clústeres de forma manual

Si no puedes actualizar la versión o configurar la opción Max Idle Time, borra los clústeres inactivos de forma manual:

  1. Obtén cada ID del proyecto en el que se crearon los clústeres:

    1. En los argumentos del entorno de ejecución de la canalización, verifica si el ID del proyecto de Dataproc está personalizado para la ejecución.

      Verifica si el ID del proyecto de Dataproc está personalizado para la ejecución

    2. Si un ID del proyecto de Dataproc no se especifica de forma explícita, determina qué aprovisionador se usa y, luego, busca un ID del proyecto:

      1. En los argumentos del entorno de ejecución de la canalización, verifica el valor system.profile.name.

        Obtén el nombre del aprovisionador en los argumentos del entorno de ejecución

      2. Abre la configuración del aprovisionador y verifica si se configuró el ID del proyecto de Dataproc. Si la configuración no está presente o el campo está vacío, se usa el proyecto en el que se ejecuta la instancia de Cloud Data Fusion.

  2. Para cada proyecto:

    1. Abre el proyecto en Google Cloud Console y ve a la página Clústeres de Dataproc.

      Ir a los clústeres

    2. Ordena los clústeres por fecha de creación, del más antiguo al más reciente.

    3. Si el panel de información está oculto, haz clic en Mostrar panel de información y ve a la pestaña Etiquetas.

    4. Por cada clúster que no esté en uso (por ejemplo, que haya transcurrido más de un día), verifica si tiene una etiqueta de versión de Cloud Data Fusion. Esto indica que lo creó Cloud Data Fusion.

    5. Selecciona la casilla de verificación junto al nombre del clúster y haz clic en Borrar.