Solucionar problemas al eliminar clústeres

En esta página se explica cómo resolver problemas al eliminar clústeres de Dataproc efímeros en Cloud Data Fusion.

Cuando Cloud Data Fusion crea un clúster de Dataproc efímero durante el aprovisionamiento de la ejecución de un flujo de procesamiento, el clúster se elimina una vez que finaliza la ejecución del flujo de procesamiento. En casos excepcionales, no se puede eliminar el clúster.

Muy recomendable: actualiza a la versión más reciente de Cloud Data Fusion para asegurarte de que el mantenimiento del clúster es adecuado.

Definir tiempo máximo de inactividad

Para solucionar este problema, configure el valor Tiempo máximo de inactividad. De esta forma, Dataproc puede eliminar clústeres automáticamente, aunque falle una llamada explícita al finalizar la canalización.

Max Idle Time está disponible en Cloud Data Fusion 6.4 y versiones posteriores.

En Cloud Data Fusion 6.6 y versiones posteriores, el valor predeterminado de Tiempo máximo de inactividad es de 4 horas.

Para anular el tiempo predeterminado en el perfil de cálculo predeterminado, sigue estos pasos:

1. Abre la instancia en la interfaz web de Cloud Data Fusion.
2. Haz clic en Administrador del sistema > Configuración > Preferencias del sistema.
3. Haz clic en Editar preferencias del sistema y añade la clave system.profile.properties.idleTTL y el valor, en formato IntegerUnit, como 30m.

Recomendación: En las versiones anteriores a la 6.6, define Max Idle Time manualmente en 30 minutos o más.

Eliminar clústeres manualmente

Si no puedes actualizar tu versión o configurar la opción Max Idle Time, elimina los clústeres obsoletos manualmente:

1. Obtén el ID de cada proyecto en el que se crearon los clústeres:

   1. En los argumentos de tiempo de ejecución de la canalización, comprueba si el ID del proyecto de Dataproc se ha personalizado para la ejecución.

      

   2. Si no se especifica explícitamente un ID de proyecto de Dataproc, determina qué aprovisionador se utiliza y, a continuación, busca un ID de proyecto:

      1. En los argumentos de tiempo de ejecución de la canalización, comprueba el valor de system.profile.name.

         

      2. Abre los ajustes del aprovisionador y comprueba si se ha definido el ID del proyecto de Dataproc. Si el ajuste no está presente o el campo está vacío, se usa el proyecto en el que se ejecuta la instancia de Cloud Data Fusion.

   Importante: Es posible que se usen diferentes proyectos en varias ejecuciones de la misma canalización. Asegúrate de obtener todos los IDs de proyecto.

2. En cada proyecto:

   1. Abre el proyecto en la consola Google Cloud y ve a la página Clústeres de Dataproc.

      Ir a Clústeres

   2. Ordena los clústeres por la fecha en la que se crearon, de más antiguo a más reciente.

   3. Si el panel de información está oculto, haz clic en Mostrar panel de información y ve a la pestaña Etiquetas.

   4. En cada clúster que no se esté usando (por ejemplo, si ha pasado más de un día), comprueba si tiene una etiqueta de versión de Cloud Data Fusion. Esto indica que se ha creado con Cloud Data Fusion.

   5. Selecciona la casilla situada junto al nombre del clúster y haz clic en Eliminar.

Omitir la eliminación del clúster

Para depurar, puedes detener la eliminación automática de un clúster efímero.

Para detener la eliminación, asigna el valor True a la propiedad Skip Cluster Deletion. Debes eliminar manualmente el clúster después de terminar la depuración.