Dépannage: supprimer des clusters

Cette page vous explique comment résoudre les problèmes liés à la suppression des clusters Dataproc éphémères dans Cloud Data Fusion.

Lorsque Cloud Data Fusion crée un cluster éphémère Dataproc lors du provisionnement de l'exécution du pipeline, celui-ci est supprimé une fois l'exécution du pipeline terminée. Dans de rares cas, la suppression du cluster échoue.

Fortement recommandé: passez à la version la plus récente de Cloud Data Fusion pour garantir la maintenance correcte du cluster.

Définir le temps d'inactivité maximal

Pour résoudre ce problème, configurez l'option Max Idle Time. Cela permet à Dataproc de supprimer automatiquement les clusters, même en cas d'échec d'un appel explicite sur la fin du pipeline.

Max Idle Time est disponible dans Cloud Data Fusion version 6.4 et ultérieure.

Recommandé: Pour les versions avant 6.6, définissez Max Idle Time manuellement sur 30 minutes ou plus.

Supprimer des clusters manuellement

Si vous ne pouvez pas mettre à niveau votre version ni configurer l'option Max Idle Time, supprimez manuellement les clusters obsolètes:

  1. Récupérez chaque ID de projet dans lequel les clusters ont été créés:

    1. Dans les arguments d'exécution du pipeline, vérifiez si l'ID du projet Dataproc est personnalisé pour l'exécution.

      Vérifier si l'ID du projet Dataproc est personnalisé pour l'exécution

    2. Si un ID de projet Dataproc n'est pas spécifié explicitement, déterminez l'approvisionneur utilisé, puis recherchez un ID de projet:

      1. Dans les arguments d'exécution du pipeline, vérifiez la valeur system.profile.name.

        Obtenir le nom de l'approvisionneur dans les arguments d'exécution

      2. Ouvrez les paramètres de l'approvisionneur et vérifiez si l'ID du projet Dataproc est défini. Si le paramètre n'est pas présent ou que le champ est vide, le projet dans lequel l'instance Cloud Data Fusion est en cours d'exécution est utilisé.

  2. Pour chaque projet:

    1. Ouvrez le projet dans Google Cloud Console et accédez à la page Clusters de Dataproc.

      accéder aux clusters

    2. Triez les clusters par date de création, de la plus ancienne à la plus récente.

    3. Si le panneau d'informations est masqué, cliquez sur Afficher le panneau d'informations, puis accédez à l'onglet Libellés.

    4. Pour chaque cluster non utilisé (par exemple, plus d'une journée), vérifiez s'il possède une étiquette de version Cloud Data Fusion. Cela indique que Cloud Data Fusion a été créé.

    5. Cochez la case à côté du nom du cluster, puis cliquez sur Supprimer.