Résoudre les problèmes de suppression de clusters

Cette page explique comment résoudre les problèmes liés à la suppression de clusters Dataproc éphémères dans Cloud Data Fusion.

Lorsque Cloud Data Fusion crée un cluster Dataproc éphémère lors du provisionnement de l'exécution du pipeline, le cluster est supprimé une fois l'exécution du pipeline terminée. Dans de rares cas, la suppression du cluster échoue.

Fortement recommandé: passez à la version la plus récente de Cloud Data Fusion pour garantir une maintenance correcte du cluster.

Définir la durée d'inactivité maximale

Pour résoudre ce problème, configurez la valeur Temps d'inactivité maximal. Cela permet à Dataproc de supprimer automatiquement les clusters, même en cas d'échec d'un appel explicite sur le pipeline.

Max Idle Time est disponible dans Cloud Data Fusion 6.4 et versions ultérieures.

Dans Cloud Data Fusion 6.6 et versions ultérieures, le temps d'inactivité maximal est défini sur 4 heures par défaut.

Pour remplacer le délai par défaut dans le profil de calcul par défaut, procédez comme suit:

  1. Ouvrez l'instance dans l'interface Web Cloud Data Fusion.
  2. Cliquez sur Admin système > Configuration > Préférences système.
  3. Cliquez sur Modifier les préférences système, puis ajoutez la clé system.profile.properties.idleTTL et la valeur au format IntegerUnit (par exemple, 30m).

Recommandé: Pour les versions antérieures à la version 6.6, définissez manuellement Max Idle Time sur 30 minutes ou plus.

Supprimer les clusters manuellement

Si vous ne pouvez pas mettre à niveau votre version ou configurer l'option Max Idle Time, supprimez manuellement les clusters obsolètes:

  1. Obtenez chaque ID de projet dans lequel les clusters ont été créés:

    1. Dans les arguments de l'environnement d'exécution du pipeline, vérifiez si l'ID du projet Dataproc est personnalisé pour l'exécution.

      Vérifier si l'ID de projet Dataproc est personnalisé pour l'exécution

    2. Si aucun ID de projet Dataproc n'est spécifié explicitement, déterminez l'approvisionneur utilisé, puis recherchez un ID de projet:

      1. Vérifiez la valeur system.profile.name dans les arguments de l'environnement d'exécution du pipeline.

        Obtenir le nom de l'approvisionneur dans les arguments d'exécution

      2. Ouvrez les paramètres de l'approvisionneur et vérifiez si l'ID du projet Dataproc est défini. Si le paramètre n'est pas présent ou si le champ est vide, le projet dans lequel l'instance Cloud Data Fusion s'exécute est utilisé.

  2. Pour chaque projet:

    1. Ouvrez le projet dans la console Google Cloud, puis accédez à la page Dataproc Clusters.

      accéder aux clusters

    2. Triez les clusters par date de création, du plus ancien au plus récent.

    3. Si le panneau d'informations est masqué, cliquez sur Afficher le panneau d'informations, puis accédez à l'onglet Libellés.

    4. Pour chaque cluster qui n'est pas utilisé (par exemple, plus d'une journée s'est écoulée), vérifiez s'il dispose d'un libellé de version Cloud Data Fusion. Cela indique qu'il a été créé par Cloud Data Fusion.

    5. Cochez la case à côté du nom du cluster, puis cliquez sur Supprimer.

Ignorer la suppression du cluster

À des fins de débogage, vous pouvez arrêter la suppression automatique d'un cluster éphémère.

Pour arrêter la suppression, définissez la propriété Skip Cluster Deletion sur True. Vous devrez supprimer manuellement le cluster une fois le débogage terminé.