Résoudre les problèmes de suppression de clusters

Cette page explique comment résoudre les problèmes liés à la suppression de clusters Dataproc éphémères dans Cloud Data Fusion.

Lorsque Cloud Data Fusion crée un cluster Dataproc éphémère lors du provisionnement de l'exécution du pipeline, le cluster est supprimé une fois l'exécution du pipeline terminée. Dans de rares cas, la suppression du cluster échoue.

Recommandé: effectuez la mise à niveau vers la dernière version de Cloud Data Fusion pour assurer une maintenance appropriée du cluster.

Définir la durée maximale d'inactivité

Pour résoudre ce problème, configurez la valeur Max Idle Time (Délai d'inactivité maximal). Cela permet à Dataproc de supprimer automatiquement les clusters, même si un appel explicite à la fin du pipeline échoue.

Max Idle Time est disponible dans les versions 6.4 et ultérieures de Cloud Data Fusion.

Dans Cloud Data Fusion 6.6 et versions ultérieures, la valeur par défaut de Max Idle Time (Durée d'inactivité maximale) est de quatre heures.

Pour remplacer l'heure par défaut dans le profil de calcul par défaut, procédez comme suit:

  1. Ouvrez l'instance dans l'interface Web de Cloud Data Fusion.
  2. Cliquez sur Administrateur système > Configuration > Préférences système.
  3. Cliquez sur Modifier les préférences système, puis ajoutez la clé system.profile.properties.idleTTL et la valeur au format IntegerUnit, par exemple 30m.

Recommandé: Pour les versions antérieures à 6.6, définissez manuellement Max Idle Time sur 30 minutes ou plus.

Supprimer des clusters manuellement

Si vous ne pouvez pas mettre à niveau votre version ni configurer l'option Max Idle Time, supprimez plutôt manuellement les clusters obsolètes:

  1. Obtenez l'ID de chaque projet dans lequel les clusters ont été créés:

    1. Dans les arguments d'exécution du pipeline, vérifiez si l'ID de projet Dataproc est personnalisé pour l'exécution.

      Vérifier si l'ID de projet Dataproc est personnalisé pour l'exécution

    2. Si un ID de projet Dataproc n'est pas spécifié explicitement, déterminez le provisionneur utilisé, puis recherchez un ID de projet:

      1. Dans les arguments d'exécution du pipeline, vérifiez la valeur system.profile.name.

        Obtenir le nom du provisionneur dans les arguments d'exécution

      2. Ouvrez les paramètres du provisionneur et vérifiez si l'ID de projet Dataproc est défini. Si le paramètre n'est pas présent ou si le champ est vide, le projet dans lequel l'instance Cloud Data Fusion s'exécute est utilisé.

  2. Pour chaque projet:

    1. Ouvrez le projet dans la console Google Cloud, puis accédez à la page Clusters Dataproc.

      accéder aux clusters

    2. Triez les clusters par date de création, de la plus ancienne à la plus récente.

    3. Si le panneau d'informations est masqué, cliquez sur Afficher le panneau d'informations, puis accédez à l'onglet Libellés.

    4. Pour chaque cluster qui n'est pas utilisé (par exemple, si plus d'une journée s'est écoulée), vérifiez s'il comporte un libellé de version Cloud Data Fusion. Cela indique qu'il a été créé par Cloud Data Fusion.

    5. Cochez la case à côté du nom du cluster, puis cliquez sur Delete (Supprimer).

Ignorer la suppression du cluster

À des fins de débogage, vous pouvez arrêter la suppression automatique d'un cluster éphémère.

Pour arrêter la suppression, définissez la propriété Skip Cluster Deletion sur True. Vous devez supprimer manuellement le cluster une fois le débogage terminé.