Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Cette page explique comment résoudre les problèmes liés à la suppression de clusters Dataproc éphémères dans Cloud Data Fusion.
Lorsque Cloud Data Fusion crée un cluster Dataproc éphémère lors du provisionnement de l'exécution du pipeline, le cluster est supprimé une fois l'exécution du pipeline terminée. Dans de rares cas, la suppression du cluster échoue.
Recommandé: effectuez la mise à niveau vers la dernière version de Cloud Data Fusion pour assurer une maintenance appropriée du cluster.
Définir la durée maximale d'inactivité
Pour résoudre ce problème, configurez la valeur Max Idle Time (Délai d'inactivité maximal). Cela permet à Dataproc de supprimer automatiquement les clusters, même si un appel explicite à la fin du pipeline échoue.
Max Idle Time est disponible dans les versions 6.4 et ultérieures de Cloud Data Fusion.
Dans Cloud Data Fusion 6.6 et versions ultérieures, la valeur par défaut de Max Idle Time (Durée d'inactivité maximale) est de quatre heures.
Pour remplacer l'heure par défaut dans le profil de calcul par défaut, procédez comme suit:
Ouvrez l'instance dans l'interface Web de Cloud Data Fusion.
Cliquez sur Administrateur système>Configuration>Préférences système.
Cliquez sur Modifier les préférences système, puis ajoutez la clé system.profile.properties.idleTTL et la valeur au format IntegerUnit, par exemple 30m.
Recommandé: Pour les versions antérieures à 6.6, définissez manuellement Max Idle Time sur 30 minutes ou plus.
Supprimer des clusters manuellement
Si vous ne pouvez pas mettre à niveau votre version ni configurer l'option Max Idle Time, supprimez plutôt manuellement les clusters obsolètes:
Obtenez l'ID de chaque projet dans lequel les clusters ont été créés:
Dans les arguments d'exécution du pipeline, vérifiez si l'ID de projet Dataproc est personnalisé pour l'exécution.
Si un ID de projet Dataproc n'est pas spécifié explicitement, déterminez le provisionneur utilisé, puis recherchez un ID de projet:
Dans les arguments d'exécution du pipeline, vérifiez la valeur system.profile.name.
Ouvrez les paramètres du provisionneur et vérifiez si l'ID de projet Dataproc est défini. Si le paramètre n'est pas présent ou si le champ est vide, le projet dans lequel l'instance Cloud Data Fusion s'exécute est utilisé.
Pour chaque projet:
Ouvrez le projet dans la console Google Cloud , puis accédez à la page Clusters (Clusters) de Dataproc.
Triez les clusters par date de création, de la plus ancienne à la plus récente.
Si le panneau d'informations est masqué, cliquez sur Afficher le panneau d'informations, puis accédez à l'onglet Libellés.
Pour chaque cluster qui n'est pas utilisé (par exemple, si plus d'une journée s'est écoulée), vérifiez s'il comporte un libellé de version Cloud Data Fusion. Cela indique qu'il a été créé par Cloud Data Fusion.
Cochez la case à côté du nom du cluster, puis cliquez sur Delete (Supprimer).
Ignorer la suppression du cluster
À des fins de débogage, vous pouvez arrêter la suppression automatique d'un cluster éphémère.
Pour arrêter la suppression, définissez la propriété Skip Cluster Deletion sur True. Vous devez supprimer manuellement le cluster une fois le débogage terminé.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eThis guide addresses the issue of failed ephemeral Dataproc cluster deletions in Cloud Data Fusion, which can occur after a pipeline run.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading to the latest Cloud Data Fusion version is strongly recommended to ensure automatic cluster cleanup.\u003c/p\u003e\n"],["\u003cp\u003eConfiguring the \u003ccode\u003eMax Idle Time\u003c/code\u003e setting (available in versions 6.4+) enables automatic cluster deletion by Dataproc even if the pipeline deletion fails, with a default of 4 hours in version 6.6+.\u003c/p\u003e\n"],["\u003cp\u003eIf upgrading or setting \u003ccode\u003eMax Idle Time\u003c/code\u003e isn't possible, you can manually delete stale clusters by identifying the relevant project IDs and deleting the clusters from the Dataproc Clusters page.\u003c/p\u003e\n"],["\u003cp\u003eFor debugging, the \u003ccode\u003eSkip Cluster Deletion\u003c/code\u003e property can be set to \u003ccode\u003eTrue\u003c/code\u003e to prevent cluster deletion after a pipeline run, but you must manually delete the cluster afterward.\u003c/p\u003e\n"]]],[],null,["# Troubleshoot deleting clusters\n\nThis page shows you how to resolve issues with deleting ephemeral\nDataproc clusters in Cloud Data Fusion.\n\nWhen Cloud Data Fusion creates an ephemeral Dataproc cluster\nduring pipeline run provisioning, the cluster gets deleted after the pipeline\nrun is finished. In rare cases, the cluster deletion fails.\n\n**Strongly recommended**: Upgrade to the most recent Cloud Data Fusion\nversion to ensure proper cluster maintenance.\n\nSet Max Idle Time\n-----------------\n\nTo resolve this issue, configure the **Max Idle Time** value. This lets\nDataproc delete clusters automatically, even if an explicit call\non the pipeline finish fails.\n\n`Max Idle Time` is available in Cloud Data Fusion versions 6.4 and later.\n\nIn Cloud Data Fusion 6.6 and later, **Max Idle Time** is set to 4 hours by\ndefault.\n\nTo override the default time in the default compute profile, follow these steps:\n\n1. Open the instance in the Cloud Data Fusion web interface.\n2. Click **System Admin** \\\u003e **Configuration** \\\u003e **System\n Preferences**.\n3. Click **Edit System Preferences** and add the key `system.profile.properties.idleTTL` and the value, in IntegerUnit format, such as `30m`.\n\n**Recommended** : For versions before 6.6, set `Max Idle Time` manually to 30\nminutes or greater.\n\nDelete clusters manually\n------------------------\n\nIf you cannot upgrade your version or configure the `Max Idle Time` option,\ninstead delete stale clusters manually:\n\n1. Get each project ID where the clusters were created:\n\n 1. In the pipeline's runtime arguments, check if the\n Dataproc project ID is customized for the run.\n\n 2. If a Dataproc project ID is not specified explicitly,\n determine which provisioner is used, and then check for a project ID:\n\n 1. In the pipeline runtime arguments, check the `system.profile.name`\n value.\n\n 2. Open the provisioner settings and check if the\n Dataproc project ID is set. If the setting is not\n present or the field is empty, the project that the\n Cloud Data Fusion instance is running in is used.\n\n | **Important:** Multiple pipeline runs might use different projects. Be sure to get all of the project IDs.\n2. For each project:\n\n 1. Open the project in the Google Cloud console and go to the\n Dataproc **Clusters** page.\n\n [Go to Clusters](https://console.cloud.google.com/dataproc/clusters)\n 2. Sort the clusters by the date that they were created, from oldest to\n newest.\n\n 3. If the info panel is hidden, click **Show info panel** and go to the\n **Labels** tab.\n\n 4. For every cluster that is not in use---for example, more than a day has\n elapsed---check if it has a Cloud Data Fusion version label. That\n is an indication that it was created by Cloud Data Fusion.\n\n 5. Select the checkbox by the cluster name and click **Delete**.\n\nSkip cluster deletion\n---------------------\n\nFor debugging purposes, you can stop the automatic deletion of an ephemeral\ncluster.\n\nTo stop the deletion, set the `Skip Cluster Deletion` property to `True`. You\nmust manually delete the cluster after you finish debugging."]]
