Gérer les mises à niveau de version pour les instances et les pipelines
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Cette page explique comment mettre à niveau la version de vos instances ou de vos pipelines de traitement par lot.
Mettez à niveau vos instances et pipelines par lot Cloud Data Fusion vers les dernières versions de plate-forme et de plug-in pour bénéficier des dernières fonctionnalités, corrections de bugs et améliorations de performances.
Avant de commencer
Prévoyez un temps d'arrêt planifié pour la mise à niveau.
Le processus prend jusqu'à une heure.
In the Google Cloud console, activate Cloud Shell.
Une fois que vous avez créé une instance Cloud Data Fusion, vous ne pouvez plus modifier son édition, même en effectuant une mise à niveau.
N'effectuez pas de mise à niveau avec Terraform, car il supprime et recrée l'instance au lieu d'effectuer une mise à niveau sur place. Ce problème entraîne la perte de toutes les données existantes dans l'instance.
Cloud Data Fusion ne redémarre pas les pipelines qui s'arrêtent à la suite de l'opération de mise à niveau.
Lorsque vous mettez à niveau une instance à partir de versions antérieures à la version 6.11.0, attendez-vous à une plus longue indisponibilité pour la mise à niveau, en particulier si l'instance gère une grande quantité de données.
La mise à niveau des pipelines en temps réel n'est pas disponible, sauf pour les pipelines créés dans la version 6.8.0 avec une source Kafka en temps réel. Pour trouver une solution de contournement, consultez Mettre à niveau les pipelines en temps réel.
Mettre à niveau des instances Cloud Data Fusion
Pour mettre à jour une instance Cloud Data Fusion vers une nouvelle version de Cloud Data Fusion, accédez à la page Détails de l'instance :
Dans la Google Cloud console, accédez à la page Cloud Data Fusion.
Cliquez sur Instances, puis sur le nom de l'instance pour accéder à la page Détails de l'instance.
Effectuez ensuite la mise à niveau à l'aide de la console Google Cloud ou de la gcloud CLI :
Console
Cliquez sur Mettre à jour pour obtenir la liste des versions disponibles.
Sélectionnez une version.
Cliquez sur Mettre à niveau.
Vérifiez que la mise à niveau a réussi :
Actualisez la page Détails de l'instance.
Cliquez sur Afficher l'instance pour accéder à l'instance mise à niveau dans l'interface Web Cloud Data Fusion.
Cliquez sur Administrateur système dans la barre de menu.
Le nouveau numéro de version apparaît en haut de la page.
Pour éviter que vos pipelines ne soient bloqués lorsque vous les exécutez dans la nouvelle version, attribuez les rôles requis dans votre instance mise à niveau.
gcloud
Pour passer à une nouvelle version de Cloud Data Fusion, exécutez la commande gcloud CLI suivante à partir d'une session Cloud Shell de terminal local :
Facultatif : Vous pouvez transmettre les propriétés CDAP, telles que enable.unrecoverable.reset, en tant que --options.
Pour vérifier que la mise à niveau a réussi :
Dans la console Google Cloud , accédez à la page Instances de Cloud Data Fusion.
Cliquez sur Afficher l'instance pour accéder à l'instance mise à niveau dans l'interface Web Cloud Data Fusion.
Cliquez sur Administrateur système dans la barre de menu.
Le nouveau numéro de version apparaît en haut de la page.
Pour éviter que vos pipelines ne soient bloqués lorsque vous les exécutez dans la nouvelle version, attribuez les rôles requis dans votre instance mise à niveau.
Mettre à niveau des pipelines par lots
Pour mettre à jour vos pipelines par lots Cloud Data Fusion afin d'utiliser les dernières versions de plug-ins, procédez comme suit :
Recommandé : Sauvegardez tous les pipelines. Vous pouvez sauvegarder les pipelines de deux manières :
Pour télécharger le fichier ZIP :
Pour déclencher le téléchargement d'un fichier ZIP, sauvegardez tous les pipelines avec la commande suivante :
echo$CDAP_ENDPOINT/v3/export/apps
Copiez l'URL dans votre navigateur.
Extrayez le fichier téléchargé, puis vérifiez que tous les pipelines ont été exportés. Les pipelines sont organisés par espace de noms.
Sauvegardez les pipelines à l'aide de la gestion du contrôle du code source (SCM), disponible dans la version 6.9 et les versions ultérieures. SCM fournit une intégration GitHub que vous pouvez utiliser pour sauvegarder les pipelines.
Pour mettre à niveau les pipelines :
Créez une variable qui pointe vers le fichier pipeline_upgrade.json que vous allez créer à l'étape suivante pour enregistrer la liste des pipelines.
export PIPELINE_LIST=PATH/pipeline_upgrade.json
Remplacez PATH par le chemin d'accès au fichier.
Créez la liste de tous les pipelines d'une instance et d'un espace de noms à l'aide de la commande suivante. Le résultat est stocké dans le fichier $PIPELINE_LIST au format JSON. Vous pouvez modifier la liste pour supprimer les pipelines qui n'ont pas besoin d'être mis à niveau.
Remplacez NAMESPACE_ID par l'espace de noms dans lequel vous souhaitez effectuer la mise à niveau.
Mettez à jour les pipelines répertoriés dans pipeline_upgrade.json.
Insérez les NAMESPACE_ID des pipelines à mettre à jour.
La commande affiche une liste des pipelines mis à jour avec leur état de mise à jour.
Remplacez NAMESPACE_ID par l'ID de l'espace de noms des pipelines en cours de mise à niveau.
Pour éviter que vos pipelines ne soient bloqués lorsque vous les exécutez dans la nouvelle version, attribuez les rôles requis dans votre instance mise à niveau.
Mettre à niveau des pipelines en temps réel
La mise à niveau des pipelines en temps réel n'est pas disponible, sauf pour les pipelines créés dans la version 6.8.0 avec une source Kafka en temps réel.
Pour tout le reste, procédez plutôt comme suit :
Arrêtez et exportez les pipelines.
Mettez à niveau l'instance.
Importez les pipelines en temps réel dans votre instance mise à niveau.
Mettre à niveau pour activer la réplication
La réplication peut être activée dans les environnements Cloud Data Fusion version 6.3.0 ou ultérieure. Si vous disposez de la version 6.2.3, passez à la version 6.3.0, puis à la dernière version. Vous pouvez ensuite activer la réplication.
Attribuer des rôles pour les instances mises à niveau
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eThis guide explains how to upgrade Cloud Data Fusion instances and batch pipelines to the latest versions for improved features, bug fixes, and performance.\u003c/p\u003e\n"],["\u003cp\u003eBefore initiating an upgrade, it is mandatory to stop all running pipelines, suspend scheduled pipelines, and disable upstream triggers to avoid unpredictable issues and ensure instance availability.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading a Cloud Data Fusion instance involves selecting a new version through the Google Cloud console or gcloud CLI, followed by verification of the successful upgrade within the instance's web interface.\u003c/p\u003e\n"],["\u003cp\u003eBatch pipeline upgrades require backing up pipelines, either by downloading a zip file or using Source Control Management, followed by using a specific command-line process to upgrade the pipelines listed in a JSON file.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading real-time pipelines is generally not supported, but for real-time pipelines that were created with Kafka in version 6.8.0 it is, and a workaround for other real-time pipelines is to export the pipeline, upgrade the instance, then import the real-time pipeline into the new instance.\u003c/p\u003e\n"]]],[],null,["# Manage version upgrades for instances and pipelines\n\nThis page describes upgrading the version of your instances or batch\npipelines.\n\nUpgrade your Cloud Data Fusion instances and batch pipelines to the latest\nplatform and plugin versions for the latest features, bug fixes, and performance\nimprovements.\n\nBefore you begin\n----------------\n\n| **Caution:** Before you upgrade, stop all running pipelines, suspend all pipeline schedules and disable all upstream triggers, such as Cloud Composer triggers. Upgrading an instance that has running pipelines can have unpredictable results and affect instance availability.\n\n- **Plan a scheduled downtime for the upgrade.** The process takes up to an hour.\n- In the Google Cloud console, activate Cloud Shell.\n\n [Activate Cloud Shell](https://console.cloud.google.com/?cloudshell=true)\n\n\u003cbr /\u003e\n\nLimitations\n-----------\n\n- After you create a Cloud Data Fusion instance, you cannot change its\n edition, even through an upgrade operation.\n\n- Don't trigger an upgrade with Terraform, as it deletes and recreates the\n instance, instead of performing an in-place upgrade. This issue results\n in the loss of any existing data within the instance.\n\n- Cloud Data Fusion doesn't restart pipelines that stop as a result of\n the upgrade operation.\n\n- When you upgrade an instance from versions prior to 6.11.0, expect greater\n downtime for the upgrade, especially if the instance handles a lot of data.\n\n- Upgrading real-time pipelines isn't supported, except in pipelines created\n in version 6.8.0 with a Kafka real-time source. For a workaround, see\n [Upgrade real-time pipelines](#upgrade-real-time-pipelines).\n\nUpgrade Cloud Data Fusion instances\n-----------------------------------\n\nTo upgrade a Cloud Data Fusion instance to a new Cloud Data Fusion\nversion, go to the **Instance details** page:\n\n1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n2. Click **Instances** , and then click the instance's name to go to the\n **Instance details** page.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n\nThen perform the upgrade using either the Google Cloud console or\ngcloud CLI: \n\n### Console\n\n1. Click **Upgrade** for a list of available versions.\n\n2. Select a version.\n\n3. Click **Upgrade**.\n\n4. Verify that the upgrade was successful:\n\n 1. Refresh the **Instance details** page.\n\n 2. Click **View instance** to access the upgraded instance in the\n Cloud Data Fusion web interface.\n\n 3. Click **System admin** in the menu bar.\n\n The new version number appears at the top of the page.\n5. To prevent your pipelines from getting stuck when you run them in the\n new version, [grant the required roles](#grant-roles) in your upgraded\n instance.\n\n### gcloud\n\n1. To upgrade to a new Cloud Data Fusion version, run the following\n gcloud CLI command from a local terminal\n [Cloud Shell](https://console.cloud.google.com/?cloudshell=true) session:\n\n gcloud beta data-fusion instances update \u003cvar translate=\"no\"\u003eINSTANCE_ID\u003c/var\u003e \\\n --project=\u003cvar translate=\"no\"\u003ePROJECT_ID\u003c/var\u003e \\\n --location=\u003cvar translate=\"no\"\u003eLOCATION_NAME\u003c/var\u003e \\\n --version=\u003cvar translate=\"no\"\u003eAVAILABLE_INSTANCE_VERSION\u003c/var\u003e\n\n - Optional: If applicable for your instance, add the\n [`--enable_stackdriver_logging`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--enable_stackdriver_logging),\n [`--enable_stackdriver_monitoring`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--enable_stackdriver_monitoring), and\n [`--labels`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--labels) flags.\n\n - Optional: You can pass the CDAP properties, such as\n `enable.unrecoverable.reset`, as\n [`--options`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--options).\n\n2. Verify that the upgrade was successful by following these steps:\n\n 1. In the Google Cloud console, go to the Cloud Data Fusion\n **Instances** page.\n\n 2. Click **View instance** to access the upgraded instance in the\n Cloud Data Fusion web interface.\n\n 3. Click **System Admin** in the menu bar.\n\n The new version number appears at the top of the page.\n3. To prevent your pipelines from getting stuck when you run them in the\n new version, [grant the required roles](#grant-roles) in your upgraded\n instance.\n\nUpgrade batch pipelines\n-----------------------\n\nTo upgrade your Cloud Data Fusion batch pipelines to use the latest\nplugin versions:\n\n1. [Set environment variables](/data-fusion/docs/reference/cdap-reference#set-up).\n\n2. **Recommended:** Back up all pipelines. You can back up pipelines in one of\n two ways:\n\n - Download the zip file by following these steps:\n\n 1. To trigger a zip file download, back up all pipelines with the following command:\n\n echo $CDAP_ENDPOINT/v3/export/apps\n\n 1. Copy the URL output to your browser.\n 2. Extract the downloaded file, then confirm that all pipelines were exported. The pipelines are organized by namespace.\n - Back up pipelines using [Source Control Management](/data-fusion/docs/how-to/source-control-management)\n (SCM), available in version 6.9 and later. SCM provides GitHub\n integration, which you can use to back up pipelines.\n\n3. Upgrade pipelines by following these steps:\n\n 1. Create a variable that points to the `pipeline_upgrade.json` file that\n you will create in the next step to save a list of pipelines.\n\n export PIPELINE_LIST=\u003cvar translate=\"no\"\u003ePATH\u003c/var\u003e/pipeline_upgrade.json\n\n Replace \u003cvar translate=\"no\"\u003ePATH\u003c/var\u003e with the path to the file.\n 2. Create a list of all pipelines for an instance and namespace using\n the following command. The result is stored in the `$PIPELINE_LIST` file\n in `JSON` format. You can edit the list to remove pipelines that don't\n need upgrades.\n\n curl -H \"Authorization: Bearer $(gcloud auth print-access-token)\" -H \"Content-Type: application/json\" ${CDAP_ENDPOINT}/v3/namespaces/\u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e/apps -o $PIPELINE_LIST\n\n Replace \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e with the namespace where you want the\n upgrade to happen.\n 3. Upgrade the pipelines listed in `pipeline_upgrade.json`.\n Insert the \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e of pipelines to be upgraded.\n The command displays a list of upgraded pipelines with their upgrade\n status.\n\n curl -N -H \"Authorization: Bearer $(gcloud auth print-access-token)\" -H \"Content-Type: application/json\" ${CDAP_ENDPOINT}/v3/namespaces/\u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e/upgrade --data @$PIPELINE_LIST\n\n Replace \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e with the namespace ID of the pipelines\n that are getting upgraded.\n4. To prevent your pipelines from getting stuck when you run them in the new\n version, [grant the required roles](#grant-roles) in your upgraded instance.\n\nUpgrade real-time pipelines\n---------------------------\n\nUpgrading real-time pipelines is not supported, except in pipelines created in\nversion 6.8.0 with a Kafka real-time source.\n\nFor everything else, you instead do the following:\n\n1. Stop and export the pipelines.\n2. Upgrade the instance.\n3. Import the real-time pipelines into your upgraded instance.\n\nUpgrade to enable Replication\n-----------------------------\n\nReplication can be enabled in Cloud Data Fusion\nenvironments in version 6.3.0 or later. If you have version 6.2.3, upgrade to\n6.3.0, then upgrade to the latest version. You can then [enable Replication](/data-fusion/docs/how-to/enable-replication).\n\nGrant roles for upgraded instances\n----------------------------------\n\nAfter the upgrade completes, grant the\n[Cloud Data Fusion Runner role](/data-fusion/docs/how-to/granting-service-account-permission#runtime-permission)\n(`roles/datafusion.runner`) and\n[Cloud Storage Admin role](/data-fusion/docs/how-to/granting-service-account-permission#admin-permission)\n(`roles/storage.admin`) to the Dataproc service account in your\n[project](/data-fusion/docs/concepts/security#projects).\n\nWhat's next\n-----------\n\n- [Manage patch revisions](/data-fusion/docs/how-to/upgrade-to-patch-revision) for Cloud Data Fusion instances.\n- Learn about [versioning in Cloud Data Fusion](/data-fusion/docs/concepts/versioning).\n- Refer to the [available version and patch revision upgrades](/data-fusion/docs/concepts/available-upgrades).\n- [Troubleshoot upgrades](/data-fusion/docs/support/troubleshoot-upgrades)."]]
