Administra las actualizaciones de versión de instancias y canalizaciones
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
En esta página, se describe cómo actualizar la versión de tus instancias o de tus canalizaciones por lotes.
Actualiza tus instancias y canalizaciones por lotes de Cloud Data Fusion a las versiones más recientes de la plataforma y los complementos para obtener las funciones más recientes, correcciones de errores y mejoras de rendimiento.
Antes de comenzar
Actualizar una instancia que tiene canalizaciones en ejecución puede generar resultados impredecibles y afectar la disponibilidad de la instancia.
Planifica un tiempo de inactividad programado para realizar la actualización.
El proceso puede tardar hasta una hora.
In the Google Cloud console, activate Cloud Shell.
Después de crear una instancia de Cloud Data Fusion, no puedes cambiar su edición, ni siquiera a través de una operación de actualización.
No actives una actualización con Terraform, ya que borra y vuelve a crear la instancia en lugar de realizar una actualización in situ. Este problema provoca la pérdida de todos los datos existentes en la instancia.
Cloud Data Fusion no reinicia las canalizaciones que se detienen como resultado de la operación de actualización.
Cuando actualices una instancia desde versiones anteriores a la 6.11.0, espera un mayor tiempo de inactividad para la actualización, en especial si la instancia controla una gran cantidad de datos.
No se admite la actualización de canalizaciones en tiempo real, excepto en las canalizaciones creadas en la versión 6.8.0 con una fuente en tiempo real de Kafka. Para obtener una solución alternativa, consulta Actualiza canalizaciones en tiempo real.
Actualiza las instancias de Cloud Data Fusion
Para actualizar una instancia de Cloud Data Fusion a una versión nueva, ve a la página Detalles de la instancia:
En la Google Cloud consola, ve a la página de Cloud Data Fusion.
Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.
Luego, realiza la actualización con la consola de Google Cloud o gcloud CLI:
Console
Haz clic en Actualizar para obtener una lista de las versiones disponibles.
Selecciona una versión.
Haz clic en Actualizar.
Verifica que la actualización se haya realizado correctamente:
Actualiza la página Detalles de la instancia.
Haz clic en Ver instancia para acceder a la instancia actualizada en la interfaz web de Cloud Data Fusion.
Haz clic en Administrador del sistema en la barra de menú.
El número de la versión nueva aparecerá en la parte superior de la página.
Para evitar que tus canalizaciones se detengan cuando las ejecutes en la nueva versión, otorga los roles necesarios en tu instancia actualizada.
gcloud
Para actualizar a una nueva versión de Cloud Data Fusion, ejecuta el siguiente comando de gcloud CLI desde una sesión de Cloud Shell de la terminal local:
Recomendación: Crea una copia de seguridad de todas las canalizaciones. Puedes crear copias de seguridad de las canalizaciones de dos maneras:
Para descargar el archivo zip, sigue estos pasos:
Para activar la descarga de un archivo ZIP, haz una copia de seguridad de todas las canalizaciones con el siguiente comando:
echo$CDAP_ENDPOINT/v3/export/apps
Copia la URL resultante en tu navegador.
Extrae el archivo descargado y confirma que se exportaron todas las canalizaciones. Las canalizaciones se organizan por espacio de nombres.
Haz copias de seguridad de las canalizaciones con la Administración de control de código fuente (SCM), disponible en la versión 6.9 y posteriores. SCM proporciona integración con GitHub, que puedes usar para crear copias de seguridad de las canalizaciones.
Sigue estos pasos para actualizar las canalizaciones:
Crea una variable que apunte al archivo pipeline_upgrade.json que crearás en el siguiente paso para guardar una lista de canalizaciones.
export PIPELINE_LIST=PATH/pipeline_upgrade.json
Reemplaza PATH por la ruta de acceso al archivo.
Crea una lista de todas las canalizaciones para una instancia y un espacio de nombres con el siguiente comando. El resultado se almacena en el archivo $PIPELINE_LIST en formato JSON. Puedes editar la lista para quitar las canalizaciones que no necesitan actualizaciones.
Reemplaza NAMESPACE_ID por el espacio de nombres donde quieres que se realice la actualización.
Actualiza las canalizaciones enumeradas en pipeline_upgrade.json.
Inserta el NAMESPACE_ID de las canalizaciones que se actualizarán.
El comando muestra una lista de canalizaciones actualizadas con su estado de actualización.
Reemplaza NAMESPACE_ID por el ID del espacio de nombres de las canalizaciones que se actualizarán.
Para evitar que tus canalizaciones se detengan cuando las ejecutes en la nueva versión, otorga los roles necesarios en tu instancia actualizada.
Actualiza las canalizaciones en tiempo real
No se admite la actualización de canalizaciones en tiempo real, excepto en las canalizaciones creadas en la versión 6.8.0 con una fuente en tiempo real de Kafka.
Para todo lo demás, haz lo siguiente:
Detén y exporta las canalizaciones.
Actualiza la instancia.
Importa las canalizaciones en tiempo real a tu instancia actualizada.
Actualiza para habilitar la replicación
La replicación se puede habilitar en entornos de Cloud Data Fusion 6.3.0 y versiones posteriores. Si tienes la versión 6.2.3, actualiza a la versión 6.3.0 y, luego, a la versión más reciente. Luego, puedes habilitar la replicación.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[[["\u003cp\u003eThis guide explains how to upgrade Cloud Data Fusion instances and batch pipelines to the latest versions for improved features, bug fixes, and performance.\u003c/p\u003e\n"],["\u003cp\u003eBefore initiating an upgrade, it is mandatory to stop all running pipelines, suspend scheduled pipelines, and disable upstream triggers to avoid unpredictable issues and ensure instance availability.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading a Cloud Data Fusion instance involves selecting a new version through the Google Cloud console or gcloud CLI, followed by verification of the successful upgrade within the instance's web interface.\u003c/p\u003e\n"],["\u003cp\u003eBatch pipeline upgrades require backing up pipelines, either by downloading a zip file or using Source Control Management, followed by using a specific command-line process to upgrade the pipelines listed in a JSON file.\u003c/p\u003e\n"],["\u003cp\u003eUpgrading real-time pipelines is generally not supported, but for real-time pipelines that were created with Kafka in version 6.8.0 it is, and a workaround for other real-time pipelines is to export the pipeline, upgrade the instance, then import the real-time pipeline into the new instance.\u003c/p\u003e\n"]]],[],null,["# Manage version upgrades for instances and pipelines\n\nThis page describes upgrading the version of your instances or batch\npipelines.\n\nUpgrade your Cloud Data Fusion instances and batch pipelines to the latest\nplatform and plugin versions for the latest features, bug fixes, and performance\nimprovements.\n\nBefore you begin\n----------------\n\n| **Caution:** Before you upgrade, stop all running pipelines, suspend all pipeline schedules and disable all upstream triggers, such as Cloud Composer triggers. Upgrading an instance that has running pipelines can have unpredictable results and affect instance availability.\n\n- **Plan a scheduled downtime for the upgrade.** The process takes up to an hour.\n- In the Google Cloud console, activate Cloud Shell.\n\n [Activate Cloud Shell](https://console.cloud.google.com/?cloudshell=true)\n\n\u003cbr /\u003e\n\nLimitations\n-----------\n\n- After you create a Cloud Data Fusion instance, you cannot change its\n edition, even through an upgrade operation.\n\n- Don't trigger an upgrade with Terraform, as it deletes and recreates the\n instance, instead of performing an in-place upgrade. This issue results\n in the loss of any existing data within the instance.\n\n- Cloud Data Fusion doesn't restart pipelines that stop as a result of\n the upgrade operation.\n\n- When you upgrade an instance from versions prior to 6.11.0, expect greater\n downtime for the upgrade, especially if the instance handles a lot of data.\n\n- Upgrading real-time pipelines isn't supported, except in pipelines created\n in version 6.8.0 with a Kafka real-time source. For a workaround, see\n [Upgrade real-time pipelines](#upgrade-real-time-pipelines).\n\nUpgrade Cloud Data Fusion instances\n-----------------------------------\n\nTo upgrade a Cloud Data Fusion instance to a new Cloud Data Fusion\nversion, go to the **Instance details** page:\n\n1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n2. Click **Instances** , and then click the instance's name to go to the\n **Instance details** page.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n\nThen perform the upgrade using either the Google Cloud console or\ngcloud CLI: \n\n### Console\n\n1. Click **Upgrade** for a list of available versions.\n\n2. Select a version.\n\n3. Click **Upgrade**.\n\n4. Verify that the upgrade was successful:\n\n 1. Refresh the **Instance details** page.\n\n 2. Click **View instance** to access the upgraded instance in the\n Cloud Data Fusion web interface.\n\n 3. Click **System admin** in the menu bar.\n\n The new version number appears at the top of the page.\n5. To prevent your pipelines from getting stuck when you run them in the\n new version, [grant the required roles](#grant-roles) in your upgraded\n instance.\n\n### gcloud\n\n1. To upgrade to a new Cloud Data Fusion version, run the following\n gcloud CLI command from a local terminal\n [Cloud Shell](https://console.cloud.google.com/?cloudshell=true) session:\n\n gcloud beta data-fusion instances update \u003cvar translate=\"no\"\u003eINSTANCE_ID\u003c/var\u003e \\\n --project=\u003cvar translate=\"no\"\u003ePROJECT_ID\u003c/var\u003e \\\n --location=\u003cvar translate=\"no\"\u003eLOCATION_NAME\u003c/var\u003e \\\n --version=\u003cvar translate=\"no\"\u003eAVAILABLE_INSTANCE_VERSION\u003c/var\u003e\n\n - Optional: If applicable for your instance, add the\n [`--enable_stackdriver_logging`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--enable_stackdriver_logging),\n [`--enable_stackdriver_monitoring`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--enable_stackdriver_monitoring), and\n [`--labels`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--labels) flags.\n\n - Optional: You can pass the CDAP properties, such as\n `enable.unrecoverable.reset`, as\n [`--options`](/sdk/gcloud/reference/beta/data-fusion/instances/update#--options).\n\n2. Verify that the upgrade was successful by following these steps:\n\n 1. In the Google Cloud console, go to the Cloud Data Fusion\n **Instances** page.\n\n 2. Click **View instance** to access the upgraded instance in the\n Cloud Data Fusion web interface.\n\n 3. Click **System Admin** in the menu bar.\n\n The new version number appears at the top of the page.\n3. To prevent your pipelines from getting stuck when you run them in the\n new version, [grant the required roles](#grant-roles) in your upgraded\n instance.\n\nUpgrade batch pipelines\n-----------------------\n\nTo upgrade your Cloud Data Fusion batch pipelines to use the latest\nplugin versions:\n\n1. [Set environment variables](/data-fusion/docs/reference/cdap-reference#set-up).\n\n2. **Recommended:** Back up all pipelines. You can back up pipelines in one of\n two ways:\n\n - Download the zip file by following these steps:\n\n 1. To trigger a zip file download, back up all pipelines with the following command:\n\n echo $CDAP_ENDPOINT/v3/export/apps\n\n 1. Copy the URL output to your browser.\n 2. Extract the downloaded file, then confirm that all pipelines were exported. The pipelines are organized by namespace.\n - Back up pipelines using [Source Control Management](/data-fusion/docs/how-to/source-control-management)\n (SCM), available in version 6.9 and later. SCM provides GitHub\n integration, which you can use to back up pipelines.\n\n3. Upgrade pipelines by following these steps:\n\n 1. Create a variable that points to the `pipeline_upgrade.json` file that\n you will create in the next step to save a list of pipelines.\n\n export PIPELINE_LIST=\u003cvar translate=\"no\"\u003ePATH\u003c/var\u003e/pipeline_upgrade.json\n\n Replace \u003cvar translate=\"no\"\u003ePATH\u003c/var\u003e with the path to the file.\n 2. Create a list of all pipelines for an instance and namespace using\n the following command. The result is stored in the `$PIPELINE_LIST` file\n in `JSON` format. You can edit the list to remove pipelines that don't\n need upgrades.\n\n curl -H \"Authorization: Bearer $(gcloud auth print-access-token)\" -H \"Content-Type: application/json\" ${CDAP_ENDPOINT}/v3/namespaces/\u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e/apps -o $PIPELINE_LIST\n\n Replace \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e with the namespace where you want the\n upgrade to happen.\n 3. Upgrade the pipelines listed in `pipeline_upgrade.json`.\n Insert the \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e of pipelines to be upgraded.\n The command displays a list of upgraded pipelines with their upgrade\n status.\n\n curl -N -H \"Authorization: Bearer $(gcloud auth print-access-token)\" -H \"Content-Type: application/json\" ${CDAP_ENDPOINT}/v3/namespaces/\u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e/upgrade --data @$PIPELINE_LIST\n\n Replace \u003cvar translate=\"no\"\u003eNAMESPACE_ID\u003c/var\u003e with the namespace ID of the pipelines\n that are getting upgraded.\n4. To prevent your pipelines from getting stuck when you run them in the new\n version, [grant the required roles](#grant-roles) in your upgraded instance.\n\nUpgrade real-time pipelines\n---------------------------\n\nUpgrading real-time pipelines is not supported, except in pipelines created in\nversion 6.8.0 with a Kafka real-time source.\n\nFor everything else, you instead do the following:\n\n1. Stop and export the pipelines.\n2. Upgrade the instance.\n3. Import the real-time pipelines into your upgraded instance.\n\nUpgrade to enable Replication\n-----------------------------\n\nReplication can be enabled in Cloud Data Fusion\nenvironments in version 6.3.0 or later. If you have version 6.2.3, upgrade to\n6.3.0, then upgrade to the latest version. You can then [enable Replication](/data-fusion/docs/how-to/enable-replication).\n\nGrant roles for upgraded instances\n----------------------------------\n\nAfter the upgrade completes, grant the\n[Cloud Data Fusion Runner role](/data-fusion/docs/how-to/granting-service-account-permission#runtime-permission)\n(`roles/datafusion.runner`) and\n[Cloud Storage Admin role](/data-fusion/docs/how-to/granting-service-account-permission#admin-permission)\n(`roles/storage.admin`) to the Dataproc service account in your\n[project](/data-fusion/docs/concepts/security#projects).\n\nWhat's next\n-----------\n\n- [Manage patch revisions](/data-fusion/docs/how-to/upgrade-to-patch-revision) for Cloud Data Fusion instances.\n- Learn about [versioning in Cloud Data Fusion](/data-fusion/docs/concepts/versioning).\n- Refer to the [available version and patch revision upgrades](/data-fusion/docs/concepts/available-upgrades).\n- [Troubleshoot upgrades](/data-fusion/docs/support/troubleshoot-upgrades)."]]
