Migra entornos a Cloud Composer 2 (desde Airflow 1) con instantáneas

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se explica cómo transferir DAG, datos y configuración de tus entornos existentes de Cloud Composer 1 y Airflow 1 a Cloud Composer 2 y Airflow 2.

En esta guía de migración, se usa la función Snapshots.

Otras guías de migración

De	A	Método	Guía
Cloud Composer 2	Cloud Composer 3	En paralelo, con la secuencia de comandos de migración	Guía de migración de secuencias de comandos
Cloud Composer 2	Cloud Composer 3	Comparación, con instantáneas	Guía de migración de instantáneas
Cloud Composer 1, Airflow 2	Cloud Composer 3	Comparación, con instantáneas	Guía de migración de instantáneas
Cloud Composer 1, Airflow 2	Cloud Composer 2	Comparación, con instantáneas	Guía de migración de instantáneas
Cloud Composer 1, Airflow 2	Cloud Composer 2	Transferencia manual paralela	Guía de migración manual
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Comparación, con instantáneas	Esta guía
Cloud Composer 1, Airflow 1	Cloud Composer 2, Airflow 2	Transferencia manual paralela	Guía de migración manual
Cloud Composer 1, Airflow 1	Cloud Composer 1, Airflow 2	Transferencia manual paralela	Guía de migración manual

Antes de comenzar

• Las instantáneas son compatibles con Cloud Composer 2, versión 2.0.9 y posteriores. Cloud Composer 1 admite el guardado de instantáneas del entorno en la versión 1.18.5.

• Cloud Composer admite la migración paralela de Cloud Composer 1 a Cloud Composer 2. No es posible actualizar de Cloud Composer 1 a Cloud Composer 2 de forma local.

• Consulta la lista de diferencias entre Cloud Composer 1 y Cloud Composer 2.

• El tamaño máximo de la base de datos de Airflow que admite instantáneas es de 20 GB. Si la base de datos de tu entorno ocupa más de 20 GB, reduce el tamaño de la base de datos de Airflow.

• La cantidad total de objetos en las carpetas /dags, /plugins y /data del bucket del entorno debe ser inferior a 100,000 para crear instantáneas.

• Si usas el mecanismo XCom para transferir archivos, asegúrate de usarlo según los lineamientos de Airflow. La transferencia de archivos grandes o una gran cantidad de archivos con XCom afecta el rendimiento de la base de datos de Airflow y puede provocar errores al cargar instantáneas o actualizar tu entorno. Considera usar alternativas como Cloud Storage para transferir grandes volúmenes de datos.

• Debido a que Cloud Composer 2 usa Airflow 2, la migración incluye el cambio de tus DAG y la configuración del entorno a Airflow 2. Consulta la guía de migración de Airflow 1 a Airflow 2 para obtener información sobre los cambios que generan interrupciones entre Airflow 1 y Airflow 2 en Cloud Composer.

• En esta guía, combinarás la migración a Airflow 2 y la migración a Cloud Composer 2 en un solo procedimiento de migración. De esta manera, no es necesario que migres a un entorno de Cloud Composer 1 con Airflow 2 antes de migrar a Cloud Composer 2.

Paso 1: Actualiza a Airflow 1.10.15

Si tu entorno usa una versión de Airflow anterior a la 1.10.15, actualízalo a una versión de Cloud Composer que use Airflow 1.10.15 y admita instantáneas.

Paso 2: Verifica la compatibilidad con Airflow 2

Para verificar si hay posibles conflictos con Airflow 2, consulta la guía de actualización a Airflow 2.0+ en la sección sobre la actualización de DAGs.

Un problema habitual que puedes encontrar se relaciona con las rutas de importación incompatibles. Para obtener más información sobre cómo resolver este problema de compatibilidad, consulta la sección sobre proveedores de versiones anteriores en la guía de actualización a Airflow 2.0 y versiones posteriores.

Paso 3: Asegúrate de que tus DAG estén listos para Airflow 2

Antes de transferir DAGs a tu entorno de Cloud Composer 2, asegúrate de lo siguiente:

1. Tus DAG se ejecutan correctamente y no quedan problemas de compatibilidad.

2. Tus DAGs usan instrucciones de importación correctas.

   Por ejemplo, la nueva instrucción de importación para BigQueryCreateDataTransferOperator puede verse así:

   from airflow.providers.google.cloud.operators.bigquery_dts \
       import BigQueryCreateDataTransferOperator
   

3. Tus DAGs se actualizaron para Airflow 2. Este cambio es compatible con Airflow 1.10.14 y versiones posteriores.

Paso 4: Pausa los DAG en tu entorno de Cloud Composer 1

Advertencia: Si un DAG está habilitado (no en pausa) en ambos entornos, cada entorno ejecutará su propia copia del DAG según lo programado. Esto podría generar ejecuciones duplicadas del DAG para los mismos datos y hora de ejecución.

Para evitar ejecuciones duplicadas de DAG, pausa todos los DAG en tu entorno de Cloud Composer 1 antes de guardar su instantánea.

Puedes usar cualquiera de las siguientes opciones:

• En la interfaz web de Airflow, ve a DAGs y pausa todos los DAG de forma manual.

• Usa la secuencia de comandos composer_dags para detener todos los DAG:

  python3 composer_dags.py --environment COMPOSER_1_ENV \
    --project PROJECT_ID \
    --location COMPOSER_1_LOCATION \
    --operation pause
  

  Reemplaza lo siguiente:

  • COMPOSER_1_ENV por el nombre de tu entorno de Cloud Composer 1.
  • PROJECT_ID por el ID del proyecto.
  • COMPOSER_1_LOCATION por la región en la que se encuentra el entorno.

Paso 5: Guarda la instantánea de tu entorno de Cloud Composer 1

Precaución: Si se producen cambios o ejecuciones de DAG en tu entorno de Cloud Composer 1 después de guardar su instantánea, la información sobre estos cambios no se transferirá cuando cargues la instantánea más adelante.

Console

Crea una instantánea de tu entorno:

1. En la consola de Google Cloud , ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno de Cloud Composer 1. Se abrirá la página Detalles del entorno.

3. Haz clic en Crear instantánea.

4. En el cuadro de diálogo Crear instantánea, haz clic en Enviar. En esta guía, guardarás la instantánea en el bucket del entorno de Cloud Composer 1, pero puedes seleccionar otra ubicación si lo deseas.

5. Espera hasta que Cloud Composer cree la instantánea.

gcloud

1. Obtén la URI del bucket de tu entorno de Cloud Composer 1:

   1. Ejecuta el siguiente comando:

      gcloud composer environments describe COMPOSER_1_ENV \
          --location COMPOSER_1_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Reemplaza lo siguiente:

      • COMPOSER_1_ENV por el nombre de tu entorno de Cloud Composer 1.
      • COMPOSER_1_LOCATION por la región en la que se encuentra el entorno.

   2. En el resultado, quita la carpeta /dags. El resultado es el URI del bucket de tu entorno de Cloud Composer 1.

      Por ejemplo, cambia gs://us-central1-example-916807e1-bucket/dags a gs://us-central1-example-916807e1-bucket.

2. Crea una instantánea de tu entorno de Cloud Composer 1:

   gcloud composer environments snapshots save \
     COMPOSER_1_ENV \
     --location COMPOSER_1_LOCATION \
     --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"
   

   Reemplaza lo siguiente:

   • COMPOSER_1_ENV por el nombre de tu entorno de Cloud Composer 1.
   • COMPOSER_1_LOCATION con la región en la que se encuentra el entorno de Cloud Composer 1.
   • COMPOSER_1_SNAPSHOTS_FOLDER por el URI del bucket de tu entorno de Cloud Composer 1. En esta guía, guardarás la instantánea en el bucket del entorno de Cloud Composer 1, pero puedes seleccionar otra ubicación si lo deseas. Si especificas una ubicación personalizada, las cuentas de servicio de ambos entornos deben tener permisos de lectura y escritura para la ubicación especificada.

Paso 6: Crea un entorno de Cloud Composer 2

Crea un entorno de Cloud Composer 2. Puedes comenzar con un ajuste predeterminado del entorno que coincida con las demandas de recursos esperadas y, luego, escalar y optimizar aún más tu entorno.

No es necesario que especifiques anulaciones de configuración ni variables de entorno, ya que las reemplazarás más adelante cuando cargues la instantánea de tu entorno de Cloud Composer 1.

Nota: Cloud Composer carga las anulaciones de configuración, las variables de entorno y los paquetes de PyPI de tu entorno de Cloud Composer 1 a Cloud Composer 2 sin cambiarlos ni ajustarlos para que sean compatibles. Si los paquetes de PyPI personalizados causan conflictos de dependencias, puedes omitir su instalación cuando cargues la instantánea.

Algunas opciones de configuración de Airflow 1 usan un nombre y una sección diferentes en Airflow 2. Para obtener más información, consulta Cambios de configuración.

Paso 7: Carga la instantánea en tu entorno de Cloud Composer 2

Console

Para cargar la instantánea en tu entorno de Cloud Composer 2, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Entornos.

   Ir a Entornos

2. En la lista de entornos, haz clic en el nombre de tu entorno de Cloud Composer 2. Se abrirá la página Detalles del entorno.

3. Haz clic en Cargar instantánea.

4. En el cuadro de diálogo Cargar instantánea, haz clic en Explorar.

5. Selecciona la carpeta con la instantánea. Si usas la ubicación predeterminada de esta guía, esta carpeta se encuentra en el bucket de tu entorno de Cloud Composer 1 en la carpeta /snapshots, y su nombre es la marca de tiempo de la operación de guardado de la instantánea. Por ejemplo, us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00

6. Haz clic en Cargar y espera hasta que Cloud Composer cargue la instantánea.

gcloud

Carga la instantánea de tu entorno de Cloud Composer 1 en tu entorno de Cloud Composer 2:

gcloud composer environments snapshots load \
  COMPOSER_2_ENV \
  --location COMPOSER_2_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Reemplaza lo siguiente:

• COMPOSER_2_ENV por el nombre de tu entorno de Cloud Composer 2.
• COMPOSER_2_LOCATION con la región en la que se encuentra el entorno de Cloud Composer 2.
• SNAPSHOT_PATH con el URI del bucket de tu entorno de Cloud Composer 1, seguido de la ruta de acceso a la instantánea. Por ejemplo, gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Paso 8: Reanuda los DAG en el entorno de Cloud Composer 2

Puedes usar cualquiera de las siguientes opciones:

• En la interfaz web de Airflow, ve a DAGs y reanuda todos los DAG de forma manual uno por uno.

• Usa la secuencia de comandos composer_dags para reanudar todos los DAGs:

  python3 composer_dags.py --environment COMPOSER_2_ENV \
    --project PROJECT_ID \
    --location COMPOSER_2_LOCATION \
    --operation unpause
  

  Reemplaza lo siguiente:

  • COMPOSER_2_ENV por el nombre de tu entorno de Cloud Composer 2.
  • PROJECT_ID por el ID del proyecto.
  • COMPOSER_2_LOCATION por la región en la que se encuentra el entorno.

• (Versiones de Airflow 2.9.1 y posteriores) Si se producen errores de cuota al reanudar una gran cantidad de DAGs, puedes usar los siguientes comandos de la CLI de Airflow para reanudar todos los DAGs a la vez:

  gcloud composer environments run COMPOSER_2_ENV dags unpause \
    --project PROJECT_ID \
    --location COMPOSER_2_LOCATION \
    -- -y --treat-dag-id-as-regex ".*"
  

• (Versiones de Airflow anteriores a la 2.9.1) Si se producen errores de cuota al reanudar una gran cantidad de DAG, es posible reanudarlos con la API de REST de Airflow. Consulta también Cómo probar la API en la documentación de Airflow.

Paso 9: Verifica si hay errores en el DAG

1. En la interfaz web de Airflow, ve a DAGs y busca los errores de sintaxis del DAG que se hayan informado.

2. Verifica que las ejecuciones del DAG estén programadas para el momento correcto.

3. Espera a que se ejecuten los DAG en el entorno de Cloud Composer 2 y verifica si se completaron correctamente. Si una ejecución del DAG se realizó correctamente, no la reanudes en el entorno de Cloud Composer 1. Si lo haces, se producirá una ejecución del DAG para la misma fecha y hora en tu entorno de Cloud Composer 1.

4. Si falla una ejecución de DAG específica, intenta solucionar el DAG hasta que se ejecute correctamente en Cloud Composer 2.

Paso 10: Supervisa tu entorno de Cloud Composer 2

Después de transferir todos los DAG y la configuración al entorno de Cloud Composer 2, supervisa si hay problemas potenciales, ejecuciones de DAG fallidas y el estado general del entorno.

Si el entorno de Cloud Composer 2 se ejecuta sin problemas durante un período suficiente, considera borrar el entorno de Cloud Composer 1.

¿Qué sigue?

• Soluciona problemas de los DAG
• Solución de problemas de creación de entornos
• Solución de problemas de actualizaciones de entornos
• Cómo usar paquetes de portabilidad a versiones anteriores