Migrar entornos a Airflow 2

Cloud Composer 1 | Cloud Composer 2

En esta página, se explica cómo transferir DAG, datos y la configuración de tus entornos existentes de Airflow 1.10.* a entornos con Airflow 2 y versiones posteriores de Airflow.

Otras guías de migración

De Hasta Método Guía
Cloud Composer 1, Airflow 2 Cloud Composer 2, Airflow 2 En paralelo, con instantáneas Guía de migración (instantáneas)
Cloud Composer 1, Airflow 1 Cloud Composer 2, Airflow 2 En paralelo, con instantáneas Guía de migración (instantáneas)
Cloud Composer 1, Airflow 2 Cloud Composer 2, Airflow 2 Transferencia manual en paralelo Guía de migración manual
Cloud Composer 1, Airflow 1 Cloud Composer 2, Airflow 2 Transferencia manual en paralelo Guía de migración manual
Airflow 1 Airflow 2 Transferencia manual en paralelo Esta guía (migración manual)

Actualizaciones en paralelo

Cloud Composer proporciona la secuencia de comandos de transferencia de base de datos de Cloud Composer para migrar la base de datos de metadatos, los DAG, los datos y los complementos desde los entornos de Cloud Composer con Airflow 1.10.14 y Airflow 1.10.15 a entornos existentes de Cloud Composer con Airflow 2.0.1 y versiones posteriores de Airflow.

Esta es una ruta alternativa al que se describe en esta guía. Algunas partes de esta guía aún se aplican cuando se usa la secuencia de comandos proporcionada. Por ejemplo, es posible que desees verificar la compatibilidad de tus DAG con Airflow 2 antes de migrarlos o asegurarte de que no se realicen ejecuciones simultáneas de DAG y que no haya ejecuciones de DAG adicionales o faltantes.

Antes de comenzar

Antes de comenzar a usar los entornos de Cloud Composer con Airflow 2, considera los cambios que Airflow 2 aporta a los entornos de Cloud Composer.

HA del programador

Puedes usar más de un programador de Airflow en tu entorno. Puedes configurar la cantidad de programadores cuando creas un entorno o actualizas un entorno existente.

Ejecutor de Celery+Kubernetes

En la versión actual de Cloud Composer, no se admite el ejecutor de Airflow 2 Celery+Kubernetes.

Cambios rotundos

Airflow 2 presenta muchos cambios importantes, algunos de los cuales están rompiendo:

Diferencias entre los entornos con Airflow 2 y Airflow 1.10.*

Principales diferencias entre los entornos de Cloud Composer con Airflow 1.10.* y los entornos con Airflow 2:

  • Los entornos con Airflow 2 usan Python 3.8. Esta es una versión más reciente que la que se usa en los entornos de Airflow 1.10.*. No se admite Python 2, Python 3.6 ni Python 3.7.
  • Airflow 2 usa un formato de CLI diferente. Cloud Composer admite el nuevo formato en entornos con Airflow 2 a través del comando gcloud composer environments run.
  • Los paquetes de PyPI preinstalados son diferentes en los entornos de Airflow 2. Para obtener una lista de los paquetes de PyPI preinstalados, consulta la lista de versiones de Cloud Composer.
  • La serialización de DAG siempre está habilitada en Airflow 2. Como resultado, la carga asíncrona de DAG ya no es necesaria y no es compatible con Airflow 2. Como resultado, la configuración de los parámetros [core]store_serialized_dags y [core]store_dag_code no es compatible con Airflow 2, y los intentos de configurarlos se informarán como errores.
  • No se admiten los complementos del servidor web de Airflow. Esto no afecta a los complementos de trabajador o programador, incluidos los operadores y sensores de Airflow.
  • En los entornos de Airflow 2, la función del usuario predeterminada de Airflow es Op. Para los entornos con Airflow 1.10.*, la función predeterminada es Admin.

Paso 1: Verifica la compatibilidad con Airflow 2

Para verificar posibles conflictos con Airflow 2, usa las secuencias de comandos de verificación de actualización que proporciona Airflow en tu entorno existente de Airflow 1.10.*

gcloud

  1. Si tu entorno usa Airflow 1.10.14 y versiones anteriores, actualízalo a una versión de Cloud Composer que use Airflow 1.10.15 y versiones posteriores. Cloud Composer admite comandos de verificación de actualizaciones a partir de Airflow 1.10.15.

  2. Ejecuta verificaciones de actualización mediante el comando gcloud composer environments run. Algunas verificaciones de actualización que son relevantes para Airflow independiente 1.10.15 no son relevantes para Cloud Composer. El siguiente comando excluye estas verificaciones.

    gcloud composer environments run \
        AIRFLOW_1_ENV  \
        --location=AIRFLOW_1_LOCATION \
        upgrade_check \
        -- --ignore VersionCheckRule --ignore LoggingConfigurationRule \
        --ignore PodTemplateFileRule --ignore SendGridEmailerMovedRule
    

    Reemplaza lo siguiente:

    • AIRFLOW_1_ENV por el nombre de tu entorno de Airflow 1.10.*
    • AIRFLOW_1_LOCATION por la región en la que se encuentra el entorno
  3. Verifica el resultado del comando. Las secuencias de comandos de verificación de actualizaciones informan posibles problemas de compatibilidad en los entornos existentes.

  4. Implementa otros cambios en los DAG, como se describe en la guía Actualiza a Airflow 2.0 y versiones posteriores, en la sección sobre cómo actualizar los DAG.

Paso 2: Crea un entorno de Airflow 2 y transfiere las anulaciones de configuración de transferencia y las variables de entorno

Crea un entorno de Airflow 2 y transfiere las anulaciones de configuración y las variables de entorno:

  1. Sigue los pasos para crear un entorno. Antes de crear un entorno, especifica también las anulaciones de configuración y las variables de entorno, como se explica más adelante.

  2. Cuando selecciones una imagen, elige una imagen con Airflow 2.

  3. Transfiere de forma manual los parámetros de configuración de tu entorno de Airflow 1.10.* al nuevo entorno de Airflow 2.

    Consola

    1. Cuando crees un entorno, expande la sección Herramientas de redes, anulaciones de configuración de Airflow y funciones adicionales.

    2. En Anulaciones de configuración de Airflow, haz clic en Agregar anulación de configuración de Airflow.

    3. Copia todas las anulaciones de configuración de tu entorno de Airflow 1.10.*

      Algunas opciones de configuración usan un nombre y una sección diferentes en Airflow 2. Para obtener más información, consulta Cambios de configuración.

    4. En Variables de entorno, haz clic en Agregar variable de entorno.

    5. Copia todas las variables de entorno de tu entorno de Airflow 1.10.*

    6. Haz clic en Crear para crear un entorno.

Paso 3: Instala paquetes de PyPI en el entorno de Airflow 2

Después de crear tu entorno de Airflow 2, instala paquetes de PyPI:

Consola

  1. En la consola de Google Cloud, ve a la página Entornos.

    Ir a Entornos

  2. Selecciona tu entorno de Airflow 2.

  3. Ve a la pestaña Paquetes de PyPI y haz clic en Editar.

  4. Copia los requisitos del paquete de PyPI de tu entorno de Airflow 1.10.* Haz clic en Guardar y espera hasta que se actualice el entorno.

    Debido a que los entornos de Airflow 2 usan un conjunto diferente de paquetes preinstalados y una versión diferente de Python, es posible que encuentres conflictos de paquetes de PyPI que sean difíciles de resolver. Una forma de diagnosticar los problemas de dependencia de paquetes es verificar si hay errores de paquetes de PyPI mediante la instalación de paquetes en un Pod de trabajador de Airflow.

Paso 4: Transfiere variables y grupos a Airflow 2

Airflow 1.10.* admite la exportación de variables y grupos a archivos JSON. Luego, puedes importar estos archivos a tu entorno de Airflow 2.

Solo necesitas transferir grupos si tienes grupos personalizados que no sean default_pool. De lo contrario, omite los comandos de importación y exportación de grupos.

gcloud

  1. Exporta variables desde tu entorno de Airflow 1.10.*:

    gcloud composer environments run AIRFLOW_1_ENV \
        --location AIRFLOW_1_LOCATION \
         variables -- -e /home/airflow/gcs/data/variables.json
    

    Reemplaza lo siguiente:

    • AIRFLOW_1_ENV por el nombre de tu entorno de Airflow 1.10.*
    • AIRFLOW_1_LOCATION por la región en la que se encuentra el entorno
  2. Exporta grupos desde tu entorno de Airflow 1.10.*:

    gcloud composer environments run AIRFLOW_1_ENV \
        --location AIRFLOW_1_LOCATION \
         pool -- -e /home/airflow/gcs/data/pools.json
    
  3. Obtén el URI del bucket de entorno de Airflow 2.

    1. Ejecuta el siguiente comando:

      gcloud composer environments describe AIRFLOW_2_ENV \
          --location AIRFLOW_2_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      Reemplaza lo siguiente:

      • AIRFLOW_2_ENV por el nombre de tu entorno de Airflow 2.
      • AIRFLOW_2_LOCATION por la región en la que se encuentra el entorno
    2. En el resultado, quita la carpeta /dags. El resultado es el URI de tu bucket de entorno de Airflow 2.

      Por ejemplo, cambia gs://us-central1-example-916807e1-bucket/dags a gs://us-central1-example-916807e1-bucket.

  4. Transfiere archivos JSON con variables y grupos a tu entorno de Airflow 2:

    gcloud composer environments storage data export \
        --destination=AIRFLOW_2_BUCKET/data \
        --environment=AIRFLOW_1_ENV \
        --location=AIRFLOW_1_LOCATION \
        --source=variables.json
    
    gcloud composer environments storage data export \
        --destination=AIRFLOW_2_BUCKET/data \
        --environment=AIRFLOW_1_ENV \
        --location=AIRFLOW_1_LOCATION \
        --source=pools.json
    

    Reemplaza AIRFLOW_2_BUCKET por el URI del bucket de entorno de Airflow 2, que obtuviste en el paso anterior.

  5. Importa variables y grupos a Airflow 2:

    gcloud composer environments run \
        AIRFLOW_2_ENV \
        --location AIRFLOW_2_LOCATION \
        variables import \
        -- /home/airflow/gcs/data/variables.json
    
    gcloud composer environments run \
        AIRFLOW_2_ENV \
        --location AIRFLOW_2_LOCATION \
        pools import \
        -- /home/airflow/gcs/data/pools.json
    
  6. Verifica que se importen las variables y los grupos:

    gcloud composer environments run \
        AIRFLOW_2_ENV \
        --location AIRFLOW_2_LOCATION \
        variables list
    
    gcloud composer environments run \
        AIRFLOW_2_ENV \
        --location AIRFLOW_2_LOCATION \
        pools list
    
  7. Quita los archivos JSON de los buckets:

    gcloud composer environments storage data delete \
        variables.json \
        --environment=AIRFLOW_2_ENV \
        --location=AIRFLOW_2_LOCATION
    
    gcloud composer environments storage data delete \
        pools.json \
        --environment=AIRFLOW_2_ENV \
        --location=AIRFLOW_2_LOCATION
    
    gcloud composer environments storage data delete \
        variables.json \
        --environment=AIRFLOW_1_ENV \
        --location=AIRFLOW_1_LOCATION
    
    gcloud composer environments storage data delete \
        pools.json \
        --environment=AIRFLOW_1_ENV \
        --location=AIRFLOW_1_LOCATION
    

Paso 5: Transfiere otros datos desde tu bucket de entorno de Airflow 1.10.*

gcloud

  1. Transfiere los complementos a tu entorno de Airflow 2. Para hacerlo, exporta los complementos del bucket de entorno de Airflow 1.10.* a la carpeta /plugins en el bucket de entorno de Airflow 2:

    gcloud composer environments storage plugins export \
        --destination=AIRFLOW_2_BUCKET/plugins \
        --environment=AIRFLOW_1_ENV \
        --location=AIRFLOW_1_LOCATION
    
  2. Verifica que la carpeta /plugins se haya importado correctamente:

    gcloud composer environments storage plugins list \
        --environment=AIRFLOW_2_ENV \
        --location=AIRFLOW_2_LOCATION
    
  3. Exporta la carpeta /data de tu entorno de Airflow 1.10.* al entorno de Airflow 2:

        gcloud composer environments storage data export \
            --destination=AIRFLOW_2_BUCKET/data \
            --environment=AIRFLOW_1_ENV \
            --location=AIRFLOW_1_LOCATION
    
  4. Verifica que la carpeta /data se haya importado correctamente:

    gcloud composer environments storage data list \
        --environment=AIRFLOW_2_ENV \
        --location=AIRFLOW_2_LOCATION
    

Paso 6: Transfiere conexiones y usuarios

Airflow 1.10.* no admite la exportación de usuarios y conexiones. Para transferir usuarios y conexiones, crea de forma manual nuevas cuentas de usuario y conexiones en tu entorno de Airflow 2.

gcloud

  1. Para obtener una lista de las conexiones en tu entorno de Airflow 1.10.*, ejecuta el siguiente comando:

    gcloud composer environments run AIRFLOW_1_ENV \
        --location AIRFLOW_1_LOCATION \
         connections -- --list
    
  2. Para crear una conexión nueva en tu entorno de Airflow 2, ejecuta el comando connections de la CLI de Airflow mediante gcloud. Por ejemplo:

    gcloud composer environments run \
        AIRFLOW_2_ENV \
        --location AIRFLOW_2_LOCATION \
        connections add \
        -- --conn-host postgres.example.com \
        --conn-port 5432 \
        --conn-type postgres \
        --conn-login example_user \
        --conn-password example_password \
        --conn-description "Example connection" \
        example_connection
    
  3. Para ver una lista de usuarios en tu entorno de Airflow 1.10.*, haz lo siguiente:

    1. Abre la interfaz web de Airflow para tu entorno de Airflow 1.10.*

    2. Ve a Administrador > Usuarios.

  4. Para crear una cuenta de usuario nueva en tu entorno de Airflow 2, ejecuta el comando users create de la CLI de Airflow a través de gcloud. Por ejemplo:

    gcloud composer environments run \
        AIRFLOW_2_ENV \
        --location AIRFLOW_2_LOCATION \
        users create \
        -- --username example_username \
        --firstname Example-Name \
        --lastname Example-Surname \
        --email example-user@example.com \
        --use-random-password \
        --role Admin
    

Paso 7: Asegúrate de que tus DAG estén listos para Airflow 2

Antes de transferir los DAG a tu entorno de Airflow 2, asegúrate de lo siguiente:

  1. Las secuencias de comandos de verificaciones de actualización de tus DAG se ejecutan de forma correcta y no quedan problemas de compatibilidad.

  2. Tus DAG usan instrucciones de importación correctas.

    Por ejemplo, la nueva sentencia de importación para BigQueryCreateDataTransferOperator puede verse de la siguiente manera:

    from airflow.providers.google.cloud.operators.bigquery_dts \
        import BigQueryCreateDataTransferOperator
    
  3. Tus DAG se actualizan para Airflow 2. Este cambio es compatible con Airflow 1.10.14 y versiones posteriores.

Paso 8: Transfiere los DAG al entorno de Airflow 2

Los siguientes problemas potenciales pueden ocurrir cuando transfieres los DAG entre entornos:

  • Si un DAG está habilitado (no pausado) en ambos entornos, cada entorno ejecuta su propia copia del DAG, según lo programado. Esto puede generar ejecuciones de DAG simultáneas con los mismos datos y el mismo tiempo de ejecución.

  • Debido a la actualización de DAG, Airflow programa ejecuciones adicionales de DAG a partir de la fecha de inicio especificada en tus DAG. Esto sucede porque la instancia nueva de Airflow no tiene en cuenta el historial de ejecuciones de DAG desde el entorno 1.10.*. Esto puede generar una gran cantidad de ejecuciones de DAG programadas a partir de la fecha de inicio especificada.

Evita ejecuciones simultáneas de DAG

En tu entorno de Airflow 2, anula la opción de configuración dags_are_paused_at_creation de Airflow. Después de realizar este cambio, todos los DAG nuevos se pausarán de forma predeterminada.

Sección Clave Valor
core dags_are_paused_at_creation True

Evita las ejecuciones de DAG adicionales o faltantes

Especifica una fecha de inicio estática nueva en los DAG que transfieras a tu entorno de Airflow 2.

Para evitar brechas y superposiciones en las fechas de ejecución, la primera ejecución de DAG debe ocurrir en el entorno de Airflow 2 en el próximo caso del intervalo de programación. Para hacerlo, configura la nueva fecha de inicio en tu DAG para que sea anterior a la fecha de la última ejecución en el entorno de Airflow 1.10.*.

A modo de ejemplo, si tu DAG se ejecuta a las 15:00, 17:00 y 21:00 todos los días en el entorno de Airflow 1.10.*, la última ejecución de DAG ocurrió a las 15:00 y planeas transferir el DAG a las 15:15, entonces la fecha de inicio del entorno de Airflow 2 puede ser hoy a las 14:45. Después de habilitar el DAG en el entorno de Airflow 2, Airflow programa una ejecución de DAG para las 17:00 p.m.

Como otro ejemplo, si tu DAG se ejecuta a las 00:00 todos los días en el entorno de Airflow 1.10.*, la última ejecución de DAG ocurre a las 20:00 el 26 de abril de 2021 y planeas transferir el DAG a las 13:00 del 26 de abril de 2021, la fecha de inicio del entorno de Airflow 2 puede ser a las 23:45 del 25 de abril de 2021. Después de habilitar el DAG en el entorno de Airflow 2, Airflow programa una ejecución del DAG para las 00:00 el 27 de abril de 2021.

Transfiere tus DAG uno por uno al entorno de Airflow 2

Sigue este procedimiento para transferir cada DAG:

  1. Asegúrate de que la nueva fecha de inicio en el DAG esté configurada como se describió en la sección anterior.

  2. Sube el DAG actualizado al entorno de Airflow 2. Este DAG está en pausa en el entorno de Airflow 2 debido a la anulación de la configuración, por lo que aún no se programaron ejecuciones de DAG.

  3. En la interfaz web de Airflow, ve a DAG y verifica si hay errores de sintaxis del DAG informados.

  4. En el momento en que planeas transferir el DAG, haz lo siguiente:

    1. Pausa el DAG en tu entorno de Airflow 1.10.*

    2. Reanuda el DAG en tu entorno de Airflow 2.

    3. Verifica que la ejecución de DAG nueva esté programada en el momento correcto.

    4. Espera a que la ejecución del DAG se realice en el entorno de Airflow 2 y verifica si la ejecución se realizó de forma correcta.

  5. Según si la ejecución del DAG se realiza de forma correcta o no, haz lo siguiente:

    • Si la ejecución del DAG se realiza de forma correcta, puedes continuar y usar el DAG desde tu entorno de Airflow 2. Por último, considera borrar la versión 1.10.* de Airflow del DAG.

    • Si la ejecución del DAG falla, intenta solucionar problemas del DAG hasta que se ejecute de forma correcta en Airflow 2.

      Si es necesario, siempre puedes recurrir a la versión 1.10.* de Airflow del DAG:

      1. Pausar el DAG en tu entorno de Airflow 2

      2. Reanuda el DAG en tu entorno de Airflow 1.10.* Esto programa una ejecución de DAG nueva para la misma fecha y hora que la ejecución de DAG con errores.

      3. Cuando estés listo para continuar con la versión de Airflow 2 del DAG, ajusta la fecha de inicio, sube la versión nueva del DAG a tu entorno de Airflow 2 y repite el procedimiento.

Paso 9: Supervisa tu entorno de Airflow 2

Después de transferir todos los DAG y la configuración al entorno de Airflow 2, supervísalo para detectar posibles problemas, ejecuciones fallidas de DAG y el estado general del entorno. Si el entorno de Airflow 2 se ejecuta sin problemas durante un período suficiente, puedes quitar el entorno de Airflow 1.10.*

¿Qué sigue?