Descripción general del control de versiones de Cloud Composer

Cloud Composer 1 | Cloud Composer 2

En esta página, se describe el control de versiones de Cloud Composer y se enumeran las diferencias entre las principales versiones de Cloud Composer.

• Cloud Composer tiene dos versiones principales: Cloud Composer 1 y Cloud Composer 2.
• Los entornos de Cloud Composer se basan en imágenes de Cloud Composer, que tienen versiones.
• Puedes seleccionar una versión con imágenes de Cloud Composer cuando creas o actualizas tu entorno.

Versiones principales de Cloud Composer

Cloud Composer tiene dos versiones principales:

• Cloud Composer 2: Esta versión tiene entornos de ajuste de escala automático.

• Cloud Composer 1: Esta versión tiene ajuste de escala manual.

  Importante: A partir de abril de 2023, Cloud Composer 1 está en modo de mantenimiento. Las versiones de mantenimiento de Cloud Composer 1 contienen solo correcciones de errores y pequeñas mejoras. Cloud Composer 1 no admitirá versiones nuevas de Airflow después de 2.4.3.

En la siguiente tabla, se enumeran las diferencias principales entre Cloud Composer 1 y Cloud Composer 2.

	Cloud Composer 1	Cloud Composer 2
Versiones con imágenes de Cloud Composer	composer-1.x.x	composer-2.x.x
Versiones de Airflow	Airflow 1.10.* y Airflow 2	Airflow 2
Versiones de Python	3.8.12	3.8.12
Clúster del entorno	Clúster en modo estándar de Google en Kubernetes Engine basado en rutas o nativo de la VPC	Clúster en modo Autopilot de Google Kubernetes Engine nativo de la VPC
Escalamiento horizontal:	Puedes ajustar la cantidad de nodos en el clúster del entorno. Esto cambia la cantidad de trabajadores de Airflow. Puede ajustar la cantidad de programadores de Airflow.	Escala automáticamente la cantidad de trabajadores de Airflow, según la demanda. Puede establecer y cambiar los límites superior e inferior para la cantidad de trabajadores. Puede ajustar la cantidad de programadores de Airflow.
Escalamiento vertical	Puede establecer tipos de máquinas para los nodos del clúster y el servidor web y la base de datos de Airflow cuando se crea un entorno. Puede cambiar los tipos de máquina para el servidor web y la base de datos de Airflow.	Puede establecer y cambiar la configuración de las cargas de trabajo: CPU, memoria y parámetros de almacenamiento para los trabajadores, los programadores, el servidor web y la base de datos de Airflow.
Modelo de precios	Modelo de precios de Cloud Composer 1	Modelo de precios de Cloud Composer 2
Control de acceso	Funciones de Cloud Composer	Funciones de Cloud Composer: Usa Workload Identity y requiere permisos adicionales para la cuenta de agente de servicio de Cloud Composer.
Acceso mediante la federación de identidades de los trabajadores	No compatible	Admitido
Arquitectura del entorno	Arquitectura del entorno de Cloud Composer 1	Arquitectura del entorno de Cloud Composer 2
Herramientas de redes de IP privada	Intercambios de tráfico entre VPC	Intercambios de tráfico entre VPC o Private Service Connect
Compatibilidad con Terraform	Puede crear y actualizar entornos de Cloud Composer 1.	Puede crear y actualizar entornos de Cloud Composer 2.
CMEK	Admitido	Admitido
Controles de acceso al servidor web	Admitido	Admitido
Reinicia el servidor web	Admitido	Admitido
Complementos del servidor web	Compatible con los entornos de Airflow 1 con inhabilitación de la serialización de DAG.	Admitido
Instalar complementos personalizados	Admitido	Admitido
Operaciones de mantenimiento	Es posible que se vean afectadas todas las tareas.	Las tareas que tardan menos de 55 minutos en ejecutarse no se verán afectadas.
Carga asíncrona de DAG	Compatible con Airflow 1	No compatible
Serialización del DAG	Siempre habilitado en Airflow 2. Se puede inhabilitar en Airflow 1.	Siempre habilitado en Airflow 2.
Compatibilidad con etiquetas de red	Sí	Sí
Nodos de clústeres con GPU	Sí	No
Almacena instantáneas	Compatible con las versiones de Airflow 2.x y 1.10.15	Admitido
Cargando instantáneas	No compatible	Admitido
Instantáneas programadas	No compatible	Admitido

Imágenes de Cloud Composer

Para ejecutar Apache Airflow, Cloud Composer compila imágenes de Docker que agrupan actualizaciones de Airflow con otros objetos binarios comunes y bibliotecas de Python.

Las imágenes de Cloud Composer incluyen modificaciones de Airflow específicas de Cloud Composer, que no son adecuadas para la base de código ascendente de Airflow. Los paquetes preinstalados junto con los cambios de Airflow específicos de Cloud Composer se denominan colectivamente “versiones de Cloud Composer”.

Google lanza de forma periódica imágenes nuevas de Cloud Composer que incluyen actualizaciones nuevas de Airflow y mejoras de Cloud Composer.

Compatibilidad con la versión 1 de Cloud Composer

Lanzamiento de nuevas versiones de Cloud Composer 1 hasta fines de marzo de 2023. Todas las versiones de Cloud Composer 1 publicadas siguen la política de baja de la versión y se admiten de acuerdo con ellas.

Algunas funciones nuevas de Cloud Composer pueden ser compatibles solo con Cloud Composer 2. Puedes verificar qué funciones son compatibles solo con Cloud Composer 2 en la tabla que enumera las principales diferencias entre versiones.

Baja y asistencia de la versión de Cloud Composer

Google admite las versiones de Cloud Composer durante un período después de la actualización de la versión. Durante este período, los entornos de Cloud Composer que usan estas versiones son totalmente compatibles.

La compatibilidad con la versión de Cloud Composer se define de la siguiente manera:

• Entre 0 y 12 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones son totalmente compatibles.

• Entre 12 y 18 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones no son compatibles, excepto para notificar a los clientes acerca de problemas de seguridad.

  Importante: Puede haber casos en los que una actualización a una versión más reciente de Composer y Airflow sea la única solución viable para una vulnerabilidad de seguridad.

• Más de 18 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones no son compatibles y son completamente administrados por el usuario.

Nota: Puedes usar las versiones de Cloud Composer después de la fecha en que ya no son compatibles. Por ejemplo, si tu entorno se basa en una versión de Cloud Composer que ya pasó el período de asistencia, el entorno seguirá funcionando y podrás seguir usándolo. En este caso, te recomendamos que actualices tu entorno a una versión compatible.

Compatibilidad con versiones de Airflow

Airflow sigue el esquema de control de versiones de software semántico. Cada versión de Airflow tiene una versión principal, secundaria y de parche.

Para obtener una lista de las versiones de Airflow compatibles con cada versión de Cloud Composer, consulta la lista de versiones de Cloud Composer.

Compatibilidad con versiones de Airflow 1

• Cloud Composer es compatible con Airflow 1.10.15, que es la versión más reciente de Airflow 1.

Compatibilidad con versiones de Airflow 2

• En cada versión, Cloud Composer admite dos versiones secundarias de Airflow 2.

  Por ejemplo, Cloud Composer 1.17.0 es compatible con Airflow 2.0.* y Airflow 2.1.*.

• Para cada versión secundaria de Airflow 2, Cloud Composer admite una versión de parche.

  Por ejemplo, para Airflow 2.1.*, Cloud Composer es compatible con Airflow 2.1.2.

• Cuando una versión de parche nueva de Airflow 2 está disponible en Cloud Composer, la versión correspondiente tiene dos versiones de parche de Airflow 2 disponibles para la misma versión secundaria de Airflow. La versión de parche anterior se quita en una de las próximas versiones.

  Por ejemplo, Cloud Composer 1.17.4 es compatible con Airflow 2.1.2 y Airflow 2.1.4.

• Cloud Composer puede omitir algunas versiones de parches de Airflow entre las versiones de Cloud Composer. Además, si hay problemas funcionales, de calidad o de rendimiento con una versión de parche específica de Airflow, Cloud Composer también puede omitir esta versión.

  Por ejemplo, se omite Airflow 2.1.3 y Airflow 2.1.4 está disponible.

• Una versión de Cloud Composer que ejecute una versión estable de Airflow puede incluir actualizaciones de Airflow que se transfieren desde una versión posterior de Airflow.

Esquema de la versión de Cloud Composer

El esquema de control de versiones con imágenes de Cloud Composer captura versiones de Cloud Composer y Airflow:

composer-a.b.c-airflow-x.y.z

Donde

• composer-a.b.c es la versión de las personalizaciones administradas por Cloud Composer.
• airflow-x.y.z es la versión de Airflow.

Alias de versiones

Cloud Composer 2 admite los siguientes alias de versión:

Alias	Versión de Cloud Composer	Versión de Airflow
composer-2-airflow-2	La versión más reciente de Cloud Composer 2	Versión más reciente de Airflow 2
composer-2-airflow-x.y	La versión más reciente de Cloud Composer 2	La versión más reciente de Airflow dentro de las versiones principales y secundarias de x.y
composer-2-airflow-x.y.z	La versión más reciente de Cloud Composer 2	Versión especificada de Airflow
composer-2.b.c-airflow-x.y	Versión especificada de Cloud Composer 2	La versión más reciente de Airflow está disponible en las versiones principales y secundarias de x.y

Cloud Composer 1 admite los siguientes alias de versión:

Alias	Versión de Cloud Composer	Versión de Airflow
composer-1-airflow-2	La versión más reciente de Cloud Composer 1	Versión más reciente de Airflow 2
composer-1-airflow-1	La versión más reciente de Cloud Composer 1	Versión más reciente de Airflow 1
composer-1-airflow-x.y	La versión más reciente de Cloud Composer 1	La versión más reciente de Airflow dentro de las versiones principales y secundarias de x.y
composer-1-airflow-x.y.z	La versión más reciente de Cloud Composer 1	Versión especificada de Airflow
composer-1.b.c-airflow-x.y	Versión especificada de Cloud Composer 1	La versión más reciente de Airflow está disponible en las versiones principales y secundarias de x.y.

Los siguientes alias de versiones apuntan a Cloud Composer 2. Aún puedes usarlas, pero considera cambiar a alias para tu versión de Cloud Composer.

• composer-latest-airflow-x.y es igual a composer-2-airflow-x.y.
• composer-latest-airflow-x.y.z es igual a composer-2-airflow-x.y.z.

Precaución: El uso de un alias de versión como composer-a-airflow-x.y.z no proporciona actualizaciones automáticas de versión para un entorno. Cloud Composer resuelve el alias de la versión para composer-a.b.c-airflow-x.y.z cuando crea tu entorno.

Argumentos de la versión en Google Cloud CLI

Cuando creas o actualizas un entorno de Cloud Composer con Google Cloud CLI, puedes especificar las versiones de Cloud Composer y Airflow:

• El argumento --image-version especifica las versiones de Cloud Composer y Airflow:

  • El formato composer-a.b.c-airflow-x.y.z crea un entorno con las versiones especificadas de Cloud Composer y Airflow.
  • Los alias de versión primero se resuelven en el formato composer-a.b.c-airflow-x.y.z y, luego, crean un entorno con las versiones especificadas de Cloud Composer y Airflow.

• --airflow-version especifica la versión de Airflow en dos formatos:

  • El formato x.y.z es para la última versión de Cloud Composer 2 y la versión especificada de Airflow. Este formato es igual al alias de la versión composer-2-airflow-x.y.z.

  • El formato x.y es para la última versión de Cloud Composer 2 y la versión más reciente de Airflow disponible en las versiones principales y secundarias de x.y. Este formato es igual al alias de la versión composer-2-airflow-x.y.

¿Qué sigue?

• Imágenes de Cloud Composer
• Crear un entorno
• Actualiza un entorno de Cloud Composer existente