Descripción general del control de versiones de Cloud Composer

Cloud Composer 1 | Cloud Composer 2

En esta página, se describe el control de versiones de Cloud Composer y se enumeran las diferencias entre las principales versiones de Cloud Composer.

Versiones principales de Cloud Composer

Cloud Composer tiene dos versiones principales:

  • Cloud Composer 2: Esta versión tiene entornos de ajuste de escala automático.
  • Cloud Composer 1: Esta versión tiene ajuste de escala manual.

En la siguiente tabla, se enumeran las diferencias principales entre Cloud Composer 1 y Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versiones con imágenes de Cloud Composer composer-1.x.x composer-2.x.x
Versiones de Airflow Airflow 1.10.* y Airflow 2 Airflow 2
Versiones de Python 3.8.6, 3.6.10, 2.7.17 3.8.6
Clúster del entorno Clúster en modo estándar de Google en Kubernetes Engine basado en rutas o nativo de la VPC Clúster en modo Autopilot de Google Kubernetes Engine nativo de la VPC
Escalamiento horizontal: Puedes ajustar la cantidad de nodos en el clúster del entorno. Esto cambia la cantidad de trabajadores de Airflow.
Puede ajustar la cantidad de programadores de Airflow.
Escala automáticamente la cantidad de trabajadores de Airflow, según la demanda. Puede establecer y cambiar los límites superior e inferior para la cantidad de trabajadores.
Puede ajustar la cantidad de programadores de Airflow.
Escalamiento vertical Puede establecer tipos de máquinas para los nodos del clúster y el servidor web y la base de datos de Airflow cuando se crea un entorno. Puede cambiar los tipos de máquina para el servidor web y la base de datos de Airflow. Puede establecer y cambiar la configuración de las cargas de trabajo: CPU, memoria y parámetros de almacenamiento para los trabajadores, los programadores, el servidor web y la base de datos de Airflow.
Modelo de precios Modelo de precios de Cloud Composer 1 Modelo de precios de Cloud Composer 2
Control de acceso Funciones de Cloud Composer Funciones de Cloud Composer: Usa Workload Identity y requiere permisos adicionales para la cuenta de agente de servicio de Cloud Composer.
Arquitectura del entorno Arquitectura del entorno de Cloud Composer 1 Arquitectura del entorno de Cloud Composer 2
Compatibilidad con Terraform Puede crear y actualizar entornos de Cloud Composer 1. Puede crear y actualizar entornos de Cloud Composer 2.
En la vista previa, la configuración de las cargas de trabajo no se puede administrar mediante Terraform. La configuración de las cargas de trabajo predeterminadas se usa para entornos creados con Terraform.
CMEK Admitido No se admite en la vista previa
Controles de acceso al servidor web Admitido No se admite en la vista previa
Reinicia el servidor web Admitido No se admite en la vista previa
Complementos del servidor web Compatible con los entornos de Airflow 1 con inhabilitación de la serialización de DAG. Admitido
Instalar complementos personalizados Admitido Admitido
Carga asíncrona de DAG Compatible con Airflow 1 No compatible
Serialización del DAG Siempre habilitado en Airflow 2. Se puede inhabilitar en Airflow 1. Siempre habilitado en Airflow 2.

Imágenes de Cloud Composer

Para ejecutar Apache Airflow, Cloud Composer compila imágenes de Docker que agrupan actualizaciones de Airflow con otros objetos binarios comunes y bibliotecas de Python.

Las imágenes de Cloud Composer incluyen modificaciones de Airflow específicas de Cloud Composer, que no son adecuadas para la base de código ascendente de Airflow. Los paquetes preinstalados junto con los cambios de Airflow específicos de Cloud Composer se denominan colectivamente “versiones de Cloud Composer”.

Google lanza de forma periódica imágenes nuevas de Cloud Composer que incluyen actualizaciones nuevas de Airflow y mejoras de Cloud Composer.

Baja y asistencia de la versión de Cloud Composer

Google admite las versiones de Cloud Composer durante un período después de la actualización de la versión. Durante este período, los entornos de Cloud Composer que usan estas versiones son totalmente compatibles.

La compatibilidad con la versión de Cloud Composer se define de la siguiente manera:

  • Entre 0 y 12 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones son totalmente compatibles.
  • Entre 12 y 18 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones no son compatibles, excepto para notificar a los clientes acerca de problemas de seguridad.
  • Más de 18 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones no son compatibles y son completamente administrados por el usuario.

Compatibilidad con versiones de Airflow

Airflow sigue el esquema de control de versiones de software semántico. Cada versión de Airflow tiene una versión principal, menor y parche.

Para obtener una lista de las versiones de Airflow compatibles con cada versión de Cloud Composer, consulta la lista de versiones de Cloud Composer.

Compatibilidad con la versión de Airflow 2

  • En cada versión, Cloud Composer admite dos versiones secundarias de Airflow 2.

    Por ejemplo, Cloud Composer 1.17.0 admite Airflow 2.0.* y Airflow 2.1.*.

  • Para cada versión secundaria de Airflow 2, Cloud Composer admite una versión de parche.

    Por ejemplo, para Airflow 2.1.*, Cloud Composer es compatible con Airflow 2.1.2.

  • Cuando una nueva versión del parche de Airflow 2 está disponible en Cloud Composer, la versión correspondiente tiene dos versiones de parche de Airflow 2 disponibles para la misma versión secundaria de Airflow. La versión del parche anterior se quita en una de las próximas actualizaciones.

    Por ejemplo, Cloud Composer 1.17.4 admite Airflow 2.1.2 y Airflow 2.1.4.

  • Cloud Composer puede omitir algunas versiones de parches de Airflow entre versiones de Cloud Composer. Además, si hay problemas funcionales, de calidad o de rendimiento con una versión de parche específica de Airflow, también se puede omitir esta versión.

    Por ejemplo, Airflow 2.1.3 se omite y Airflow 2.1.4 está disponible.

  • Una versión de Cloud Composer que ejecuta una versión estable de Airflow puede incluir actualizaciones de Airflow adaptadas a partir de una versión posterior de Airflow.

Esquema de la versión de Cloud Composer

El esquema de control de versiones con imágenes de Cloud Composer captura versiones de Cloud Composer y Airflow:

composer-a.b.c-airflow-x.y.z

Donde

  • composer-a.b.c es la versión de las personalizaciones administradas por Cloud Composer.
  • airflow-x.y.z es la versión de Airflow.

Alias y marcas de la versión

Cloud Composer es compatible con las versiones con imágenes de Cloud Composer fijadas a la versión más reciente de Cloud Composer.

Cuando creas un entorno de Cloud Composer, puedes usar estas marcas para especificar la versión del entorno:

  • --image-version, para especificar la versión del entorno con el formato composer-a.b.c-airflow-x.y.z.
  • --airflow-version, para especificar la versión de Airflow con el formato x.y.z, que crea el entorno con la versión más reciente de Cloud Composer y la versión de Airflow especificada.

Cloud Composer también admite el uso de los siguientes alias de versión:

  • composer-latest-airflow-x.y.z especifica una versión con imágenes con la versión más reciente de Cloud Composer.
  • composer-a.b.c-airflow-x.y especifica una versión con imágenes que se expande automáticamente a composer-a.b.c-airflow-x.y.z, donde z es el último número de parche.
  • composer-latest-airflow-x.y especifica una versión con imágenes con la última versión de Cloud Composer que se expande automáticamente a airflow-x.y.z, donde z es el último número de parche.

¿Qué sigue?