Descripción general del control de versiones de Cloud Composer

Cloud Composer 1 | Cloud Composer 2

En esta página, se describe el control de versiones de Cloud Composer y se enumeran las diferencias entre las versiones principales de Cloud Composer.

Versiones principales de Cloud Composer

Cloud Composer tiene las siguientes dos versiones principales:

  • Cloud Composer 2. Esta versión tiene entornos con ajuste de escala automático.
  • Cloud Composer 1. Esta versión tiene ajuste de escala manual.

En la siguiente tabla, se enumeran las diferencias principales entre Cloud Composer 1 y Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versiones con imágenes de Cloud Composer composer-1.x.x composer-2.x.x
Versiones de Airflow Airflow 1.10.* y Airflow 2 Airflow 2
Versiones de Python 3.8.6, 3.6.10, 2.7.17 3,8.6
Clúster del entorno Clúster de Google Kubernetes Engine basado en Routes o nativo de la VPC en modo estándar Modo de Autopilot nativo de la VPC de Google Kubernetes Engine con clúster
Escalamiento horizontal: Puede ajustar la cantidad de nodos en el clúster del entorno. Esto cambia la cantidad de trabajadores de Airflow.
Puede ajustar la cantidad de programadores de Airflow.
Escala automáticamente la cantidad de trabajadores de Airflow según la demanda. Puede establecer y cambiar límites inferiores y superiores para la cantidad de trabajadores.
Puede ajustar la cantidad de programadores de Airflow.
Escalamiento vertical Puede configurar tipos de máquinas para nodos de clúster, servidor web de Airflow y base de datos cuando se crea un entorno. Puede cambiar los tipos de máquina para el servidor web y la base de datos de Airflow. Puede establecer y cambiar la configuración de cargas de trabajo: parámetros de CPU, memoria y almacenamiento para trabajadores de Airflow, programadores, servidor web y base de datos.
Modelo de precios Modelo de precios de Cloud Composer 1 Modelo de precios de Cloud Composer 2
Control de acceso Funciones de Cloud Composer Funciones de Cloud Composer Usa Workload Identity y requiere permisos adicionales para la cuenta de agente de servicio de Cloud Composer.
Arquitectura del entorno Arquitectura del entorno de Cloud Composer 1 Arquitectura del entorno de Cloud Composer 2
Compatibilidad con Terraform Puede crear y actualizar entornos de Cloud Composer 1. Puede crear y actualizar entornos de Cloud Composer 2.
En la Vista previa, la configuración de las cargas de trabajo no se puede administrar mediante Terraform. La configuración predeterminada de las cargas de trabajo se usa para los entornos creados con Terraform.
CMEK Se admite No es compatible en la vista previa
Controles de acceso al servidor web Se admite No es compatible en la vista previa
Reiniciando el servidor web Se admite No es compatible en la vista previa
Instalar complementos personalizados Se admite No es compatible en la vista previa
Carga asíncrona de DAG Compatible con Airflow 1 No compatible
serialización de DAG Siempre habilitada en Airflow 2. Se puede inhabilitar en Airflow 1. Siempre habilitada en Airflow 2.

Imágenes de Cloud Composer

Para ejecutar Apache Airflow, Cloud Composer compila imágenes de Docker que agrupan versiones de Airflow con otros objetos binarios y bibliotecas de Python comunes.

Las imágenes de Cloud Composer incluyen modificaciones de Airflow específicas de Cloud Composer y no adecuadas para la base de código ascendente de Airflow. Los paquetes preinstalados junto con los cambios específicos de Cloud Composer en Airflow se conocen como versiones de Cloud Composer.

Google lanza de forma periódica imágenes nuevas de Cloud Composer que incluyen nuevos lanzamientos de Airflow y mejoras de Cloud Composer.

Baja de la versión y compatibilidad con Cloud Composer

Google admite las versiones de Cloud Composer durante un período después de la actualización de la versión. Durante este período, los entornos de Cloud Composer que usan estas versiones son totalmente compatibles.

La compatibilidad con las versiones de Cloud Composer se define de la siguiente manera:

  • De 0 a 12 meses desde la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones son totalmente compatibles.
  • Entre 12 y 18 meses desde la fecha de lanzamiento: no se admiten los entornos de Cloud Composer que ejecutan estas versiones, excepto para notificar a los clientes sobre problemas de seguridad.
  • Más de 18 meses a partir de la fecha de lanzamiento: los entornos de Cloud Composer que ejecutan estas versiones no son compatibles y están completamente administrados por el usuario.

Compatibilidad con versiones de Airflow

Airflow sigue el esquema de control de versiones de software semántico.

Para cada versión de Cloud Composer, Cloud Composer admite al menos tres versiones de parche de Airflow. Es posible que Cloud Composer no admita algunas versiones de parche de Airflow si hay problemas funcionales, de calidad o de rendimiento con una versión específica de Airflow.

Una versión de Cloud Composer que ejecuta una versión estable de Airflow puede incluir actualizaciones de Airflow que se transfieren desde una versión posterior de Airflow.

Para obtener una lista de las versiones de Airflow compatibles con cada versión de Cloud Composer, consulta la lista de versiones de Cloud Composer.

Esquema de la versión de Cloud Composer

El esquema de control de versiones de imágenes de Cloud Composer captura las versiones de Cloud Composer y Airflow:

composer-a.b.c-airflow-x.y.z

Donde

  • composer-a.b.c es la versión de las personalizaciones que administra Cloud Composer.
  • airflow-x.y.z es la versión de Airflow.

Alias y marcas de la versión

Cloud Composer admite las versiones de imagen de Cloud Composer fijadas a la versión más reciente de Cloud Composer.

Cuando creas un entorno de Cloud Composer, puedes usar estas marcas para especificar la versión del entorno:

  • --image-version, para especificar la versión del entorno con el formato composer-a.b.c-airflow-x.y.z.
  • --airflow-version para especificar la versión de Airflow en el formato x.y.z, que crea el entorno mediante la versión de Cloud Composer más reciente y la versión de Airflow especificada.

Cloud Composer también admite el uso de los siguientes alias de versión:

  • composer-latest-airflow-x.y.z especifica una versión de imagen con la última versión de Cloud Composer.
  • composer-a.b.c-airflow-x.y especifica una versión de la imagen que se expande de forma automática a composer-a.b.c-airflow-x.y.z, en la que z es el número de parche más reciente.
  • composer-latest-airflow-x.y especifica una versión de la imagen con la última versión de Cloud Composer que se expande de forma automática a airflow-x.y.z, donde z es el número de parche más reciente.

¿Qué sigue?