Présentation de la gestion des versions Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Cette page décrit la gestion des versions Cloud Composer et répertorie les différences entre les versions majeures.

Versions majeures de Cloud Composer

Il existe deux versions majeures de Cloud Composer :

  • Cloud Composer 2. Cette version dispose d'environnements avec autoscaling.
  • Cloud Composer 1. Cette version ne dispose que du scaling manuel.

Le tableau suivant répertorie les principales différences entre Cloud Composer 1 et Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versions d'image Cloud Composer composer-1.x.x composer-2.x.x
Versions d'Airflow Airflow 1.10* et Airflow 2 Airflow 2
Versions Python 3.8.6, 2.7.17 3.8.6
Cluster de l'environnement Cluster Google Kubernetes Engine basé sur le routage ou VPC natif en mode standard Cluster Google Kubernetes Engine VPC natif en mode Autopilot
Scaling horizontal Permet d'ajuster le nombre de nœuds du cluster de l'environnement. Cela modifie le nombre de nœuds de calcul Airflow.
Peut ajuster le nombre de programmeurs Airflow.
Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure pour le nombre de nœuds de calcul.
Peut ajuster le nombre de programmeurs Airflow.
Scaling vertical Peut définir des types de machines pour les nœuds de cluster, le serveur Web Airflow et la base de données lors de la création d'un environnement. Peut modifier les types de machines du serveur Web et de la base de données Airflow. Peut définir et modifier la configuration des charges de travail : paramètres de processeur, de mémoire et d'espace de stockage pour les nœuds de calcul, les programmeurs, le serveur Web et la base de données Airflow.
Modèle tarifaire Modèle de tarification Cloud Composer 1 Modèle de tarification Cloud Composer 2
Contrôle des accès Rôles Cloud Composer Rôles Cloud Composer. Utilise Workload Identity et nécessite des autorisations supplémentaires pour le compte Agent de service Cloud Composer.
Architecture des environnements Architecture des environnements Cloud Composer 1 Architecture des environnements Cloud Composer 2
Mise en réseau privée des adresses IP Appairages de VPC Appairages de VPC ou Private Service Connect
Compatibilité avec Terraform Peut créer et mettre à jour des environnements Cloud Composer 1. Peut créer et mettre à jour des environnements Cloud Composer 2.
CMEK Compatible Compatible
Contrôle des accès au serveur Web Compatible Compatible
Redémarrage du serveur Web Compatible Compatible
Plug-ins du serveur Web Compatible avec les environnements Airflow 1 avec sérialisation des DAG désactivée. Compatible
Installer des plug-ins personnalisés Compatible Compatible
Opérations de maintenance Toutes les tâches peuvent être affectées. Les tâches de moins de 55 minutes à exécuter ne sont pas affectées.
Chargement asynchrone des DAG Compatible avec Airflow 1 Incompatible
Sérialisation des DAG Toujours activé dans Airflow 2. Peut être désactivée dans Airflow 1. Toujours activé dans Airflow 2.
Compatibilité avec les tags réseau Yes Yes
Nœuds de cluster avec GPU Yes No

Images Cloud Composer

Pour exécuter Apache Airflow, Cloud Composer crée des images Docker qui regroupent des versions d'Airflow avec d'autres bibliothèques Python et fichiers binaires courants.

Les images Cloud Composer incluent des modifications d'Airflow propres à Cloud Composer et non adaptées au codebase Airflow en amont. Les packages préinstallés et les modifications d'Airflow propres à Cloud Composer sont collectivement nommés versions de Cloud Composer.

Google publie régulièrement de nouvelles images Cloud Composer incluant de nouvelles versions d'Airflow et des améliorations de Cloud Composer.

Compatibilité avec les versions 1 de Cloud Composer

Les nouvelles versions de Cloud Composer 1 sont publiées jusqu'à fin mars 2023. Toutes les versions publiées de Cloud Composer 1 suivent le règlement relatif aux abandons de version et sont compatibles conformément.

Certaines nouvelles fonctionnalités de Cloud Composer peuvent ne pas être compatibles qu'avec Cloud Composer 2. Vous pouvez vérifier quelles fonctionnalités ne sont compatibles qu'avec Cloud Composer 2 dans le tableau répertoriant les principales différences entre les versions.

Obsolescence de version et assistance de Cloud Composer

Google est compatible avec les versions Cloud Composer pendant un certain temps après la publication de la version. Au cours de cette période, les environnements Cloud Composer qui utilisent ces versions sont entièrement compatibles.

La compatibilité d'une version de Cloud Composer est définie comme suit :

  • 0 à 12 mois à compter de la date de disponibilité : les environnements Cloud Composer qui exécutent ces versions sont entièrement compatibles.
  • 12 à 18 mois à compter de la date de disponibilité : les environnements Cloud Composer qui exécutent ces versions ne sont plus compatibles, sauf pour informer les clients de problèmes de sécurité.
  • 18 mois et plus à compter de la date de disponibilité : les environnements Cloud Composer qui exécutent ces versions ne sont plus compatibles et sont entièrement gérés par les utilisateurs.

Compatibilité de la version Airflow

Airflow suit le schéma de la gestion des versions du logiciel sémantique. Chaque version d'Airflow possède une version majeure, mineure et de correctif.

Pour obtenir la liste des versions Airflow compatibles avec chaque version de Cloud Composer, consultez la liste des versions de Cloud Composer.

Compatibilité de la version d'Airflow 1

  • Cloud Composer est compatible avec Airflow 1.10.15, qui est la dernière version publiée d'Airflow 1.

Compatibilité de la version d'Airflow 2

  • Dans chaque version, Cloud Composer est compatible avec deux versions mineures d'Airflow 2.

    Par exemple, Cloud Composer 1.17.0 est compatible avec Airflow 2.0* et Airflow 2.1*.

  • Pour chaque version mineure d'Airflow 2, Cloud Composer accepte une version de correctif.

    Par exemple, pour Airflow 2.1*, Cloud Composer est compatible avec Airflow 2.1.2.

  • Lorsqu'une nouvelle version d'Airflow 2 devient disponible dans Cloud Composer, deux versions de correctif d'Airflow 2 sont disponibles pour la même version mineure d'Airflow. La version précédente du correctif est ensuite supprimée dans l'une des versions suivantes.

    Par exemple, Cloud Composer 1.17.4 est compatible avec Airflow 2.1.2 et Airflow 2.1.4.

  • Cloud Composer peut ignorer certaines versions de correctifs Airflow entre les versions de Cloud Composer. Cloud Composer peut également ignorer cette version en cas de problèmes de fonctionnement, de qualité ou de performances avec une version spécifique d'un correctif d'Airflow.

    Par exemple, Airflow 2.1.3 est ignoré et Airflow 2.1.4 est disponible.

  • Une version de Cloud Composer exécutant une révision stable d'Airflow peut inclure des mises à jour d'Airflow qui sont rétroportées d'une révision ultérieure d'Airflow.

Schéma de version Cloud Composer

Le schéma de gestion des versions des images Cloud Composer capture les versions de Cloud Composer et d'Airflow :

composer-a.b.c-airflow-x.y.z

Où :

  • composer-a.b.c correspond à la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z correspond à la version d'Airflow.

Alias de version

Cloud Composer 2 est compatible avec les alias de version suivants:

Alias Version de Cloud Composer Version Airflow
composer-2-airflow-2 Dernière version de Cloud Composer 2 Dernière version d'Airflow 2
composer-2-airflow-x.y Dernière version de Cloud Composer 2 Dernière version d'Airflow avec x.y versions majeure et mineure
composer-2-airflow-x.y.z Dernière version de Cloud Composer 2 Version d'Airflow spécifiée
composer-2.b.c-airflow-x.y Version spécifiée de Cloud Composer 2 Dernière version d'Airflow disponible dans x.y versions majeure et mineure

Cloud Composer 1 est compatible avec les alias de version suivants:

Alias Version de Cloud Composer Version Airflow
composer-1-airflow-2 Dernière version de Cloud Composer 1 Dernière version d'Airflow 2
composer-1-airflow-1 Dernière version de Cloud Composer 1 Dernière version d'Airflow 1
composer-1-airflow-x.y Dernière version de Cloud Composer 1 Dernière version d'Airflow avec x.y versions majeure et mineure
composer-1-airflow-x.y.z Dernière version de Cloud Composer 1 Version d'Airflow spécifiée
composer-1.b.c-airflow-x.y Version spécifiée de Cloud Composer 1 Dernière version d'Airflow disponible dans x.y versions majeure et mineure.

Les alias de version suivants pointent vers Cloud Composer 1. Vous pouvez tout de même les utiliser, mais envisagez d'adopter des alias pour votre version de Cloud Composer.

  • composer-latest-airflow-x.y est égal à composer-1-airflow-x.y.
  • composer-latest-airflow-x.y.z est égal à composer-1-airflow-x.y.z.

Arguments de version dans Google Cloud CLI

Lorsque vous créez ou mettez à niveau un environnement Cloud Composer à l'aide de la CLI Google Cloud, vous pouvez spécifier les versions d'Airflow et de Cloud Composer:

  • L'argument --image-version spécifie les versions de Cloud Composer et Airflow:

    • Le format composer-a.b.c-airflow-x.y.z crée un environnement avec les versions spécifiées de Cloud Composer et Airflow.
    • Les alias de version résolvent d'abord au format composer-a.b.c-airflow-x.y.z, puis créent un environnement avec les versions spécifiées de Cloud Composer et Airflow.
  • --airflow-version spécifie la version Airflow dans deux formats:

    • Le format x.y.z correspond à la dernière version de Cloud Composer 1 et à la version spécifiée d'Airflow. Ce format est égal à l'alias de version composer-1-airflow-x.y.z.

    • Le format x.y correspond à la dernière version de Cloud Composer 1 et à la dernière version d'Airflow disponible dans les versions majeures et mineures x.y. Ce format est égal à l'alias de version composer-1-airflow-x.y.

Étapes suivantes