Présentation de la gestion des versions Cloud Composer

Cette page décrit la gestion des versions Cloud Composer et répertorie les différences entre les versions majeures.

Versions majeures de Cloud Composer

Il existe trois versions principales de Cloud Composer:

  • Cloud Composer 1. Avec scaling manuel de l'environnement, l'infrastructure est déployée dans vos projets et réseaux.

  • Cloud Composer 2. Dans cette version, le cluster de l'environnement évolue automatiquement pour répondre aux besoins en ressources.

Comparaison des versions de Cloud Composer

Le tableau suivant répertorie les principales différences entre Cloud Composer 1 et Cloud Composer 2.

Sélection Cloud Composer 1 Cloud Composer 2
Version de l'image composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z
Versions d'Airflow Airflow 1.10* et Airflow 2 Airflow 2
Versions Python 3.8.12 3.11.5 et 3.8.12 dans les versions antérieures
Cluster de l'environnement Cluster Google Kubernetes Engine basé sur le routage ou VPC natif en mode standard Cluster Google Kubernetes Engine VPC natif en mode Autopilot
Scaling horizontal Permet d'ajuster le nombre de nœuds du cluster de l'environnement. Le nombre de nœuds de calcul Airflow est modifié.
Peut ajuster le nombre de programmeurs Airflow.		 Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure du nombre de nœuds de calcul.
Peut ajuster le nombre de programmeurs et de déclencheurs Airflow
Scaling vertical Permet de définir des types de machines pour les nœuds de cluster, le serveur Web et la base de données Airflow lors de la création d'un environnement. Peut modifier les types de machines pour le serveur Web et la base de données Airflow. Peut définir et modifier la configuration des charges de travail: paramètres de processeur, de mémoire et de stockage pour les nœuds de calcul Airflow, les programmeurs, le serveur Web et la taille de l'environnement.
Modèle tarifaire Modèle de tarification Cloud Composer 1 Modèle de tarification Cloud Composer 2
Contrôle des accès Rôles Cloud Composer 1 Rôles Cloud Composer. Utilise Workload Identity et nécessite des autorisations supplémentaires pour le compte d'agent de service Cloud Composer.
Accès via la fédération des identités des employés Non compatible Compatible
Environnements hautement résilients Non compatible Compatible
Mise en réseau IP privée Appairages VPC Private Service Connect
VPC Service Controls Compatible Compatible
Exécuteurs Airflow Exécuteur Celery Exécuteur Celery
Déclencheur Airflow (opérateurs différables) Non compatible Compatible
CMEK Compatible Compatible
Contrôle des accès au serveur Web Compatible Compatible
Redémarrage du serveur Web Compatible Compatible
Plug-ins du serveur Web Compatible dans les environnements Airflow 1 avec sérialisation des DAG désactivée. Compatible
Installer des plug-ins personnalisés Compatible Compatible
Opérations de maintenance Toutes les tâches peuvent être affectées. Les tâches dont l'exécution prend moins de 55 minutes ne sont pas affectées.
Stocker des instantanés Compatible avec les versions Airflow 2.x et 1.10.15 Compatible
Chargement des instantanés... Non compatible Compatible
Instantanés programmés Non compatible Compatible
Bucket de l'environnement personnalisé Non compatible Compatible
Enregistrer des journaux de tâches Airflow uniquement dans Cloud Logging Non compatible Compatible
Intégration de la traçabilité des données Non compatible Compatible

Images Cloud Composer

Pour exécuter Apache Airflow, Cloud Composer crée des images Docker qui regroupent des versions d'Airflow avec d'autres bibliothèques Python et fichiers binaires courants.

Les images Cloud Composer incluent des modifications d'Airflow propres à Cloud Composer et non adaptées au codebase Airflow en amont. Chaque image Cloud Composer contient des packages préinstallés ainsi que des modifications Airflow spécifiques à Cloud Composer.

Google publie régulièrement de nouvelles images Cloud Composer:

  • Dans Cloud Composer 2 et Cloud Composer 1, les images incluent des améliorations de Cloud Composer et de nouvelles versions des versions Airflow compatibles. Pour bénéficier des améliorations de Cloud Composer, vous devez mettre à niveau votre environnement vers une version ultérieure de Cloud Composer.

Obsolescence de version et assistance

Composer 2

Google est compatible avec les versions de Cloud Composer 2 pendant un certain temps après la publication de la version. Pendant cette période, les environnements Cloud Composer 2 qui utilisent ces versions sont entièrement compatibles.

La compatibilité de la version Cloud Composer 2 est définie comme suit:

  • 0 à 12 mois à compter de la date de disponibilité: les environnements Cloud Composer 2 exécutant ces versions sont entièrement compatibles.

  • 12 à 18 mois à compter de la date de disponibilité: les environnements Cloud Composer 2 exécutant ces versions ne sont plus compatibles, sauf pour informer les clients des problèmes de sécurité.

  • Plus de 18 mois à compter de la date de disponibilité: les environnements Cloud Composer 2 qui exécutent ces versions ne sont plus compatibles et sont entièrement gérés par l'utilisateur.

Vous pouvez utiliser les versions de Cloud Composer après la date à laquelle elles ne sont plus compatibles. Par exemple, même si votre environnement est basé sur une version de Cloud Composer qui a dépassé la période de prise en charge, l'environnement fonctionne toujours et vous pouvez continuer à l'utiliser. Dans ce cas, nous vous recommandons de mettre à niveau votre environnement vers une version compatible.

Composer 1

De nouvelles versions de Cloud Composer 1 ont été publiées jusqu'à la fin du mois de mars 2023. Toutes les versions de Cloud Composer 1 publiées suivent la même stratégie d'obsolescence de versions que Cloud Composer 2 et sont compatibles avec celle-ci.

Le 25 mars 2024, Cloud Composer 1 est passé en mode post-maintenance. Google ne publiera aucune autre mise à jour de Cloud Composer 1, y compris les nouvelles versions d'Airflow, les corrections de bugs et les mises à jour de sécurité. Nous vous recommandons de migrer vers Cloud Composer 2.

Compatibilité de la version Airflow

Airflow suit le schéma de la gestion des versions du logiciel sémantique. Chaque version d'Airflow possède une version majeure, mineure et de correctif.

Composer 2

Pour obtenir la liste des versions Airflow compatibles avec chaque version de Cloud Composer, consultez la liste des versions de Cloud Composer.

  • Dans chaque version, Cloud Composer 2 est compatible avec deux versions mineures d'Airflow 2.

    Par exemple, Cloud Composer 2.4.0 est compatible avec Airflow 2.4* et Airflow 2.5*.

  • Pour chaque version mineure d'Airflow 2, Cloud Composer accepte une version de correctif.

    Par exemple, pour Airflow 2.4*.*, Cloud Composer est compatible avec Airflow 2.4.3.

  • Lorsqu'une nouvelle version corrigée d'Airflow 2 est disponible dans Cloud Composer, deux versions de correctif d'Airflow 2 sont disponibles pour la même version mineure d'Airflow. La version de correctif précédente est ensuite supprimée dans l'une des versions suivantes.

    Par exemple, Cloud Composer 2.3.4 est compatible avec Airflow 2.5.1 et Airflow 2.5.3.

  • Cloud Composer peut ignorer certaines versions de correctif Airflow entre les versions de Cloud Composer. De plus, en cas de problèmes fonctionnels, de qualité ou de performances avec une version de correctif spécifique d'Airflow, Cloud Composer peut également ignorer cette version.

    Par exemple, Airflow 2.1.3 est ignoré et Airflow 2.1.4 est disponible.

  • Une version de Cloud Composer exécutant une révision stable d'Airflow peut inclure des mises à jour d'Airflow qui sont rétroportées d'une révision ultérieure d'Airflow.

Composer 1

La dernière version d'Airflow compatible avec Cloud Composer est Airflow 2.4.3.

Seul Cloud Composer 1 est compatible avec Airflow 1.10.15, qui est la dernière version d'Airflow 1.

Schéma de version Cloud Composer

Composer 2

Le schéma de gestion des versions d'image Cloud Composer 2 capture les versions d'Airflow et de Cloud Composer:

composer-2.b.c-airflow-x.y.z

Où :

  • composer-2.b.c correspond à la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z correspond à la version d'Airflow.

Composer 1

Le schéma de gestion des versions d'image Cloud Composer 1 capture les versions d'Airflow et de Cloud Composer:

composer-1.b.c-airflow-x.y.z

Où :

  • composer-1.b.c correspond à la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z correspond à la version d'Airflow.

Alias de version

Les alias de version fonctionnent comme suit:

  • Cloud Composer résout l'alias de version au format complet lors de la création de votre environnement:
    • Tous les alias de version deviennent composer-a.b.c-airflow-x.y.z dans Cloud Composer 2 et Cloud Composer 1.

  • Dans Cloud Composer 2 et Cloud Composer 1, l'utilisation d'un alias de version, tel que composer-a-airflow-x.y.z, ne fournit pas de mises à niveau automatiques pour un environnement. L'environnement reste sur la même version de Cloud Composer et d'Airflow jusqu'à ce que vous le mettiez à niveau.

Cloud Composer 2 est compatible avec les alias de version suivants:

Alias Version Cloud Composer Version Airflow
composer-2-airflow-2 Dernière version de Cloud Composer 2 Dernière version d'Airflow 2
composer-2-airflow-x.y Dernière version de Cloud Composer 2 Dernière version d'Airflow dans x.y versions majeures et mineures
composer-2-airflow-x.y.z Dernière version de Cloud Composer 2 Version d'Airflow spécifiée
composer-2.b.c-airflow-x.y Version spécifiée de Cloud Composer 2 La dernière version d'Airflow est disponible dans x.y versions majeures et mineures

Cloud Composer 1 est compatible avec les alias de version suivants:

Alias Version Cloud Composer Version Airflow
composer-1-airflow-2 Dernière version de Cloud Composer 1 Dernière version d'Airflow 2
composer-1-airflow-1 Dernière version de Cloud Composer 1 Dernière version d'Airflow 1
composer-1-airflow-x.y Dernière version de Cloud Composer 1 Dernière version d'Airflow dans x.y versions majeures et mineures
composer-1-airflow-x.y.z Dernière version de Cloud Composer 1 Version d'Airflow spécifiée
composer-1.b.c-airflow-x.y Version spécifiée de Cloud Composer 1 La dernière version d'Airflow est disponible dans x.y versions majeures et mineures.

Les alias de version suivants pointent vers Cloud Composer 2. Vous pouvez toujours les utiliser, mais envisagez de passer à des alias pour votre version de Cloud Composer.

  • composer-latest-airflow-x.y est égal à composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z est égal à composer-2-airflow-x.y.z.

Arguments de version dans la Google Cloud CLI

Lorsque vous créez ou mettez à niveau un environnement Cloud Composer à l'aide de Google Cloud CLI, vous pouvez spécifier les versions de Cloud Composer et d'Airflow:

Composer 2

  • L'argument --image-version spécifie les versions de Cloud Composer 2 et Airflow:

    • composer-a.b.c-airflow-x.y.z crée un environnement avec les versions spécifiées de Cloud Composer et d'Airflow.
    • Les alias de version résolvent d'abord le format composer-a.b.c-airflow-x.y.z, puis créent un environnement avec les versions spécifiées de Cloud Composer 2 et Airflow.

  • --airflow-version spécifie la version d'Airflow aux formats suivants:

    • Le format x.y.z correspond à la dernière version de Cloud Composer 2 et à la version d'Airflow spécifiée. Ce format correspond à l'alias de version composer-2-airflow-x.y.z.

    • Le format x.y correspond à la dernière version de Cloud Composer 2 et à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est identique à l'alias de version composer-2-airflow-x.y.

Composer 1

  • L'argument --image-version spécifie les versions d'Airflow et de Cloud Composer 1:

    • composer-a.b.c-airflow-x.y.z crée un environnement avec les versions spécifiées de Cloud Composer et d'Airflow.
    • Les alias de version résolvent d'abord le format composer-a.b.c-airflow-x.y.z, puis créent un environnement avec les versions spécifiées de Cloud Composer 1 et Airflow.

  • --airflow-version spécifie la version d'Airflow aux formats suivants:

    • Le format x.y.z correspond à la dernière version de Cloud Composer 1 et à la version d'Airflow spécifiée. Ce format correspond à l'alias de version composer-1-airflow-x.y.z.

    • Le format x.y correspond à la dernière version de Cloud Composer 1 et à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est identique à l'alias de version composer-1-airflow-x.y.

Étapes suivantes