Présentation de la gestion des versions Cloud Composer

Preview — Cloud Composer 3

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page décrit la gestion des versions Cloud Composer et répertorie les différences entre les versions majeures.

Versions majeures de Cloud Composer

Les versions majeures de Cloud Composer sont les suivantes:

• Cloud Composer 1. Avec scaling manuel de l'environnement, l'infrastructure est déployée dans vos projets et réseaux.
• Cloud Composer 2. Dans cette version, le cluster de l'environnement évolue automatiquement pour répondre aux besoins en ressources.
• Cloud Composer 3. Cette version a simplifié la configuration du réseau et masque les composants d'infrastructure, y compris le cluster de l'environnement et les dépendances de l'environnement vis-à-vis d'autres services.

Important :Le 25 mars 2024, Cloud Composer 1 est passé en mode post-maintenance. Google ne publiera plus de mises à jour de Cloud Composer 1, y compris de nouvelles versions d'Airflow, de corrections de bugs et de mises à jour de sécurité. Nous vous recommandons de migrer vers Cloud Composer 2.

Comparaison des versions de Cloud Composer

Le tableau suivant répertorie les principales différences entre Cloud Composer 1, Cloud Composer 2 et Cloud Composer 3.

Sélection	Cloud Composer 1	Cloud Composer 2	Cloud Composer 3
Version de l'image	composer-1.b.c-airflow-x.y.z	composer-2.b.c-airflow-x.y.z	composer-3-airflow-x.y.z-build.t
Versions d'Airflow	Airflow 1.10* et Airflow 2	Airflow 2	Airflow 2
Versions Python	3.8.12	3.11.5 et 3.8.12 dans les versions antérieures	3.11.5
Cluster de l'environnement	Cluster Google Kubernetes Engine basé sur le routage ou VPC natif en mode standard	Cluster Google Kubernetes Engine VPC natif en mode Autopilot	Le cluster de l'environnement n'est pas déployé dans votre projet.
Scaling horizontal	Permet d'ajuster le nombre de nœuds du cluster de l'environnement. Le nombre de nœuds de calcul Airflow est modifié. Peut ajuster le nombre de programmeurs Airflow.	Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure du nombre de nœuds de calcul. Peut ajuster le nombre de programmeurs et de déclencheurs Airflow	Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure du nombre de nœuds de calcul. Peut ajuster le nombre de programmeurs, de déclencheurs et de processeurs DAG Airflow
Scaling vertical	Permet de définir des types de machines pour les nœuds de cluster, le serveur Web et la base de données Airflow lors de la création d'un environnement. Peut modifier les types de machines pour le serveur Web et la base de données Airflow.	Peut définir et modifier la configuration des charges de travail: paramètres de processeur, de mémoire et de stockage pour les nœuds de calcul Airflow, les programmeurs, le serveur Web et la taille de l'environnement.	Peut définir et modifier la configuration des charges de travail: paramètres de processeur, de mémoire et de stockage pour les nœuds de calcul Airflow, les programmeurs, le serveur Web, les processeurs DAG et la taille de l'environnement.
Modèle tarifaire	Modèle de tarification Cloud Composer 1	Modèle de tarification Cloud Composer 2	Modèle de tarification de Cloud Composer 3
Contrôle des accès	Rôles Cloud Composer 1	Rôles Cloud Composer. Utilise Workload Identity et nécessite des autorisations supplémentaires pour le compte d'agent de service Cloud Composer.	Rôles Cloud Composer. Utilise Workload Identity. Aucune autorisation supplémentaire n'est requise
Accès via la fédération des identités des employés	Non compatible	Compatible	Compatible
Environnements hautement résilients	Non compatible	Compatible	Non disponible dans la version Preview publique
Mise en réseau IP privée	Appairages VPC	Private Service Connect	Configuration réseau simplifiée. Peut passer d'une adresse IP publique à une adresse IP privée dans un environnement existant.
VPC Service Controls	Compatible	Compatible	Non disponible dans la version Preview publique
Exécuteurs Airflow	Exécuteur Celery	Exécuteur Celery	Exécuteur CeleryKubernetes
Déclencheur Airflow (opérateurs différables)	Non compatible	Compatible	Compatible
CMEK	Compatible	Compatible	Non disponible dans la version Preview publique
Contrôle des accès au serveur Web	Compatible	Compatible	Compatible
Redémarrage du serveur Web	Compatible	Compatible	Compatible
Plug-ins du serveur Web	Compatible dans les environnements Airflow 1 avec sérialisation des DAG désactivée.	Compatible	Les plug-ins compatibles peuvent être désactivés et activés à la demande.
Installer des plug-ins personnalisés	Compatible	Compatible	Compatible
Opérations de maintenance	Toutes les tâches peuvent être affectées.	Les tâches dont l'exécution prend moins de 55 minutes ne sont pas affectées.	Les tâches dont l'exécution prend moins de 55 minutes ne sont pas affectées.
Stocker des instantanés	Compatible avec les versions Airflow 2.x et 1.10.15	Compatible	Compatible
Chargement des instantanés...	Non compatible	Compatible	Compatible
Instantanés programmés	Non compatible	Compatible	Non disponible dans la version Preview publique
Bucket de l'environnement personnalisé	Non compatible	Compatible	Compatible
Enregistrer des journaux de tâches Airflow uniquement dans Cloud Logging	Non compatible	Compatible	Compatible
Intégration de la traçabilité des données	Non compatible	Compatible	Compatible

Images Cloud Composer

Pour exécuter Apache Airflow, Cloud Composer crée des images Docker qui regroupent des versions d'Airflow avec d'autres bibliothèques Python et fichiers binaires courants.

Les images Cloud Composer incluent des modifications d'Airflow propres à Cloud Composer et non adaptées au codebase Airflow en amont. Chaque image Cloud Composer contient des packages préinstallés ainsi que des modifications Airflow spécifiques à Cloud Composer.

Google publie régulièrement de nouvelles images Cloud Composer:

• Dans Cloud Composer 3, les images incluent les nouveaux builds des versions Airflow compatibles. Vous pouvez sélectionner une version Airflow et un build que vous souhaitez utiliser. Votre environnement bénéficie automatiquement des améliorations de Cloud Composer.

• Dans Cloud Composer 2 et Cloud Composer 1, les images incluent des améliorations de Cloud Composer et de nouvelles versions des versions Airflow compatibles. Pour bénéficier des améliorations de Cloud Composer, vous devez mettre à niveau votre environnement vers une version ultérieure de Cloud Composer.

Obsolescence de version et assistance

Composer 3

Google est compatible avec une version d'Airflow pendant un certain temps après la version initiale:

• Si la version mineure d'Airflow est la dernière version disponible dans Cloud Composer 3, tous les builds Airflow utilisant cette version mineure sont entièrement compatibles. La date de fin exacte de la prise en charge est déterminée lorsqu'une nouvelle version mineure d'Airflow devient disponible dans Cloud Composer 3.

• Lorsqu'une nouvelle version mineure d'Airflow est disponible dans Cloud Composer 3, toutes les compilations utilisant la précédente version mineure d'Airflow sont disponibles pendant 12 mois à compter de cette date. Si plusieurs builds contiennent la même version mineure d'Airflow, tous ont la même date de fin de prise en charge complète.

• Lorsqu'une version mineure n'est plus entièrement compatible, les environnements exécutant cette version le deviennent également et sont entièrement gérés par l'utilisateur. Vous pouvez toujours mettre à niveau un tel environnement vers une version d'Airflow entièrement compatible.

Vous pouvez créer des environnements avec tous les builds Airflow entièrement compatibles.

Vous pouvez toujours utiliser un environnement dont le build Airflow n'est plus compatible. L'environnement fonctionne toujours, vous pouvez continuer à l'utiliser et vous pouvez toujours le mettre à niveau vers une version entièrement compatible.

Important :Dans certains cas, la mise à niveau vers une version ou un build d'Airflow ultérieur est la seule solution disponible pour résoudre une faille de sécurité.

Composer 2

Google est compatible avec les versions de Cloud Composer 2 pendant un certain temps après la publication de la version. Pendant cette période, les environnements Cloud Composer 2 qui utilisent ces versions sont entièrement compatibles.

La compatibilité de la version Cloud Composer 2 est définie comme suit:

• 0 à 12 mois à compter de la date de disponibilité: les environnements Cloud Composer 2 exécutant ces versions sont entièrement compatibles.

• 12 à 18 mois à compter de la date de disponibilité: les environnements Cloud Composer 2 exécutant ces versions ne sont plus compatibles, sauf pour informer les clients des problèmes de sécurité.

  Important :Dans certains cas, la mise à niveau vers une version ultérieure de Cloud Composer et d'Airflow est la seule solution disponible pour une faille de sécurité.

• Plus de 18 mois à compter de la date de disponibilité: les environnements Cloud Composer 2 qui exécutent ces versions ne sont plus compatibles et sont entièrement gérés par l'utilisateur.

Vous pouvez utiliser les versions de Cloud Composer après la date à laquelle elles ne sont plus compatibles. Par exemple, même si votre environnement est basé sur une version de Cloud Composer qui a dépassé la période de prise en charge, l'environnement fonctionne toujours et vous pouvez continuer à l'utiliser. Dans ce cas, nous vous recommandons de mettre à niveau votre environnement vers une version compatible.

Composer 1

De nouvelles versions de Cloud Composer 1 ont été publiées jusqu'à la fin du mois de mars 2023. Toutes les versions de Cloud Composer 1 publiées suivent la même stratégie d'obsolescence de versions que Cloud Composer 2 et sont compatibles avec celle-ci.

Le 25 mars 2024, Cloud Composer 1 est passé en mode post-maintenance. Google ne publiera aucune autre mise à jour de Cloud Composer 1, y compris les nouvelles versions d'Airflow, les corrections de bugs et les mises à jour de sécurité. Nous vous recommandons de migrer vers Cloud Composer 2.

Compatibilité de la version Airflow

Airflow suit le schéma de la gestion des versions du logiciel sémantique. Chaque version d'Airflow possède une version majeure, mineure et de correctif.

Composer 3

Dans Cloud Composer 3, de nouvelles versions et compilations d'Airflow deviennent disponibles au fil du temps.

Votre environnement peut fonctionner avec toutes les versions et builds d'Airflow précédents, et reçoit automatiquement les mises à jour de ses composants d'infrastructure. Chaque version et chaque build sont compatibles comme décrit dans la section Obsolescence et compatibilité des versions. Vous pouvez choisir de mettre à niveau votre version Airflow vers une version ou un build ultérieur.

Composer 2

Pour obtenir la liste des versions Airflow compatibles avec chaque version de Cloud Composer, consultez la liste des versions de Cloud Composer.

• Dans chaque version, Cloud Composer 2 est compatible avec deux versions mineures d'Airflow 2.

  Par exemple, Cloud Composer 2.4.0 est compatible avec Airflow 2.4* et Airflow 2.5*.

• Pour chaque version mineure d'Airflow 2, Cloud Composer accepte une version de correctif.

  Par exemple, pour Airflow 2.4*.*, Cloud Composer est compatible avec Airflow 2.4.3.

• Lorsqu'une nouvelle version corrigée d'Airflow 2 est disponible dans Cloud Composer, deux versions de correctif d'Airflow 2 sont disponibles pour la même version mineure d'Airflow. La version de correctif précédente est ensuite supprimée dans l'une des versions suivantes.

  Par exemple, Cloud Composer 2.3.4 est compatible avec Airflow 2.5.1 et Airflow 2.5.3.

• Cloud Composer peut ignorer certaines versions de correctif Airflow entre les versions de Cloud Composer. De plus, en cas de problèmes fonctionnels, de qualité ou de performances avec une version de correctif spécifique d'Airflow, Cloud Composer peut également ignorer cette version.

  Par exemple, Airflow 2.1.3 est ignoré et Airflow 2.1.4 est disponible.

• Une version de Cloud Composer exécutant une révision stable d'Airflow peut inclure des mises à jour d'Airflow qui sont rétroportées d'une révision ultérieure d'Airflow.

Composer 1

La dernière version d'Airflow compatible avec Cloud Composer est Airflow 2.4.3.

Seul Cloud Composer 1 est compatible avec Airflow 1.10.15, qui est la dernière version d'Airflow 1.

Schéma de version Cloud Composer

Composer 3

Le schéma de gestion des versions Cloud Composer 3 capture les versions et les builds Airflow:

composer-3-airflow-x.y.z-build.t

Où :

• composer-3 correspond à la version de Cloud Composer.
• airflow-x.y.z.build.t correspond à la version et au build d'Airflow. Chaque version suivante de la même version d'Airflow dans Cloud Composer 3 possède un numéro de build plus élevé. Le numéro de compilation est défini par Cloud Composer et non par le projet Open Source Airflow.

Composer 2

Le schéma de gestion des versions d'image Cloud Composer 2 capture les versions d'Airflow et de Cloud Composer:

composer-2.b.c-airflow-x.y.z

Où :

• composer-2.b.c correspond à la version des personnalisations gérées par Cloud Composer.
• airflow-x.y.z correspond à la version d'Airflow.

Composer 1

Le schéma de gestion des versions d'image Cloud Composer 1 capture les versions d'Airflow et de Cloud Composer:

composer-1.b.c-airflow-x.y.z

Où :

• composer-1.b.c correspond à la version des personnalisations gérées par Cloud Composer.
• airflow-x.y.z correspond à la version d'Airflow.

Alias de version

Les alias de version fonctionnent comme suit:

• Cloud Composer résout l'alias de version au format complet lors de la création de votre environnement:

  • Tous les alias de version deviennent composer-3-airflow-x.y.z-build.t dans Cloud Composer 3.
  • Tous les alias de version deviennent composer-a.b.c-airflow-x.y.z dans Cloud Composer 2 et Cloud Composer 1.

• Dans Cloud Composer 3, l'utilisation d'un alias de version, tel que composer-3-airflow-x.y, ne met pas automatiquement à niveau la version et le build Airflow de votre environnement. L'environnement reste sur le même build et la même version d'Airflow jusqu'à ce que vous le mettiez à niveau. L'environnement reçoit toujours les mises à niveau automatiques de l'infrastructure, comme d'habitude.

• Dans Cloud Composer 2 et Cloud Composer 1, l'utilisation d'un alias de version, tel que composer-a-airflow-x.y.z, ne fournit pas de mises à niveau automatiques pour un environnement. L'environnement reste sur la même version de Cloud Composer et d'Airflow jusqu'à ce que vous le mettiez à niveau.

Alias de version Cloud Composer 3

Cloud Composer 3 est compatible avec les alias de version suivants:

Alias	Version Airflow
composer-3-airflow-2	Dernière version et build d'Airflow 2
composer-3-airflow-x.y	Dernière version et build d'Airflow dans x.y versions majeures et mineures
composer-3-airflow-x.y.z	Dernière compilation de la version d'Airflow spécifiée

Alias de version Cloud Composer 2

Cloud Composer 2 est compatible avec les alias de version suivants:

Alias	Version Cloud Composer	Version Airflow
composer-2-airflow-2	Dernière version de Cloud Composer 2	Dernière version d'Airflow 2
composer-2-airflow-x.y	Dernière version de Cloud Composer 2	Dernière version d'Airflow dans x.y versions majeures et mineures
composer-2-airflow-x.y.z	Dernière version de Cloud Composer 2	Version d'Airflow spécifiée
composer-2.b.c-airflow-x.y	Version spécifiée de Cloud Composer 2	La dernière version d'Airflow est disponible dans x.y versions majeures et mineures

Alias de version Cloud Composer 1

Cloud Composer 1 est compatible avec les alias de version suivants:

Alias	Version Cloud Composer	Version Airflow
composer-1-airflow-2	Dernière version de Cloud Composer 1	Dernière version d'Airflow 2
composer-1-airflow-1	Dernière version de Cloud Composer 1	Dernière version d'Airflow 1
composer-1-airflow-x.y	Dernière version de Cloud Composer 1	Dernière version d'Airflow dans x.y versions majeures et mineures
composer-1-airflow-x.y.z	Dernière version de Cloud Composer 1	Version d'Airflow spécifiée
composer-1.b.c-airflow-x.y	Version spécifiée de Cloud Composer 1	La dernière version d'Airflow est disponible dans x.y versions majeures et mineures.

Les alias de version suivants pointent vers Cloud Composer 2. Vous pouvez toujours les utiliser, mais envisagez de passer à des alias pour votre version de Cloud Composer.

• composer-latest-airflow-x.y est égal à composer-2-airflow-x.y.
• composer-latest-airflow-x.y.z est égal à composer-2-airflow-x.y.z.

Arguments de version dans la Google Cloud CLI

Lorsque vous créez ou mettez à niveau un environnement Cloud Composer à l'aide de Google Cloud CLI, vous pouvez spécifier les versions de Cloud Composer et d'Airflow:

Composer 3

• L'argument --image-version spécifie la version et la compilation d'Airflow au format composer-3-airflow-x.y.z-build.t. Vous pouvez utiliser des alias de version, qui sont résolus par Google Cloud CLI dans leur format complet.

• --airflow-version spécifie la version d'Airflow aux formats suivants:

  • Le format x.y.z correspond au dernier build de la version spécifiée d'Airflow. Ce format est identique à l'alias de version composer-3-airflow-x.y.z.

  • Le format x.y correspond à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est identique à l'alias de version composer-3-airflow-x.y.

  • x.y.z-build.t est la version et le build spécifiés d'Airflow. Ce format est égal à composer-3-airflow-x.y.z-build.t.

Composer 2

• L'argument --image-version spécifie les versions de Cloud Composer 2 et Airflow:

  • composer-a.b.c-airflow-x.y.z crée un environnement avec les versions spécifiées de Cloud Composer et d'Airflow.
  • Les alias de version résolvent d'abord le format composer-a.b.c-airflow-x.y.z, puis créent un environnement avec les versions spécifiées de Cloud Composer 2 et Airflow.

• --airflow-version spécifie la version d'Airflow aux formats suivants:

  • Le format x.y.z correspond à la dernière version de Cloud Composer 2 et à la version d'Airflow spécifiée. Ce format correspond à l'alias de version composer-2-airflow-x.y.z.

  • Le format x.y correspond à la dernière version de Cloud Composer 2 et à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est identique à l'alias de version composer-2-airflow-x.y.

Composer 1

• L'argument --image-version spécifie les versions d'Airflow et de Cloud Composer 1:

  • composer-a.b.c-airflow-x.y.z crée un environnement avec les versions spécifiées de Cloud Composer et d'Airflow.
  • Les alias de version résolvent d'abord le format composer-a.b.c-airflow-x.y.z, puis créent un environnement avec les versions spécifiées de Cloud Composer 1 et Airflow.

• --airflow-version spécifie la version d'Airflow aux formats suivants:

  • Le format x.y.z correspond à la dernière version de Cloud Composer 1 et à la version d'Airflow spécifiée. Ce format correspond à l'alias de version composer-1-airflow-x.y.z.

  • Le format x.y correspond à la dernière version de Cloud Composer 1 et à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est identique à l'alias de version composer-1-airflow-x.y.

Étapes suivantes

• Images Cloud Composer
• Créez un environnement
• Mettez à niveau un environnement Cloud Composer existant