Présentation de la gestion des versions Cloud Composer

Cette page décrit la gestion des versions Cloud Composer et répertorie les différences entre les versions majeures.

Versions majeures de Cloud Composer

Cloud Composer propose les versions majeures suivantes :

  • Cloud Composer 1. La mise à l'échelle manuelle de l'environnement permet de déployer l'infrastructure dans vos projets et réseaux.
  • Cloud Composer 2. Dans cette version, le cluster de l'environnement évolue automatiquement pour répondre aux demandes de ressources.
  • Cloud Composer 3. Cette version simplifie la configuration réseau et masque les composants d'infrastructure, y compris le cluster de l'environnement et ses dépendances vis-à-vis d'autres services.

Comparaison des versions de Cloud Composer

Le tableau suivant répertorie les principales différences entre Cloud Composer 1, Cloud Composer 2 et Cloud Composer 3.

Caractéristique Cloud Composer 1 Cloud Composer 2 Cloud Composer 3
Version de l'image composer-1.b.c-airflow-x.y.z composer-2.b.c-airflow-x.y.z composer-3-airflow-x.y.z-build.t
Versions d'Airflow Airflow 1.10* et Airflow 2 Airflow 2 Airflow 2
Versions Python 3.8.12 3.11.5 et 3.8.12 dans les versions antérieures 3.11.5
Cluster de l'environnement Cluster Google Kubernetes Engine basé sur le routage ou VPC natif en mode standard Cluster Google Kubernetes Engine VPC natif en mode Autopilot Le cluster de l'environnement n'est pas déployé dans votre projet.
Scaling horizontal Permet d'ajuster le nombre de nœuds du cluster de l'environnement. Le nombre de nœuds de calcul Airflow est modifié.
Peut ajuster le nombre de programmeurs Airflow.		 Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure pour le nombre de nœuds de calcul.
Peut ajuster le nombre de programmeurs et de déclencheurs Airflow		 Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure du nombre de nœuds de calcul.
Peut ajuster le nombre de programmeurs, de déclencheurs et de processeurs DAG Airflow
Scaling vertical Permet de définir des types de machines pour les nœuds de cluster, le serveur Web et la base de données Airflow lors de la création d'un environnement. Peut modifier les types de machines du serveur Web et de la base de données Airflow. Peut définir et modifier la configuration des charges de travail: paramètres de processeur, de mémoire et de stockage pour les nœuds de calcul Airflow, les programmeurs, le serveur Web et la taille de l'environnement. Peut définir et modifier la configuration des charges de travail : paramètres de processeur, de mémoire et d'espace de stockage pour les nœuds de calcul, les programmeurs, le serveur Web, les processeurs DAG et la taille de l'environnement.
Modèle tarifaire Modèle de tarification Cloud Composer 1 Modèle de tarification Cloud Composer 2 Modèle de tarification de Cloud Composer 3
Contrôle des accès Rôles Cloud Composer 1 Rôles Cloud Composer. Utilise la fédération d'identité de charge de travail pour GKE et nécessite des autorisations supplémentaires pour le compte d'agent de service Cloud Composer. Rôles Cloud Composer. Utilise Workload Identity Federation for GKE. Aucune autorisation supplémentaire n'est requise
Accès via la fédération des identités des employés Non compatible Compatible Compatible
Environnements hautement résilients Non compatible Compatible Non disponible en version Preview publique
Mise en réseau IP privée Appairages VPC Private Service Connect Configuration réseau simplifiée. Peut passer d'une adresse IP publique à une adresse IP privée dans un environnement existant.
VPC Service Controls Compatible Compatible Non disponible en version Preview publique
Exécuteurs Airflow Exécuteur Celery Exécuteur Celery Exécuteur CeleryKubernetes
Déclencheur Airflow (opérateurs différables) Non compatible Compatible Compatible
CMEK Compatible Compatible Non disponible en version Preview publique
Contrôle des accès au serveur Web Compatible Compatible Compatible
Redémarrage du serveur Web Compatible Compatible Compatible
Plug-ins du serveur Web Compatible avec les environnements Airflow 1 où la sérialisation des DAG est désactivée. Compatible Les plug-ins compatibles peuvent être désactivés et activés à la demande.
Installer des plug-ins personnalisés Compatible Compatible Compatible
Opérations de maintenance Toutes les tâches peuvent être affectées. Les tâches dont l'exécution prend moins de 55 minutes ne sont pas affectées. Les tâches qui prennent moins de 55 minutes à s'exécuter ne sont pas concernées.
Stocker des instantanés Compatible avec les versions Airflow 2.x et 1.10.15 Compatible Compatible
Charger des instantanés Non compatible Compatible Compatible
Instantanés programmés Non compatible Compatible Non disponible en version Preview publique
Bucket de l'environnement personnalisé Non compatible Compatible Compatible
Enregistrer les journaux de tâches Airflow uniquement dans Cloud Logging Non compatible Compatible Compatible
Intégration de la traçabilité des données Non compatible Compatible Compatible

Images Cloud Composer

Pour exécuter Apache Airflow, Cloud Composer crée des images Docker qui regroupent des versions d'Airflow avec d'autres bibliothèques Python et fichiers binaires courants.

Les images Cloud Composer incluent des modifications d'Airflow propres à Cloud Composer et non adaptées au codebase Airflow en amont. Chaque image Cloud Composer contient des packages préinstallés et les modifications d'Airflow propres à Cloud Composer.

Google publie régulièrement des posts Nouvelles images Cloud Composer:

  • Dans Cloud Composer 3, les images incluent les nouvelles versions d'Airflow compatibles versions. Vous pouvez sélectionner une version Airflow et une compilation à utiliser. Améliorations apportées à Cloud Composer pour votre environnement automatiquement.

  • Dans Cloud Composer 2 et Cloud Composer 1, les images incluent : Améliorations apportées à Cloud Composer et nouvelles compilations Versions Airflow. Pour bénéficier des améliorations de Cloud Composer, mettre à niveau votre environnement vers une version ultérieure de Cloud Composer.

Obsolescence de version et assistance

Composer 3

Google accepte une version d'Airflow pendant un certain temps après la sortie:

  • Si la version mineure d'Airflow est la dernière disponible dans Cloud Composer 3, toutes les versions d'Airflow avec cette version mineure sont entièrement compatibles. La date exacte de fin de la prise en charge est déterminée lorsqu'une nouvelle version mineure d'Airflow est disponible dans Cloud Composer 3.

  • Lorsqu'une nouvelle version mineure d'Airflow est disponible dans Cloud Composer 3, tous les builds utilisant la précédente version mineure d'Airflow sont compatibles avec 12 mois à compter de cette date. Si plusieurs builds contiennent la même version mineure d'Airflow, ils ont tous la même date de fin de prise en charge complète.

  • Lorsqu'une version mineure n'est plus entièrement compatible, les environnements l'exécution de cette version sont également non prises en charge et entièrement gérées par l'utilisateur. Toi peuvent toujours mettre à niveau un environnement de ce type vers version d'Airflow compatible.

Vous pouvez créer des environnements avec tous les builds Airflow entièrement compatibles.

Vous pouvez toujours utiliser un environnement dont le build Airflow n'est plus compatibles. L'environnement fonctionne toujours, vous pouvez continuer à l'utiliser la mettre à niveau vers une version entièrement compatible.

Composer 2

Google accepte les versions de Cloud Composer 2 pendant un certain temps après la publication de la version. Pendant cette période, Cloud Composer 2 environnements qui utilisent ces versions sont entièrement compatibles.

La compatibilité de la version Cloud Composer 2 est définie comme suit:

  • 0 à 12 mois à compter de la date de disponibilité: Cloud Composer 2 les environnements exécutant ces versions sont entièrement compatibles.

  • 12 mois et plus à compter de la date de disponibilité : les environnements Cloud Composer 2 qui exécutent ces versions ne sont plus compatibles.

Vous pouvez utiliser les versions de Cloud Composer après leur date de n'est plus pris en charge. Par exemple, même si votre environnement est basé sur une version de Cloud Composer qui a dépassé la période de prise en charge, l'environnement fonctionne toujours et vous pouvez continuer à l'utiliser. Dans ce cas, nous vous recommandons de mettre à niveau votre environnement vers une version compatible.

Composer 1

De nouvelles versions de Cloud Composer 1 ont été publiées jusqu'à la fin du mois de mars 2023. Toutes les versions publiées de Cloud Composer 1 les mêmes règles d'obsolescence que Cloud Composer 2 et sont compatibles d'après lui.

Le 25 mars 2024, Cloud Composer 1 est passé en mode post-maintenance. Google ne publiera plus de mises à jour pour Cloud Composer 1, y compris de nouvelles versions d'Airflow, de corrections de bugs et de mises à jour de sécurité. Mer recommandent de migrer vers Cloud Composer 2.

Compatibilité de la version Airflow

Airflow suit le schéma de la gestion des versions du logiciel sémantique. Chaque version d'Airflow possède une version majeure, mineure et de correctif.

Composer 3

Dans Cloud Composer 3, de nouvelles versions et builds d'Airflow deviennent disponibles au fil du temps.

Votre environnement peut fonctionner avec toutes les versions et builds d'Airflow précédents, et reçoit automatiquement les mises à jour de ses composants d'infrastructure. Chaque version et build est compatible, comme décrit dans la section Abandon et prise en charge des versions. Vous pouvez choisir de mettre à niveau votre version d'Airflow vers une version ou un build ultérieurs.

Composer 2

Pour obtenir la liste des versions Airflow compatibles avec chaque version de Cloud Composer, consultez la liste des versions de Cloud Composer.

  • Dans chaque version, Cloud Composer 2 est compatible avec deux versions mineures d'Airflow 2.

    Par exemple, Cloud Composer 2.4.0 est compatible avec Airflow 2.4* et Airflow 2.5*.

  • Pour chaque version mineure d'Airflow 2, Cloud Composer accepte une version de correctif.

    Par exemple, pour Airflow 2.4*.*, Cloud Composer est compatible Airflow 2.4.3.

  • Lorsqu'une nouvelle version de correctif d'Airflow 2 est disponible dans Cloud Composer, la version correspondante dispose Deux versions de correctif d'Airflow 2 sont disponibles pour la même version mineure d'Airflow. La version de correctif précédente est ensuite supprimée dans l'une versions.

    Par exemple, Cloud Composer 2.3.4 est compatible avec Airflow 2.5.1 et Airflow 2.5.3.

  • Cloud Composer peut ignorer certaines versions de correctifs d'Airflow entre les versions de Cloud Composer. De plus, s'il y a des problèmes fonctionnels, de qualité ou de performances liés à une version de correctif spécifique. d'Airflow, Cloud Composer peut également ignorer cette version.

    Par exemple, Airflow 2.1.3 est ignoré et Airflow 2.1.4 est disponible.

  • Une version de Cloud Composer exécutant une révision stable d'Airflow peut inclure des mises à jour d'Airflow qui sont rétroportées d'une révision ultérieure d'Airflow.

Composer 1

La dernière version d'Airflow compatible avec Cloud Composer 1 est Airflow 2.4.3.

Seul Cloud Composer 1 est compatible avec Airflow 1.10.15, qui est la dernière version publiée d'Airflow 1.

Schéma de version Cloud Composer

Composer 3

Le schéma de gestion des versions Cloud Composer 3 capture les versions et les builds Airflow:

composer-3-airflow-x.y.z-build.t

Où :

  • composer-3 correspond à la version de Cloud Composer.
  • airflow-x.y.z.build.t correspond à la version et au build d'Airflow. Chaque version suivante de la même version d'Airflow dans Cloud Composer 3 dispose d'un un numéro de build plus élevé. Le numéro de build est défini par Cloud Composer, et non par le projet Open Source Airflow.

Composer 2

Le schéma de gestion des versions des images Cloud Composer 2 englobe les versions de Cloud Composer et d'Airflow :

composer-2.b.c-airflow-x.y.z

Où :

  • composer-2.b.c correspond à la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z correspond à la version d'Airflow.

Composer 1

Le schéma de gestion des versions d'image Cloud Composer 1 capture Cloud Composer et d'Airflow:

composer-1.b.c-airflow-x.y.z

Où :

  • composer-1.b.c correspond à la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z correspond à la version d'Airflow.

Alias de version

Les alias de version fonctionnent comme suit :

  • Cloud Composer résout l'alias de version au format complet lorsqu'il crée votre environnement :

    • Tous les alias de version deviennent composer-3-airflow-x.y.z-build.t dans Cloud Composer 3.
    • Tous les alias de version deviennent composer-a.b.c-airflow-x.y.z dans Cloud Composer 2 et Cloud Composer 1.

  • Dans Cloud Composer 3, l'utilisation d'un alias de version, tel que composer-3-airflow-x.y ne met pas automatiquement à niveau la version et le build d'Airflow de votre environnement. L'environnement reste sur le même build et la même version d'Airflow jusqu'à ce que vous le mettez à niveau. L'environnement continue de recevoir des mises à niveau automatiques de l'infrastructure, comme d'habitude.

  • Dans Cloud Composer 2 et Cloud Composer 1, l'utilisation d'un alias de version, tel que composer-a-airflow-x.y.z ne fournit pas de mises à niveau automatiques pour un environnement. L'environnement reste sur la même version de Cloud Composer et d'Airflow jusqu'à ce que vous la mettez à niveau.

Alias de version Cloud Composer 3

Cloud Composer 3 est compatible avec les alias de version suivants :

Alias Version Airflow
composer-3-airflow-2 Dernière version et compilation d'Airflow 2
composer-3-airflow-x.y Dernière version et build d'Airflow dans x.y versions majeures et mineures
composer-3-airflow-x.y.z Dernière compilation de la version d'Airflow spécifiée

Alias de version Cloud Composer 2

Cloud Composer 2 est compatible avec les alias de version suivants :

Alias Version de Cloud Composer Version Airflow
composer-2-airflow-2 Dernière version de Cloud Composer 2 Dernière version d'Airflow 2
composer-2-airflow-x.y Dernière version de Cloud Composer 2 Dernière version d'Airflow dans les versions majeure et mineure x.y
composer-2-airflow-x.y.z Dernière version de Cloud Composer 2 Version d'Airflow spécifiée
composer-2.b.c-airflow-x.y Version spécifiée de Cloud Composer 2 Dernière version d'Airflow disponible dans les versions majeures et mineures de x.y

Alias de version Cloud Composer 1

Cloud Composer 1 est compatible avec les alias de version suivants :

Alias Version de Cloud Composer Version Airflow
composer-1-airflow-2 Dernière version de Cloud Composer 1 Dernière version d'Airflow 2
composer-1-airflow-1 Dernière version de Cloud Composer 1 Dernière version d'Airflow 1
composer-1-airflow-x.y Dernière version de Cloud Composer 1 Dernière version d'Airflow dans x.y versions majeures et mineures
composer-1-airflow-x.y.z Dernière version de Cloud Composer 1 Version d'Airflow spécifiée
composer-1.b.c-airflow-x.y Version spécifiée de Cloud Composer 1 La dernière version d'Airflow est disponible dans x.y versions majeures et mineures.

Les alias de version suivants pointent vers Cloud Composer 2. Vous pouvez toujours utiliser vous pouvez utiliser des alias pour votre version Cloud Composer.

  • composer-latest-airflow-x.y est égal à composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z est égal à composer-2-airflow-x.y.z.

Arguments de version dans la Google Cloud CLI

Lors de la création ou de la mise à niveau un environnement Cloud Composer à l'aide de la Google Cloud CLI, vous pouvez spécifiez les versions de Cloud Composer et d'Airflow:

Composer 3

  • L'argument --image-version spécifie la version d'Airflow et la compilation dans Format composer-3-airflow-x.y.z-build.t. Vous pouvez utiliser des alias de version, qui sont résolus par la Google Cloud CLI au format complet.

  • --airflow-version spécifie la version d'Airflow dans les formats suivants :

    • Le format x.y.z est destiné à la dernière version de la version d'Airflow spécifiée. Ce format est égal à composer-3-airflow-x.y.z. un alias de version.

    • Le format x.y est destiné à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est égal à Alias de version composer-3-airflow-x.y.

    • x.y.z-build.t correspond à la version et au build d'Airflow spécifiés. Ce format est égal à composer-3-airflow-x.y.z-build.t.

Composer 2

  • L'argument --image-version spécifie les versions de Cloud Composer 2 et d'Airflow :

    • composer-a.b.c-airflow-x.y.z crée un environnement avec le les versions spécifiées de Cloud Composer et d'Airflow.
    • Les alias de version sont d'abord associés à le format composer-a.b.c-airflow-x.y.z, puis créer une avec les versions spécifiées de Cloud Composer 2 et Airflow.

  • --airflow-version spécifie la version d'Airflow aux formats suivants:

    • Le format x.y.z est destiné à la dernière version de Cloud Composer 2 et à la version d'Airflow spécifiée. Ce format est égal à l'alias de version composer-2-airflow-x.y.z.

    • Le format x.y est destiné à la dernière version de Cloud Composer 2 et à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est égal à composer-2-airflow-x.y. un alias de version.

Composer 1

  • L'argument --image-version spécifie les versions de Cloud Composer 1 et d'Airflow :

    • composer-a.b.c-airflow-x.y.z crée un environnement avec le les versions spécifiées de Cloud Composer et d'Airflow.
    • Les alias de version sont d'abord associés à le format composer-a.b.c-airflow-x.y.z, puis créer une avec les versions spécifiées de Cloud Composer 1 et Airflow.

  • --airflow-version spécifie la version d'Airflow aux formats suivants:

    • Le format x.y.z est destiné à la dernière version de Cloud Composer 1 et à la version d'Airflow spécifiée. Ce format est égal à l'alias de version composer-1-airflow-x.y.z.

    • Le format x.y correspond à la dernière version de Cloud Composer 1 et dernière version d'Airflow disponible dans x.y versions majeures et mineures. Ce format est égal à l'alias de version composer-1-airflow-x.y.

Étape suivante