Présentation de la gestion des versions Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Cette page décrit la gestion des versions Cloud Composer et répertorie les différences entre les versions majeures.

Versions majeures de Cloud Composer

Il existe deux versions majeures de Cloud Composer :

  • Cloud Composer 2. Cette version dispose d'environnements avec autoscaling.

  • Cloud Composer 1. Cette version ne dispose que du scaling manuel.

Le tableau suivant répertorie les principales différences entre Cloud Composer 1 et Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versions d'image Cloud Composer composer-1.x.x composer-2.x.x
Versions d'Airflow Airflow 1.10* et Airflow 2 Airflow 2
Versions Python 3.8.12 3.8.12
Cluster de l'environnement Cluster Google Kubernetes Engine basé sur le routage ou VPC natif en mode standard Cluster Google Kubernetes Engine VPC natif en mode Autopilot
Scaling horizontal Permet d'ajuster le nombre de nœuds du cluster de l'environnement. Cela modifie le nombre de nœuds de calcul Airflow.
Peut ajuster le nombre de programmeurs Airflow. 		Scaling automatique du nombre de nœuds de calcul Airflow, en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure pour le nombre de nœuds de calcul.
Peut ajuster le nombre de programmeurs Airflow.
Scaling vertical Peut définir des types de machines pour les nœuds de cluster, le serveur Web Airflow et la base de données lors de la création d'un environnement. Peut modifier les types de machines du serveur Web et de la base de données Airflow. Peut définir et modifier la configuration des charges de travail : paramètres de processeur, de mémoire et d'espace de stockage pour les nœuds de calcul, les programmeurs, le serveur Web et la base de données Airflow.
Modèle tarifaire Modèle de tarification Cloud Composer 1 Modèle de tarification Cloud Composer 2
Contrôle des accès Rôles Cloud Composer Rôles Cloud Composer. Utilise Workload Identity et nécessite des autorisations supplémentaires pour le compte Agent de service Cloud Composer.
Accès via la fédération d'identité de personnel Non compatible Compatible
Architecture des environnements Architecture des environnements Cloud Composer 1 Architecture des environnements Cloud Composer 2
Mise en réseau IP privée Appairages VPC Appairages VPC ou Private Service Connect
Compatibilité avec Terraform Peut créer et mettre à jour des environnements Cloud Composer 1. Peut créer et mettre à jour des environnements Cloud Composer 2.
CMEK Compatible Compatible
Contrôle des accès au serveur Web Compatible Compatible
Redémarrage du serveur Web Compatible Compatible
Plug-ins du serveur Web Compatible avec les environnements Airflow 1 avec sérialisation des DAG désactivée. Compatible
Installer des plug-ins personnalisés Compatible Compatible
Opérations de maintenance Toutes les tâches peuvent être affectées. Les tâches qui prennent moins de 55 minutes ne sont pas affectées.
Chargement asynchrone des DAG Compatible avec Airflow 1 Non compatible
Sérialisation des DAG Toujours activé dans Airflow 2. Peut être désactivée dans Airflow 1. Toujours activé dans Airflow 2.
Compatibilité avec les tags réseau Yes Yes
Nœuds de cluster avec des GPU Yes Non
Stocker des instantanés Compatible avec les versions Airflow 2.x et 1.10.15 Compatible
Charger des instantanés Non compatible Compatible
Instantanés planifiés Non compatible Compatible

Images Cloud Composer

Pour exécuter Apache Airflow, Cloud Composer crée des images Docker qui regroupent des versions d'Airflow avec d'autres bibliothèques Python et fichiers binaires courants.

Les images Cloud Composer incluent des modifications d'Airflow propres à Cloud Composer et non adaptées au codebase Airflow en amont. Les packages préinstallés et les modifications d'Airflow propres à Cloud Composer sont collectivement nommés versions de Cloud Composer.

Google publie régulièrement de nouvelles images Cloud Composer incluant de nouvelles versions d'Airflow et des améliorations de Cloud Composer.

Compatibilité avec les versions de Cloud Composer 1

Les nouvelles versions de Cloud Composer 1 sont publiées jusqu'à fin mars 2023. Toutes les versions publiées de Cloud Composer 1 respectent le Règlement relatif aux abandons de versions et sont compatibles avec celles-ci.

Certaines nouvelles fonctionnalités de Cloud Composer peuvent n'être compatibles qu'avec Cloud Composer 2. Vous pouvez vérifier quelles fonctionnalités ne sont compatibles qu'avec Cloud Composer 2 dans le tableau répertoriant les principales différences entre les versions.

Obsolescence de version et assistance de Cloud Composer

Google est compatible avec les versions Cloud Composer pendant un certain temps après la publication de la version. Au cours de cette période, les environnements Cloud Composer qui utilisent ces versions sont entièrement compatibles.

La compatibilité d'une version de Cloud Composer est définie comme suit :

  • 0 à 12 mois à compter de la date de disponibilité : les environnements Cloud Composer qui exécutent ces versions sont entièrement compatibles.

  • 12 à 18 mois à compter de la date de disponibilité : les environnements Cloud Composer qui exécutent ces versions ne sont plus compatibles, sauf pour informer les clients de problèmes de sécurité.

  • 18 mois et plus à compter de la date de disponibilité : les environnements Cloud Composer qui exécutent ces versions ne sont plus compatibles et sont entièrement gérés par les utilisateurs.

Compatibilité de la version Airflow

Airflow suit le schéma de la gestion des versions du logiciel sémantique. Chaque version d'Airflow possède une version majeure, mineure et de correctif.

Pour obtenir la liste des versions Airflow compatibles avec chaque version de Cloud Composer, consultez la liste des versions de Cloud Composer.

Compatibilité de la version d'Airflow 2

  • Dans chaque version, Cloud Composer est compatible avec deux versions mineures d'Airflow 2.

    Par exemple, Cloud Composer 1.17.0 est compatible avec Airflow 2.0* et Airflow 2.1*.

  • Pour chaque version mineure d'Airflow 2, Cloud Composer accepte une version de correctif.

    Par exemple, pour Airflow 2.1*, Cloud Composer est compatible avec Airflow 2.1.2.

  • Lorsqu'une nouvelle version de correctif d'Airflow 2 devient disponible dans Cloud Composer, deux versions de correctif d'Airflow 2 sont disponibles pour la même version mineure d'Airflow. La version de correctif précédente est ensuite supprimée dans l'une des versions suivantes.

    Par exemple, Cloud Composer 1.17.4 est compatible avec Airflow 2.1.2 et Airflow 2.1.4.

  • Cloud Composer peut ignorer certaines versions du correctif Airflow entre les versions de Cloud Composer. De plus, en cas de problèmes fonctionnels, de qualité ou de performances avec une version de correctif spécifique d'Airflow, Cloud Composer peut également ignorer cette version.

    Par exemple, Airflow 2.1.3 est ignoré et Airflow 2.1.4 est disponible.

  • Une version de Cloud Composer exécutant une révision stable d'Airflow peut inclure des mises à jour d'Airflow qui sont rétroportées d'une révision ultérieure d'Airflow.

Schéma de version Cloud Composer

Le schéma de gestion des versions des images Cloud Composer capture les versions de Cloud Composer et d'Airflow :

composer-a.b.c-airflow-x.y.z

Où :

  • composer-a.b.c correspond à la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z correspond à la version d'Airflow.

Alias de version

Cloud Composer 2 est compatible avec les alias de version suivants:

Alias Version de Cloud Composer Version Airflow
composer-2-airflow-2 Dernière version de Cloud Composer 2 La dernière version d'Airflow 2
composer-2-airflow-x.y Dernière version de Cloud Composer 2 Dernière version d'Airflow disponible dans x.y versions majeures et mineures
composer-2-airflow-x.y.z Dernière version de Cloud Composer 2 Version spécifiée d'Airflow
composer-2.b.c-airflow-x.y Version spécifiée de Cloud Composer 2 La dernière version d'Airflow est disponible dans x.y version majeure et mineure

Cloud Composer 1 est compatible avec les alias de version suivants:

Alias Version de Cloud Composer Version Airflow
composer-1-airflow-2 Dernière version de Cloud Composer 1 La dernière version d'Airflow 2
composer-1-airflow-1 Dernière version de Cloud Composer 1 La dernière version d'Airflow 1
composer-1-airflow-x.y Dernière version de Cloud Composer 1 Dernière version d'Airflow disponible dans x.y versions majeures et mineures
composer-1-airflow-x.y.z Dernière version de Cloud Composer 1 Version spécifiée d'Airflow
composer-1.b.c-airflow-x.y Version spécifiée de Cloud Composer 1 La dernière version d'Airflow est disponible dans x.y version majeure et mineure.

Les alias de version suivants pointent vers Cloud Composer 2. Vous pouvez toujours les utiliser, mais envisagez de passer à des alias pour votre version de Cloud Composer.

  • composer-latest-airflow-x.y est égal à composer-2-airflow-x.y.
  • composer-latest-airflow-x.y.z est égal à composer-2-airflow-x.y.z.

Arguments de version dans Google Cloud CLI

Lorsque vous créez ou mettez à jour un environnement Cloud Composer à l'aide de Google Cloud CLI, vous pouvez spécifier les versions d'Airflow et de Composer:

  • L'argument --image-version spécifie les versions de Cloud Composer et d'Airflow:

    • Le format composer-a.b.c-airflow-x.y.z crée un environnement avec les versions spécifiées de Cloud Composer et d'Airflow.
    • Les alias de version commencent par passer au format composer-a.b.c-airflow-x.y.z, puis créent un environnement avec les versions spécifiées de Cloud Composer et d'Airflow.

  • --airflow-version spécifie la version Airflow dans deux formats:

    • Le format x.y.z est destiné à la dernière version de Cloud Composer 2 et à la version spécifiée d'Airflow. Ce format est égal à l'alias de version composer-2-airflow-x.y.z.

    • Le format x.y est destiné à la dernière version de Cloud Composer 2 et à la dernière version d'Airflow disponible dans les versions majeures et mineures de x.y. Ce format est égal à l'alias de version composer-2-airflow-x.y.

Étapes suivantes