Présentation de la gestion des versions de Cloud Composer

Cloud Composer 1 | Cloud Composer 2

Cette page décrit la gestion des versions de Cloud Composer et répertorie les différences entre les principales versions de Cloud Composer.

Versions majeures de Cloud Composer

Cloud Composer est disponible en deux versions principales:

  • Cloud Composer 2 Cette version dispose d'environnements d'autoscaling.
  • Cloud Composer 1 Cette version utilise le scaling manuel.

Le tableau suivant répertorie les principales différences entre Cloud Composer 1 et Cloud Composer 2.

Cloud Composer 1 Cloud Composer 2
Versions d'images Cloud Composer composer-1.x.x composer-2.x.x
Versions Airflow Airflow 1.10* et Airflow 2 Airflow 2
Versions Python 3.8.6, 3.6.10, 2.7.17 3,8,6
Cluster de l'environnement Cluster Google Kubernetes Engine en mode standard ou VPC natif Cluster Google Kubernetes Engine VPC natif en mode Auto
Scaling horizontal Peut ajuster le nombre de nœuds dans le cluster de l'environnement. Cela modifie le nombre de nœuds de calcul Airflow.
Peut ajuster le nombre de programmeurs Airflow.
Scaling automatique du nombre de nœuds de calcul Airflow en fonction de la demande. Peut définir et modifier les limites supérieure et inférieure pour le nombre de nœuds de calcul.
Peut ajuster le nombre de programmeurs Airflow.
Scaling vertical Peut définir des types de machines pour les nœuds de cluster, le serveur Web Airflow et la base de données lors de la création d'un environnement. Peut modifier les types de machines pour le serveur Web et la base de données Airflow. Peut définir et modifier la configuration des charges de travail: paramètres du processeur, de la mémoire et du stockage pour les nœuds de calcul, les programmeurs, le serveur Web et la base de données Airflow.
Modèle tarifaire Modèle de tarification de Cloud Composer 1 Modèle de tarification de Cloud Composer 2
Contrôle des accès Rôles Cloud Composer Rôles Cloud Composer. Utilise Workload Identity et nécessite des autorisations supplémentaires pour le compte d'agent de service Cloud Composer.
Architecture des environnements Architecture de l'environnement Cloud Composer 1 Architecture de l'environnement Cloud Composer 2
Compatibilité avec Terraform Peut créer et mettre à jour des environnements Cloud Composer 1. Peut créer et mettre à jour des environnements Cloud Composer 2.
En version bêta, la configuration des charges de travail ne peut pas être gérée à l'aide de Terraform. La configuration des charges de travail par défaut est utilisée pour les environnements créés avec Terraform.
CMEK Compatible Non disponible dans la version bêta
Contrôles d'accès du serveur Web Compatible Non disponible dans la version bêta
Redémarrage du serveur Web Compatible Non disponible dans la version bêta
Installer des plug-ins personnalisés Compatible Non disponible dans la version bêta
Chargement asynchrone des DAG Compatible avec Airflow 1 Incompatible
Sérialisation des DAG Toujours activée dans Airflow 2. Peut être désactivé dans Airflow 1. Toujours activée dans Airflow 2.

Images Cloud Composer

Pour exécuter Apache Airflow, Cloud Composer crée des images Docker qui regroupent des versions Airflow avec d'autres binaires courants et des bibliothèques Python.

Les images Cloud Composer incluent des modifications Airflow spécifiques à Cloud Composer et non adaptées au codebase Airflow en amont. Les packages préinstallés et les modifications Airflow spécifiques à Cloud Composer sont collectivement appelés "versions de Cloud Composer".

Google publie régulièrement de nouvelles images Cloud Composer incluant de nouvelles versions Airflow et des améliorations de Cloud Composer.

Abandon de versions et compatibilité avec Cloud Composer

Google est compatible avec les versions de Cloud Composer pendant un certain temps après leur publication. Pendant cette période, les environnements Cloud Composer qui utilisent ces versions sont entièrement compatibles.

La compatibilité de la version de Cloud Composer est définie comme suit:

  • 0-12 mois à compter de la date de disponibilité: les environnements Cloud Composer qui exécutent ces versions sont entièrement compatibles.
  • 12 à 18 mois à compter de la date de disponibilité: les environnements Cloud Composer qui exécutent ces versions ne sont plus compatibles, sauf pour informer les clients des problèmes de sécurité.
  • 18 mois et plus à compter de la date de disponibilité: les environnements Cloud Composer qui exécutent ces versions ne sont plus compatibles et sont entièrement gérés par l'utilisateur.

Compatibilité de la version Airflow

Airflow suit le schéma de la gestion des versions du logiciel sémantique.

Pour chaque version de Cloud Composer, Cloud Composer accepte au moins trois versions de correctif d'Airflow. Cloud Composer peut ne pas être compatible avec certaines versions de correctif d'Airflow en cas de problèmes fonctionnels, de qualité ou de performances avec une version d'Airflow spécifique.

Une version de Cloud Composer exécutant une version stable d'Airflow peut inclure des mises à jour d'Airflow qui sont rétroportées à partir d'une version ultérieure d'Airflow.

Pour obtenir la liste des versions Airflow disponibles dans chaque version de Cloud Composer, consultez la liste des versions de Cloud Composer.

Schéma de version Cloud Composer

Le schéma de gestion des versions des images Cloud Composer capture les versions de Cloud Composer et Airflow:

composer-a.b.c-airflow-x.y.z

Où :

  • composer-a.b.c est la version des personnalisations gérées par Cloud Composer.
  • airflow-x.y.z est la version Airflow.

Indicateurs et alias de version

Cloud Composer est compatible avec les versions d'image Cloud Composer qui sont épinglées à la dernière version de Cloud Composer.

Lorsque vous créez un environnement Cloud Composer, vous pouvez utiliser les options suivantes pour spécifier la version d'environnement:

  • --image-version, pour spécifier la version de l'environnement au format composer-a.b.c-airflow-x.y.z.
  • --airflow-version, pour spécifier la version d'Airflow au format x.y.z, qui crée l'environnement à l'aide de la dernière version de Cloud Composer et de la version d'Airflow spécifiée.

Cloud Composer est également compatible avec l'utilisation des alias de version suivants :

  • composer-latest-airflow-x.y.z spécifie une version d'image avec la dernière version de Cloud Composer.
  • composer-a.b.c-airflow-x.y spécifie une version d'image qui se développe automatiquement dans composer-a.b.c-airflow-x.y.z, où z correspond au dernier numéro de correctif.
  • composer-latest-airflow-x.y spécifie une version d'image avec la dernière version de Cloud Composer qui se développe automatiquement en airflow-x.y.z, où z correspond au dernier numéro de correctif.

Étape suivante