Mettre à jour des environnements

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment mettre à jour un environnement.

À propos des opérations de mise à jour

Lorsque vous modifiez les paramètres de votre environnement, par exemple en spécifiant de nouveaux paramètres d'évolutivité et de performances, ou en installant des packages PyPI personnalisés, votre environnement est mis à jour.

Une fois cette opération terminée, les modifications sont disponibles dans votre environnement.

Pour un environnement Cloud Composer, vous ne pouvez en démarrer qu'un plusieurs opérations à la fois. Vous devez attendre la fin d'une opération de mise à jour avant de lancer une autre opération d'environnement.

Important :Ne mettez pas à niveau les clusters GKE de votre Cloud Composer vers les versions les plus récentes de GKE. Utiliser la version de GKE préconfigurée dans l'environnement et de vous appuyer sur les mises à niveau automatiques effectuées par GKE service tiers.

Impact des mises à jour sur les tâches Airflow en cours d'exécution

Attention : Certaines opérations de mise à jour arrêtent toutes les tâches en cours d'exécution.

Lorsque vous exécutez une opération de mise à jour, les programmeurs et les les nœuds de calcul de votre environnement peuvent nécessiter un redémarrage. Dans ce cas, toutes les tâches en cours d'exécution sont arrêtées. Une fois que l'opération de mise à jour est est terminée, Airflow planifie ces tâches pour une nouvelle tentative, en fonction de la manière configurer de nouvelles tentatives pour vos DAG.

Remarque :Les nœuds de calcul Airflow peuvent redémarrer dans le cadre de la maintenance de l'environnement, pendant les intervalles de maintenance.

Les modifications suivantes entraînent l'arrêt des tâches Airflow:

• Mettre à niveau votre environnement vers une nouvelle version
• Ajouter, modifier ou supprimer des packages PyPI personnalisés
• Modifier les variables d'environnement Cloud Composer
• Ajouter ou supprimer des forçages d'options de configuration Airflow, ou modifier leurs valeurs
• Modifier le processeur, la mémoire ou l'espace de stockage des nœuds de calcul Airflow
• Réduction du nombre maximal de nœuds de calcul Airflow, si la nouvelle valeur est inférieure au nombre de nœuds de calcul actuellement en cours d'exécution. Par exemple, si un exécute actuellement trois nœuds de calcul, alors que le maximum est réduit à deux.
• Modifier le mode de résilience de l'environnement

Les modifications suivantes n'entraînent pas l'arrêt des tâches Airflow:

• Créer, mettre à jour ou supprimer un DAG (et non une opération de mise à jour).
• Suspendre ou réactiver des DAG (pas une opération de mise à jour)
• Modification des variables Airflow (et non une opération de mise à jour).
• Modification des connexions Airflow (et non une opération de mise à jour).
• Activer ou désactiver l'intégration de la traçabilité des données Dataplex
• Modification de la taille de l'environnement.
• Modifier le nombre de planificateurs.
• Modifier le processeur, la mémoire ou l'espace de stockage des planificateurs Airflow
• Modifier le nombre de déclencheurs
• Modification des déclencheurs Airflow CPU, mémoire ou stockage.
• Modifier le processeur, la mémoire ou l'espace de stockage du serveur Web Airflow.
• Augmenter ou diminuer le nombre minimal de nœuds de calcul
• Réduction du nombre maximal de nœuds de calcul Airflow. Par exemple, si un exécute actuellement deux nœuds de calcul, alors que le nombre maximal est réduit à trois.
• Modification des intervalles de maintenance.
• Modifier les paramètres des instantanés programmés
• Modification des libellés d'environnement.

Effectuer une mise à jour avec Terraform

Avertissement :Si vous tentez de modifier un paramètre de configuration qui ne peut pas être modifié, Terraform supprime votre environnement et en crée un autre, avec la nouvelle valeur de paramètre.

Exécutez terraform plan avant terraform apply pour voir si Terraform crée un objet au lieu de le mettre à jour.

Avant de commencer

• Vérifiez que votre compte (le compte de service de votre environnement) et au compte d'agent de service Cloud Composer de votre projet autorisations requises:

  • Votre compte doit disposer d'un rôle permettant de déclencher des opérations de mise à jour d'environnement.

  • Le compte de service de votre environnement doit disposer d'un rôle autorisé à effectuer des opérations de mise à jour.

• La commande gcloud composer environments update se termine une fois l'opération terminée. Vous pouvez utiliser l'option --async pour éviter d'attendre l'exécution de l'opération.

Mettre à jour des environnements

Pour en savoir plus sur la mise à jour de votre environnement, consultez d'autres documents sur des opérations de mise à jour spécifiques. Exemple :

• Remplacer les options de configuration Airflow
• Définir des variables d'environnement
• Installer des dépendances Python
• Faire évoluer des environnements
• Configurer des réseaux autorisés

Afficher les détails de l'environnement

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.

API

Rédigez une requête API environments.get.

Exemple :

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Exécutez la commande terraform state show pour la ressource de votre environnement.

Le nom de la ressource Terraform de votre environnement peut être différent du nom de votre environnement.

terraform state show google_composer_environment.RESOURCE_NAME

Remplacez :

• RESOURCE_NAME par le nom de la ressource de votre environnement.

Effectuer un rollback des modifications apportées par une mise à jour

Dans de rares cas, une opération de mise à jour peut être interrompue (en raison d'un délai d'inactivité, par exemple) et que les modifications demandées ne soient pas effectué un rollback dans tous les composants de l'environnement (tels que le serveur Web Airflow).

Par exemple, une opération de mise à jour peut consister à installer ou à supprimer des modules PyPI supplémentaires, à redéfinir ou à définir une nouvelle variable d'environnement Airflow ou Cloud Composer, ou à modifier certains paramètres liés à Airflow.

Une telle situation peut se produire si une opération de mise à jour est déclenchée alors que d'autres des opérations sont en cours, par exemple l'API Cloud Composer un autoscaling ou une opération de maintenance.

Dans ce cas, nous vous recommandons de répéter l'opération.

Durée des opérations de mise à jour ou de mise à niveau

La plupart des opérations de mise à jour nécessitent le redémarrage des composants Airflow. comme les programmeurs, les nœuds de calcul et les serveurs Web Airflow.

Une fois qu'un composant a redémarré, il doit être initialisé. Pendant le l'initialisation, les programmeurs et les nœuds de calcul Airflow téléchargent le contenu de /dags. et /plugins du bucket de l'environnement. Le processus de synchronisation des fichiers avec les planificateurs et les nœuds de calcul Airflow n'est pas instantané et dépend de la taille et du nombre total d'objets dans ces dossiers.

Nous vous recommandons de ne conserver que les fichiers DAG et de plug-in dans /dags et /plugins. dossiers (respectivement) et supprimer tous les autres fichiers. Un trop grand nombre de données dans les dossiers /dags et /plugins peut ralentir l'initialisation des composants Airflow et, dans certains cas, empêcher l'initialisation.

Nous vous recommandons de conserver moins de 30 Mo de données dans les dossiers /dags et /plugins, et de ne pas dépasser 100 Mo.

Pour en savoir plus, consultez également:

• Données stockées dans Cloud Storage

• Gérer un grand nombre de DAG et de plug-ins

Mettre à niveau le type de machine pour les nœuds GKE

Vous pouvez mettre à niveau manuellement le type de machine pour l'environnement cluster GKE en supprimant les classes default-pool existantes et en en créant un nouveau default-pool avec le type de machine souhaité.

Nous vous recommandons de spécifier un type de machine adapté au type de calcul qui s'exécutent dans votre environnement Cloud Composer lorsque vous créer un environnement.

Si vous exécutez des tâches qui effectuent des calculs gourmands en ressources, vous pouvez utiliser des opérateurs GKE.

Attention :L'exécution de vos DAG peut être interrompue pendant la mise à niveau. Avant la mise à niveau, envisagez de suspendre tous les DAG et attendez les tâches en cours pour terminer.

Après une mise à niveau, le type de machine précédent est toujours répertorié dans votre les détails de l'environnement. Par exemple, la page "Détails de l'environnement" n'indique pas le nouveau type de machine.

Console

Pour mettre à jour le type de machine, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Obtenez des informations sur le pool de nœuds par défaut :

   1. Accédez à l'onglet Configuration de l'environnement.

   2. Cliquez sur le lien Afficher les détails du cluster.

   3. Sur la page Clusters (Clusters), dans la section Nodes (Nœuds), cliquez sur default-pool.

   4. Notez toutes les informations concernant le pool default-pool sur la page "Détails du pool de nœuds". Ces informations vous serviront à créer un pool de nœuds par défaut pour votre environnement.

4. Pour supprimer default-pool :

   1. Sur la page Détails du pool de nœuds, cliquez sur la flèche de retour pour revenir à la page Clusters de votre environnement.

   2. Dans la section Pools de nœuds, cliquez sur l'icône Corbeille associée au pool default-pool. Cliquez ensuite sur Supprimer pour confirmer l'opération.

5. Pour créer le nouveau pool default-pool, procédez comme suit :

   Attention :Utilisez le même compte de service que celui qui exécute l'environnement Cloud Composer. Si vous utilisez un compte de service personnalisé et que vous vous appuyez sur des niveaux d'accès, vous devez utiliser gcloud CLI pour créer un pool avec des niveaux d'accès appropriés. Pour ce faire, suivez les instructions de la page Ajouter et gérer des pools de nœuds. Spécifiez les niveaux d'accès à l'aide de la méthode Paramètre --scopes.

   1. Sur la page Clusters (Clusters), cliquez sur Ajouter un pool de nœuds.

   2. Dans le champ "Nom", saisissez default-pool. Vous devez utiliser le nom default-pool pour que les workflows de votre environnement puissent s'exécuter dans ce pool.

   3. Saisissez les paramètres "Taille" et "Nœuds".

   4. (Uniquement pour les comptes de service Compute Engine par défaut) Pour l'accès sélectionnez Autoriser l'accès complet à l'ensemble des API Cloud.

   5. Cliquez sur Enregistrer.

6. Si vous remarquez que les charges de travail sont réparties de manière inégale, réduire d'airflow-worker à zéro et d'effectuer un nouveau scaling à la hausse.

Étape suivante

• Mettre à niveau des environnements
• Remplacer les options de configuration Airflow