Mettre à jour les environnements

Cloud Composer 1 | Cloud Composer 2

Cette page explique comment mettre à jour un environnement.

À propos des opérations de mise à jour

Lorsque vous modifiez les paramètres de votre environnement, par exemple en spécifiant de nouveaux paramètres de scaling et de performances, ou en installant des packages PyPI personnalisés, votre environnement est mis à jour.

Une fois cette opération terminée, les modifications deviennent disponibles dans votre environnement.

Pour un seul environnement Cloud Composer, vous ne pouvez lancer qu'une seule opération de mise à jour à la fois. Vous devez attendre la fin d'une opération de mise à jour avant de lancer une autre opération sur l'environnement.

Impact des mises à jour sur l'exécution des tâches Airflow

Lorsque vous exécutez une opération de mise à jour, telle que l'installation de packages PyPI personnalisés, tous les programmeurs et nœuds de calcul Airflow de votre environnement redémarrent et toutes les tâches en cours d'exécution sont arrêtées. Une fois l'opération de mise à jour terminée, Airflow planifie ces tâches pour une nouvelle tentative, en fonction de la manière dont vous configurez les nouvelles tentatives pour vos DAG.

Mettre à jour avec Terraform

Exécutez terraform plan avant terraform apply pour voir si Terraform crée un environnement au lieu de le mettre à jour.

Avant de commencer

Mettre à jour les environnements

Pour en savoir plus sur la mise à jour de votre environnement, consultez les autres pages de documentation portant sur des opérations de mise à jour spécifiques. Exemple :

Afficher les détails de l'environnement

Console

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

gcloud

Exécutez la commande gcloud suivante :

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région dans laquelle se trouve l'environnement.

API

Rédigez une requête API environments.get.

Exemple :

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Exécutez la commande terraform state show pour la ressource de votre environnement.

Le nom de la ressource Terraform de votre environnement peut être différent du nom de votre environnement.

terraform state show google_composer_environment.RESOURCE_NAME

Remplacez :

  • RESOURCE_NAME par le nom de la ressource de votre environnement.

Rollback des modifications de mise à jour...

Dans de rares cas, une opération de mise à jour peut être interrompue (en raison d'un délai avant expiration, par exemple) et le rollback des modifications demandées peut ne pas être annulé dans tous les composants de l'environnement (tels que le serveur Web Airflow).

Par exemple, une opération de mise à jour peut être l'installation ou la suppression de modules PyPI supplémentaires, la redéfinition ou la définition d'une nouvelle variable d'environnement Airflow ou Cloud Composer, ou la modification de certains paramètres associés à Airflow.

Une telle situation peut se produire si une opération de mise à jour est déclenchée alors que d'autres opérations sont en cours, par exemple l'autoscaling du cluster Cloud Composer ou une opération de maintenance.

Dans ce cas, il est recommandé de répéter l'opération.

Durée des opérations de mise à jour ou de mise à niveau

La plupart des opérations de mise à jour ou de mise à niveau nécessitent le redémarrage des composants Airflow tels que les programmeurs, les nœuds de calcul et les serveurs Web Airflow.

Une fois qu'un composant a redémarré, il doit être initialisé. Lors de l'initialisation, les programmeurs et les nœuds de calcul Airflow téléchargent le contenu des dossiers /dags et /plugins à partir du bucket de l'environnement. Le processus de synchronisation des fichiers avec les programmeurs et les nœuds de calcul Airflow n'est pas instantané et dépend de la taille totale et du nombre d'objets dans ces dossiers.

Nous vous recommandons de ne conserver que les fichiers du DAG et du plug-in dans les dossiers /dags et /plugins (respectivement), et de supprimer tous les autres fichiers. Une quantité trop importante de données dans les dossiers /dags et /plugins peut ralentir l'initialisation des composants Airflow et, dans certains cas, rendre l'initialisation impossible.

Nous vous recommandons de conserver moins de 30 Mo de données dans les dossiers /dags et /plugins, et de ne pas dépasser 100 Mo de données.

Pour en savoir plus, consultez également les articles suivants:

Mettre à niveau le type de machine pour les nœuds GKE

Vous pouvez mettre à niveau manuellement le type de machine du cluster GKE de votre environnement en supprimant le default-pool existant et en créant un default-pool avec le type de machine souhaité.

Nous vous recommandons de spécifier un type de machine adapté au type de calcul qui se produit dans votre environnement Cloud Composer lorsque vous créez un environnement.

Si vous exécutez des tâches qui effectuent des calculs gourmands en ressources, vous pouvez utiliser des opérateurs GKE.

Après une mise à niveau, le type de machine précédent apparaît toujours dans les détails de votre environnement. Par exemple, la page "Détails de l'environnement" ne reflète pas le nouveau type de machine.

Console

Pour mettre à jour le type de machine, procédez comme suit :

  1. Dans la console Google Cloud, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Obtenez des informations sur le pool de nœuds par défaut:

    1. Accédez à l'onglet Configuration de l'environnement.

    2. Cliquez sur le lien Afficher les détails du cluster.

    3. Sur la page Clusters de la section Nœuds, cliquez sur default-pool.

    4. Notez toutes les informations concernant default-pool sur la page "Détails du pool de nœuds". Vous allez utiliser ces informations pour créer un pool de nœuds par défaut pour votre environnement.

  4. Pour supprimer default-pool, procédez comme suit:

    1. Sur la page Détails du pool de nœuds, cliquez sur la flèche de retour pour revenir à la page Clusters de votre environnement.

    2. Dans la section Pools de nœuds, cliquez sur l'icône Corbeille pour le pool default-pool. Cliquez ensuite sur Supprimer pour confirmer l'opération.

  5. Pour créer le nouveau pool default-pool, procédez comme suit :

    1. Sur la page Clusters, cliquez sur Ajouter un pool de nœuds.

    2. Dans le champ "Nom", saisissez default-pool. Vous devez utiliser le nom default-pool pour que les workflows de votre environnement puissent s'exécuter dans ce pool.

    3. Saisissez les paramètres "Taille" et "Nœuds".

    4. (Uniquement pour les comptes de service Compute Engine par défaut) Pour les niveaux d'accès, sélectionnez Autoriser l'accès complet à l'ensemble des API Cloud.

    5. Cliquez sur Enregistrer.

  6. Si vous remarquez que les charges de travail sont réparties de manière inégale, réduisez le déploiement d'un nœud de calcul Airflow à zéro, puis effectuez un nouveau scaling à la hausse.

Étapes suivantes