Mettre à niveau des environnements

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Preview — Cloud Composer 3

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Cette page explique comment mettre à niveau votre environnement vers une nouvelle version d'Airflow.

À propos des opérations de mise à niveau

Dans Cloud Composer 3, vous ne gérez pas la version Cloud Composer de votre environnement:

• Cloud Composer met automatiquement à niveau les composants d'infrastructure de votre environnement. Ces composants sont liés aux fonctionnalités de Cloud Composer et ne modifient pas le fonctionnement d'Airflow ni la manière dont vos DAG Airflow sont exécutés.
• Cloud Composer ne met pas automatiquement à niveau la version et la compilation d'Airflow, ni les composants Airflow ou ceux étroitement liés aux charges de travail Airflow. Ils ne sont pas modifiés lors de la mise à niveau automatique des composants d'infrastructure.
• Vous pouvez effectuer une mise à niveau manuelle vers une nouvelle version ou build d'Airflow.

Par exemple, vous pouvez utiliser la même version et le même build d'Airflow pendant plusieurs mois sans effectuer de mise à niveau. Votre environnement continue de recevoir les dernières mises à jour, correctifs et améliorations des composants d'infrastructure de Cloud Composer. Lorsque vous décidez ultérieurement de passer à une nouvelle version ou build d'Airflow, vous mettez à niveau la version d'Airflow dans votre environnement.

À propos de la mise à niveau de la version d'Airflow

Votre environnement modifie la version ou le build d'Airflow de la manière suivante:

• Vous contrôlez la version (et la compilation) Airflow de votre environnement. Vous pouvez effectuer la mise à niveau vers la version d'Airflow lorsque vous choisissez de basculer votre environnement vers une autre version d'Airflow. Cela peut se produire si la version et le build actuels d'Airflow ne sont plus compatibles.

• Cloud Composer redéploie les composants Airflow de votre environnement à l'aide de la version et de la compilation Airflow spécifiées.

• Cloud Composer applique les modifications de configuration Airflow, telles que les packages PyPI personnalisés ou les remplacements d'options de configuration Airflow, si votre environnement en proposait avant la mise à niveau.

• Cloud Composer met à jour la connexion Airflow airflow_db pour qu'elle pointe vers la nouvelle base de données Cloud SQL.

La modification de la version d'Airflow ne modifie pas la façon dont vous vous connectez aux ressources de votre environnement (par exemple, l'URL du bucket de votre environnement ou le serveur Web Airflow).

À propos des opérations de mise à niveau automatique de l'infrastructure

Cloud Composer exécute régulièrement des opérations de mise à niveau automatique de l'infrastructure:

• Les opérations de mise à niveau automatique de l'infrastructure s'exécutent régulièrement au cours des intervalles de maintenance spécifiés pour l'environnement.

• Il n'est pas possible de désactiver les mises à niveau automatiques de l'infrastructure dans Cloud Composer 3. Vous pouvez contrôler les périodes d'exécution des mises à niveau automatiques en spécifiant des intervalles de maintenance personnalisés pour votre environnement.

• Cette opération est visible dans la console Google Cloud et dans les journaux de l'environnement, comme toute autre opération de longue durée. Pendant l'exécution de l'opération, vous ne pouvez pas démarrer d'autres opérations au niveau de l'environnement (mais vous pouvez toujours exécuter les DAG Airflow).

• Les mises à niveau automatiques de l'infrastructure n'interrompent pas les composants Airflow ni les tâches Airflow en cours d'exécution. Une mise à niveau peut entraîner une courte indisponibilité des composants d'infrastructure de l'environnement, tels que la surveillance de l'environnement.

Limites des opérations de mise à niveau

Les opérations de mise à niveau présentent les limites suivantes:

• Vous ne pouvez pas revenir à une version ou à un build antérieur d'Airflow.

• Vous ne pouvez pas mettre à niveau votre environnement si la base de données Airflow contient plus de 16 Go de données. Lors d'une mise à niveau, un avertissement s'affiche si la taille de la base de données Airflow dépasse 16 Go. Dans ce cas, effectuez la maintenance de la base de données afin de réduire sa taille.

Avant de commencer

Attention:

• Assurez-vous de connaître les différences entre la version actuelle d'Airflow et la version vers laquelle vous effectuez la mise à niveau. La nouvelle version peut inclure différentes versions de packages préinstallés, des correctifs de Cloud Composer ou des modifications des fonctionnalités Airflow, fournies par le projet Open Source Airflow. Vous pouvez vérifier les versions des packages du fournisseur incluses dans une version spécifique.

• Assurez-vous que vos DAG sont compatibles avec la nouvelle version d'Airflow et les nouvelles versions de tous les packages du fournisseur (y compris le package du fournisseur Airflow pour Google Cloud et les services Google). Des modifications incompatibles peuvent empêcher vos DAG de fonctionner.

• Contrairement aux mises à niveau automatiques de l'infrastructure, lorsqu'un environnement passe à une nouvelle version ou build d'Airflow, toutes les tâches en cours d'exécution sont arrêtées. Une fois la mise à niveau terminée, Airflow planifie une nouvelle tentative en fonction de la manière dont vous configurez ces tâches pour vos DAG.

• Nous vous recommandons de créer un nouvel instantané de l'environnement afin de pouvoir le recréer si nécessaire.

• Votre compte doit disposer d'un rôle pouvant déclencher des opérations de mise à niveau de l'environnement. En outre, le compte de service de l'environnement doit disposer d'un rôle disposant d'autorisations suffisantes pour effectuer des opérations de mise à niveau. Pour en savoir plus, consultez la page Contrôle des accès.

Vérifier que votre environnement est à jour

Cloud Composer affiche des avertissements lorsque la version Airflow de votre environnement approche de sa date de fin de compatibilité. Vous pouvez utiliser ces avertissements pour que votre environnement reste compatible.

Figure 1. Un message d'abandon s'affiche sur la page "Détails de l'environnement".

Cloud Composer assure le suivi de la version d'Airflow et de la compilation sur laquelle repose votre environnement. À l'approche de la date de fin de compatibilité, un avertissement s'affiche dans la liste des environnements et sur la page Détails de l'environnement.

Remarque :Vous pouvez toujours mettre à niveau votre environnement, même si la version et la compilation Airflow ont dépassé leur période de prise en charge.

Pour vérifier si votre environnement est à jour:

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Dans le champ Version de l'image, l'un des messages suivants s'affiche :

   • Dernière version disponible Votre image d'environnement est entièrement compatible.

   • Nouvelle version disponible Votre image d'environnement est entièrement compatible et vous pouvez la mettre à niveau vers une version ultérieure.

   • La prise en charge de cette version de l'image prendra fin dans… Votre image d'environnement approche de la fin de la période de prise en charge pcomplète.

   • Cette version n'est plus compatible depuis le… Votre environnement a dépassé la période de prise en charge complète.

gcloud

Cette fonctionnalité n'est pas disponible via la Google Cloud CLI. À la place, vous pouvez afficher les mises à niveau disponibles pour afficher les nouvelles versions disponibles.

API

Cette fonctionnalité n'est pas disponible via l'API. À la place, vous pouvez afficher les mises à niveau disponibles pour afficher les nouvelles versions disponibles.

Afficher les mises à niveau disponibles

Pour afficher les versions Cloud Composer que vous pouvez mettre à niveau, procédez comme suit :

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement, puis cliquez sur Mettre à niveau la version de l'image.

4. Pour obtenir la liste des versions disponibles, cliquez sur le menu déroulant Version de l'image de Cloud Composer.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.

Exemple :

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Vous pouvez afficher les versions disponibles pour un établissement. Pour ce faire, créez une requête API imageVersions.list.

Exemple :

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Recherchez les conflits de packages PyPI avant la mise à niveau

Preview — Upgrade check

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Vous pouvez vérifier si les packages PyPI installés dans votre environnement sont en conflit avec les packages préinstallés dans la nouvelle version ou le nouveau build Airflow.

Une vérification réussie signifie qu'il n'y a pas de conflits dans les dépendances des packages PyPI entre la version actuelle et la version spécifiée. Cependant, une opération de mise à niveau peut toujours échouer pour d'autres raisons.

Console

Pour exécuter une vérification des mises à niveau de votre environnement, procédez comme suit :

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement, recherchez l'entrée Version de l'image, puis cliquez sur Mettre à niveau.

4. Dans la boîte de dialogue Mise à niveau de la version de l'environnement, dans la liste déroulante Nouvelle version, sélectionnez une version ou un build Airflow vers lequel vous souhaitez effectuer la mise à niveau.

5. Dans la section Compatibilité des packages PyPI, cliquez sur Rechercher des conflits.

6. Attendez la fin de la vérification. En cas de conflits de dépendance du package PyPI, les messages d'erreur affichés contiennent des détails sur les packages en conflit et les versions de package.

gcloud

Pour effectuer une vérification de mise à niveau pour votre environnement, exécutez la commande environments check-upgrade en indiquant la version ou le build Airflow vers lequel vous souhaitez effectuer la mise à niveau.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.
• VERSION par la nouvelle version et la nouvelle compilation Airflow vers lesquelles vous souhaitez effectuer la mise à niveau, au format airflow-x.y.z-build.t. Vous pouvez également utiliser tous les alias de version.

Exemple :

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.7.3-build.6

Exemple de résultat :

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.7.3-build.6. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Vous pouvez également exécuter une vérification de mise à niveau de manière asynchrone. Utilisez l'argument --async pour effectuer un appel asynchrone, puis vérifiez le résultat à l'aide de la commande gcloud composer operations describe.

API

Rédigez une requête d'API environments.checkUpgrade.

Spécifiez la version de l'image dans le champ imageVersion :

{
  "imageVersion": "VERSION"
}

Remplacez VERSION par la nouvelle version vers laquelle vous souhaitez effectuer la mise à niveau, au format composer-3-airflow-x.y.z-build.t.

Mettre à niveau votre environnement

Attention :Mettez en pause tous les DAG et attendez la fin des tâches en cours avant de procéder à la mise à niveau.

Pour mettre à niveau votre environnement vers une nouvelle version ou build d'Airflow:

Console

1. Dans la console Google Cloud, accédez à la page Environnements.

   Accéder à la page Environnements

2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

3. Accédez à l'onglet Configuration de l'environnement.

4. Recherchez l'élément Version de l'image, puis cliquez sur Mettre à niveau.

5. Dans le menu déroulant Version de l'image, sélectionnez une version ou un build Airflow vers lequel vous souhaitez effectuer la mise à niveau.

6. Cliquez sur Mettre à jour.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement.
• VERSION par la nouvelle version et la nouvelle compilation Airflow vers lesquelles vous souhaitez effectuer la mise à niveau, au format airflow-x.y.z-build.t. Vous pouvez également utiliser tous les alias de version.

Exemple :

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.7.3-build.6

API

1. Rédigez une requête API environments.patch.

2. Dans cette requête :

   1. Dans le paramètre updateMask, spécifiez le masque config.softwareConfig.imageVersion.

   2. Dans le corps de la requête, dans le champ imageVersion, spécifiez la nouvelle version vers laquelle vous souhaitez effectuer la mise à niveau.

Exemple :

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.7.3-build.6"
      }
    }
  }

Terraform

Le champ image_version du bloc config.software_config contrôle la version et le build d'Airflow de votre environnement. Dans ce champ, spécifiez une nouvelle version et un nouveau build Airflow.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Remplacez :

• ENVIRONMENT_NAME par le nom de l'environnement.
• LOCATION par la région dans laquelle se trouve l'environnement. la nouvelle version et la nouvelle compilation Airflow vers lesquelles vous souhaitez effectuer la mise à niveau, au format airflow-x.y.z-build.t ; Vous pouvez également utiliser tous les alias de version.

Exemple :

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.7.3-build.6"
    }
  }
}

Étapes suivantes

• Liste des versions
• Gestion des versions Cloud Composer
• Mettre à jour des environnements