Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Cette page explique comment mettre à niveau votre environnement vers une nouvelle version d'Airflow.
À propos des opérations de mise à niveau
Dans Cloud Composer 3, vous ne gérez pas la version Cloud Composer de votre environnement :
- Cloud Composer met automatiquement à niveau les composants d'infrastructure de votre environnement. Ces composants sont liés à les fonctionnalités Cloud Composer et ne modifie pas le fonctionnement d'Airflow ; ou la façon dont vos DAG Airflow sont exécutés.
- Cloud Composer ne met pas automatiquement à niveau la version Airflow des composants Airflow, ou des composants étroitement liés à Airflow, charges de travail. Ils ne sont pas modifiés lors de la mise à niveau des composants d'infrastructure automatiquement.
- Vous pouvez effectuer une mise à niveau manuelle vers la nouvelle version d'Airflow. version ou build.
Par exemple, vous pouvez utiliser la même version et le même build d'Airflow pour plusieurs mois, sans effectuer de mise à niveau, et votre environnement continue de recevoir Dernières mises à jour, corrections et améliorations de Cloud Composer composants d'infrastructure de l'environnement. Plus tard, vous décidez de passer à un nouvelle version ou build d'Airflow, vous mettez à niveau la version d'Airflow dans votre environnement.
À propos de la mise à niveau de la version d'Airflow
Votre environnement modifie la version ou le build d'Airflow dans les méthode:
Vous contrôlez la version (et la compilation) Airflow de votre environnement. Vous pouvez effectuer l'opération de mise à niveau de la version d'Airflow lorsque vous choisissez de passer à une autre version d'Airflow dans votre environnement. Par exemple, cela pourrait se produit si la version et le build d'Airflow actuels sont ne sont plus compatibles.
Cloud Composer redéploye les composants Airflow de votre environnement à l'aide de la version et du build Airflow spécifiés.
Cloud Composer applique les modifications de configuration Airflow, telles que les packages PyPI personnalisés ou les remplacements d'options de configuration Airflow, si votre environnement les possédait avant la mise à niveau.
Cloud Composer met à jour la connexion Airflow
airflow_db
pour qu'elle pointe vers la nouvelle base de données Cloud SQL.
Modifier la version d'Airflow ne modifie pas la manière dont vous vous connectez aux ressources de votre environnement, comme l'URL du bucket de votre environnement ou le serveur Web Airflow.
À propos des opérations de mise à niveau automatique de l'infrastructure
Cloud Composer s'exécute régulièrement opérations de mise à niveau automatique de l'infrastructure:
Les opérations de mise à niveau automatique de l'infrastructure s'exécutent régulièrement pendant les intervalles de maintenance spécifiés pour l'environnement.
Vous ne pouvez pas désactiver les mises à niveau automatiques de l'infrastructure dans Cloud Composer 3. Vous pouvez contrôler les périodes pendant lesquelles les mises à niveau automatiques en spécifiant des intervalles de maintenance personnalisés pour votre environnement.
Cette opération est visible dans la console Google Cloud et les journaux de l'environnement, comme toute autre opération de longue durée. Alors que le est en cours d'exécution, vous ne pouvez pas en démarrer d'autres (mais vous pouvez toujours exécuter les DAG Airflow).
Dans certains cas, les mises à niveau automatiques de l'infrastructure peuvent redémarrer Airflow composants. Au cours de ces redémarrages, les nœuds de calcul Airflow s'exécutent prend fin avec un délai de grâce de 24 heures. Si vous avez des tâches qui doivent dure plus de 24 heures, envisagez d'utiliser des opérateurs différables. Une mise à niveau peut entraîner une courte période d'indisponibilité composants d'infrastructure de l'environnement, tels que la surveillance de l'environnement.
Limites des opérations de mise à niveau
Les opérations de mise à niveau sont soumises aux limites suivantes :
- Vous ne pouvez pas revenir à une version ou à un build antérieur d'Airflow.
- Vous ne pouvez pas mettre à niveau votre environnement si la base de données Airflow contient plus de 16 Go de données. Lors d'une mise à niveau, un avertissement indiqué si la taille de la base de données Airflow est supérieure à 16 Go. Dans ce cas, effectuez la maintenance de la base de données afin de réduire la taille de la base de données.
Avant de commencer
Nous vous recommandons de créer un autre instantané de la pour recréer l'environnement en cas de besoin.
Votre compte doit disposer d'un rôle permettant de déclencher des opérations de mise à niveau d'environnement. De plus, le compte de service de l'environnement doit disposer d'un rôle doté d'autorisations suffisantes pour effectuer des opérations de mise à niveau. Pour plus plus d'informations, consultez la section Contrôle des accès.
Vérifier que votre environnement est à jour
Cloud Composer affiche des avertissements la version Airflow de votre environnement arrive à expiration. Vous pouvez utiliser ces avertissements pour que votre environnement reste toujours compatible.
Cloud Composer assure le suivi Version et build d'Airflow sur lequel repose votre environnement. Lorsque l'image approche de la date de fin de prise en charge, un avertissement apparaît dans la liste des environnements et sur la page Détails de l'environnement.
Pour vérifier si votre environnement est à jour :
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans le champ Version de l'image, l'un des messages suivants s'affiche :
Dernière version disponible Votre image d'environnement est entièrement compatible.
Nouvelle version disponible Votre image d'environnement est entièrement compatible et vous pouvez la mettre à niveau vers une version ultérieure.
La prise en charge de cette version de l'image prendra fin dans… Votre image d'environnement approche de la fin de la période de prise en charge pcomplète.
Cette version n'est plus compatible depuis le… Votre environnement a dépassé la période de prise en charge complète.
gcloud
Cette fonctionnalité n'est pas disponible via la Google Cloud CLI. Vous pouvez À la place, affichez les mises à niveau disponibles, qui affiche les nouvelles versions. disponibles.
API
Cette fonctionnalité n'est pas disponible via l'API. Vous pouvez plutôt afficher les mises à niveau disponibles, qui affiche les nouvelles versions disponibles.
Afficher les mises à niveau disponibles
Pour afficher les versions Cloud Composer que vous pouvez mettre à niveau, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement, puis cliquez sur Mettre à niveau la version d'image.
Pour obtenir la liste des versions disponibles, cliquez sur le menu déroulant Version de l'image de Cloud Composer.
gcloud
gcloud composer environments list-upgrades \
ENVIRONMENT_NAME \
--location LOCATION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.
Exemple :
gcloud composer environments list-upgrades example-environment \
--location us-central1
API
Vous pouvez consulter les versions disponibles pour un établissement. Pour ce faire, créez un
Requête API imageVersions.list
.
Exemple :
// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions
Recherchez les conflits de packages PyPI avant la mise à niveau
Vous pouvez vérifier si les packages PyPI installés dans votre environnement des conflits avec les packages préinstallés Version ou build Airflow.
Une vérification réussie signifie qu'il n'y a pas de conflits de dépendance des packages PyPI entre la version actuelle et la version spécifiée. Toutefois, une l'opération de mise à niveau peut échouer pour d'autres raisons.
Console
Pour exécuter une vérification des mises à niveau de votre environnement, procédez comme suit :
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement, recherchez l'entrée Version de l'image, puis cliquez sur Mettre à niveau.
Dans la boîte de dialogue Mise à niveau de la version de l'environnement, dans Dans la liste déroulante Nouvelle version, sélectionnez une version ou un build d'Airflow que vous souhaitez mettre à niveau.
Dans la section Compatibilité des packages PyPI, cliquez sur Rechercher des conflits.
Attendez la fin de la vérification. En cas de conflits de dépendance du package PyPI, les messages d'erreur affichés contiennent des détails sur les packages en conflit et les versions de package.
gcloud
Pour exécuter une vérification de la mise à niveau de votre environnement, exécutez la commande environments check-upgrade
avec la version ou le build d'Airflow vers lequel vous souhaitez effectuer la mise à niveau.
gcloud composer environments check-upgrade \
ENVIRONMENT_NAME \
--location LOCATION \
--airflow-version VERSION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.VERSION
avec la version et la version de compilation d'Airflow vers laquelle vous souhaitez effectuer la mise à niveau, au formatairflow-x.y.z-build.t
. Vous pouvez aussi utiliser alias de version.
Exemple :
gcloud composer environments check-upgrade example-environment \
--location us-central1 \
--airflow-version airflow-2.9.1-build.8
Exemple de résultat :
Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.9.1-build.8. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...
Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.
Vous pouvez également exécuter une vérification de mise à niveau de manière asynchrone. Utilisez l'argument --async
pour effectuer un appel asynchrone, puis vérifiez le résultat à l'aide de la commande gcloud composer operations describe
.
API
Rédigez une requête d'API environments.checkUpgrade
.
Spécifiez la version de l'image dans le champ imageVersion
:
{
"imageVersion": "VERSION"
}
Remplacez VERSION
par la nouvelle version vers laquelle vous souhaitez effectuer la mise à niveau, dans
le format composer-3-airflow-x.y.z-build.t
.
Mettre à niveau votre environnement
Pour mettre à niveau votre environnement vers une nouvelle version ou build d'Airflow:
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Recherchez l'élément Version de l'image, puis cliquez sur Mettre à niveau.
Dans le menu déroulant Version de l'image, sélectionnez une version ou un build d'Airflow que vous souhaitez mettre à niveau.
Cliquez sur Mettre à jour.
gcloud
gcloud composer environments update \
ENVIRONMENT_NAME \
--location LOCATION \
--airflow-version VERSION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région où se trouve l'environnement.VERSION
avec la nouvelle version et le nouveau build Airflow que vous souhaitez mettre à niveau ; au formatairflow-x.y.z-build.t
. Vous pouvez également utiliser tous les alias de version.
Exemple :
gcloud composer environments update
example-environment \
--location us-central1 \
--airflow-version airflow-2.9.1-build.8
API
Rédigez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez la Masqueconfig.softwareConfig.imageVersion
.Dans le corps de la requête, dans le champ
imageVersion
, spécifiez la nouvelle version à laquelle vous souhaitez passer.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion
{
"config": {
"softwareConfig": {
"imageVersion": "composer-3-airflow-2.9.1-build.8"
}
}
}
Terraform
Le champ image_version
du bloc config.software_config
contrôle la version et la compilation d'Airflow de votre environnement. Dans ce
, spécifiez une nouvelle version et un nouveau build Airflow.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "VERSION"
}
}
}
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement. la nouvelle version et le nouveau build d'Airflow que vous souhaitez mettre à niveau au formatairflow-x.y.z-build.t
. Vous pouvez également utiliser tous les alias de version.
Exemple :
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "airflow-2.9.1-build.8"
}
}
}