Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Cette page explique comment mettre à niveau votre environnement vers un nouveau Cloud Composer ou Airflow version.
À propos des opérations de mise à niveau
Vous pouvez mettre à niveau les versions Cloud Composer, Airflow, ou les deux en même temps.
Lorsque vous modifiez la version d'Airflow ou de Cloud Composer utilisée par votre environnement:
Cloud Composer redéploie les composants de votre environnement à l'aide de nouvelles versions des images Cloud Composer ;
Cloud Composer applique les modifications de configuration Airflow, telles que packages PyPI personnalisés ou les remplacements d'options de configuration Airflow, si votre ne les possédaient pas avant la mise à niveau.
Cloud Composer met à jour la connexion Airflow
airflow_db
vers point vers la nouvelle base de données Cloud SQL.
La mise à niveau ne modifie pas la façon dont vous vous connectez aux ressources de votre (par exemple, l'URL du bucket de votre environnement ou l'environnement Web Airflow Google Cloud.
Limites des opérations de mise à niveau
Les opérations de mise à niveau présentent les limites suivantes:
- Vous ne pouvez pas revenir à une version antérieure de Cloud Composer ou Airflow version.
Dans la console Google Cloud, vous ne pouvez passer qu'à la dernière version versions de Cloud Composer.
Dans Google Cloud CLI, l'API ou Terraform, vous pouvez mettre à niveau un environnement vers les dernières versions compatibles, les trois précédentes versions Cloud Composer, et vers les versions avec mise à niveau étendue calendrier. Il n'est pas possible de passer à d'autres versions de Cloud Composer, même s'ils sont toujours compatibles et peuvent être utilisés pour créer un environnement.
La version vers laquelle vous effectuez la mise à niveau doit être compatible avec le version actuelle de Python.
Les limites de quota de l'API Compute Engine peuvent empêcher les mises à niveau. Dans la console Google Cloud, accédez à IAM and Admin (IAM et administration). > Quotas et limites du système et vérifiez si les Le quota de processeurs de l'API Compute Engine n'est pas dépassé. Si le le seuil de quota est presque atteint, demandez une extension de quota avant l'opération de mise à niveau.
Il n'est pas possible de passer à une autre version majeure de Cloud Composer ou Airflow sur place. Vous pouvez transférer manuellement DAG et configuration entre les environnements Pour en savoir plus, consultez les pages suivantes :
- Vous ne pouvez pas mettre à niveau votre environnement si la base de données Airflow contient de plus de 16 Go de données. Lors d'une mise à niveau, un avertissement indiqué si la taille de la base de données Airflow est supérieure à 16 Go. Dans ce cas, effectuez la maintenance de la base de données afin de réduire la taille de la base de données.
Avant de commencer
Nous vous recommandons de créer un autre instantané de la pour recréer l'environnement en cas de besoin.
Votre compte doit disposer d'un rôle pouvant déclencher la mise à niveau de l'environnement opérations. De plus, le compte de service de l'environnement doit disposer dispose des autorisations nécessaires pour effectuer des opérations de mise à niveau. Pour plus plus d'informations, consultez la section Contrôle des accès.
Vérifier que votre environnement est à jour
Cloud Composer affiche des avertissements l'image de votre environnement arrive à expiration. Vous pouvez utiliser ces avertissements pour protéger en permanence votre environnement compatible.
![Un message d'abandon s'affiche sur la page "Détails de l'environnement".](https://cloud.google.com/static/composer/docs/images/environment-deprecation-message.png?authuser=9&hl=fr)
Cloud Composer assure le suivi Version de l'image Cloud Composer sur lequel repose votre environnement. Lorsqu'elle approche du end of support date, un avertissement s'affiche dans la liste des environnements et sur Page Détails de l'environnement.
Pour vérifier si votre environnement est à jour:
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Dans le champ Version de l'image, l'un des messages suivants s'affiche :
Dernière version disponible Votre image d'environnement est entièrement compatible.
Nouvelle version disponible Votre image d'environnement est entièrement compatible et vous pouvez la mettre à niveau vers une version ultérieure.
La prise en charge de cette version de l'image prendra fin dans… Votre image d'environnement approche de la fin de la période de prise en charge pcomplète.
Cette version n'est plus compatible depuis le… Votre environnement a dépassé la période de prise en charge complète.
gcloud
Cette fonctionnalité n'est pas disponible via la Google Cloud CLI. Vous pouvez À la place, affichez les mises à niveau disponibles, qui affiche les nouvelles versions. disponibles.
API
Cette fonctionnalité n'est pas disponible via l'API. Vous pouvez À la place, affichez les mises à niveau disponibles, qui affiche les nouvelles versions. disponibles.
Afficher les mises à niveau disponibles
Pour afficher les versions Cloud Composer que vous pouvez mettre à niveau, procédez comme suit :
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement, puis cliquez sur Mettre à niveau la version de l'image.
Pour obtenir la liste des versions disponibles, cliquez sur l'API Cloud Composer Menu déroulant Version de l'image.
gcloud
gcloud composer environments list-upgrades \
ENVIRONMENT_NAME \
--location LOCATION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.
Exemple :
gcloud composer environments list-upgrades example-environment \
--location us-central1
API
Vous pouvez afficher les versions disponibles pour un établissement. Pour ce faire, créez un
Requête API imageVersions.list
.
Exemple :
// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions
Recherchez les conflits de packages PyPI avant la mise à niveau
Vous pouvez vérifier si les packages PyPI installés dans votre environnement des conflits avec les packages préinstallés Image Cloud Composer.
Une vérification réussie signifie qu'il n'y a pas de conflits dans le package PyPI dépendances entre la version actuelle et la version spécifiée. Toutefois, une l'opération de mise à niveau peut échouer pour d'autres raisons.
Console
Pour exécuter une vérification des mises à niveau de votre environnement, procédez comme suit :
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement, recherchez l'entrée Version de l'image, puis cliquez sur Mettre à niveau.
Dans la boîte de dialogue Mise à niveau de la version de l'environnement, dans Dans la liste déroulante Nouvelle version, sélectionnez une version de Cloud Composer que vous souhaitez mettre à niveau.
Dans la section Compatibilité des packages PyPI, cliquez sur Rechercher des conflits.
Attendez la fin de la vérification. En cas de conflits de dépendance du package PyPI, les messages d'erreur affichés contiennent des détails sur les packages en conflit et les versions de package.
gcloud
Pour effectuer une vérification des mises à niveau pour votre environnement, exécutez la
environments check-upgrade
avec la commande
Version de l'image Cloud Composer.
que vous souhaitez mettre à niveau.
gcloud composer environments check-upgrade \
ENVIRONMENT_NAME \
--location LOCATION \
--image-version VERSION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.VERSION
avec La nouvelle version d'image Cloud Composer que vous souhaitez mettre à niveau, dans lacomposer-a.b.c-airflow-x.y.z
. Vous pouvez aussi utiliser alias de version.
Exemple :
gcloud composer environments check-upgrade example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15
Exemple de résultat :
Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-1.20.12-airflow-1.10.15. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...
Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.
Vous pouvez également exécuter une vérification de mise à niveau de manière asynchrone. Utilisez l'argument --async
pour effectuer un appel asynchrone, puis vérifiez le résultat à l'aide de la commande gcloud composer operations describe
.
API
Rédigez une requête d'API environments.checkUpgrade
.
Spécifiez la version de l'image dans le champ imageVersion
:
{
"imageVersion": "VERSION"
}
Remplacez VERSION
par la nouvelle version vers laquelle vous souhaitez effectuer la mise à niveau, dans
le format composer-a.b.c-airflow-x.y.z
.
Mettre à niveau votre environnement
.Pour mettre à niveau votre environnement vers une version ultérieure de Cloud Composer ou Airflow:
Console
Dans la console Google Cloud, accédez à la page Environnements.
Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.
Accédez à l'onglet Configuration de l'environnement.
Recherchez l'élément Version de l'image, puis cliquez sur Mettre à niveau.
Dans le menu déroulant Version de l'image, sélectionnez une version de Cloud Composer que vous souhaitez mettre à niveau.
Cliquez sur Mettre à jour.
gcloud
gcloud composer environments update \
ENVIRONMENT_NAME \
--location LOCATION \
--image-version VERSION
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement.VERSION
avec La nouvelle version d'image Cloud Composer que vous souhaitez mettre à niveau, dans lacomposer-a.b.c-airflow-x.y.z
. Vous pouvez aussi utiliser alias de version.
Exemple :
gcloud composer environments update
example-environment \
--location us-central1 \
--image-version composer-1.20.12-airflow-1.10.15
API
Rédigez une requête API
environments.patch
.Dans cette requête :
Dans le paramètre
updateMask
, spécifiez la Masqueconfig.softwareConfig.imageVersion
.Dans le corps de la requête, dans le champ
imageVersion
, spécifiez un nouveau vers laquelle vous souhaitez effectuer la mise à niveau.
Exemple :
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion
{
"config": {
"softwareConfig": {
"imageVersion": "composer-1.20.12-airflow-1.10.15"
}
}
}
Terraform
Le champ image_version
dans le bloc config.software_config
commandes
l'image Cloud Composer de votre environnement. Dans ce
, spécifiez une nouvelle image Cloud Composer.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "VERSION"
}
}
}
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région dans laquelle se trouve l'environnement. La nouvelle version d'image Cloud Composer que vous souhaitez mettre à niveau, dans lecomposer-a.b.c-airflow-x.y.z
. Vous pouvez aussi utiliser alias de version.
Exemple :
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-1.20.12-airflow-1.10.15"
}
}
}