Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Auf dieser Seite wird beschrieben, wie Sie Ihre Umgebung auf eine neue Airflow-Version aktualisieren.
Umstellungsvorgänge
In Cloud Composer 3 verwalten Sie die Cloud Composer-Version Ihrer Umgebung nicht:
- Cloud Composer führt automatisch ein Upgrade der Infrastrukturkomponenten Ihrer Umgebung durch. Diese Komponenten beziehen sich auf Cloud Composer-Funktionen und ändern weder die Funktionsweise von Airflow noch die Ausführung Ihrer Airflow-DAGs.
- Cloud Composer führt kein automatisches Upgrade der Airflow-Version und des Builds, von Airflow-Komponenten oder von Komponenten durch, die eng mit Airflow-Arbeitslasten zusammenhängen. Sie werden nicht geändert, wenn die Infrastrukturkomponenten automatisch aktualisiert werden.
- Sie können manuelles Upgrade auf eine neue Airflow-Version oder einen neuen Airflow-Build ausführen.
Sie können beispielsweise dieselbe Version und denselben Build von Airflow mehrere Monate lang verwenden, ohne Upgrades durchzuführen. Ihre Umgebung erhält trotzdem die neuesten Cloud Composer-Updates, Fehlerkorrekturen und Verbesserungen der Infrastrukturkomponenten der Umgebung. Wenn Sie sich später dazu entschließen, zu einer neuen Version oder einem neuen Build von Airflow zu wechseln, führen Sie ein Upgrade der Airflow-Version in Ihrer Umgebung durch.
Airflow-Versionen aktualisieren
In Ihrer Umgebung wird die Version oder der Build von Airflow so geändert:
Sie steuern die Airflow-Version (und den Build) Ihrer Umgebung. Sie können das Airflow-Versionsupgrade ausführen, wenn Sie Ihre Umgebung auf eine andere Airflow-Version umstellen möchten. Das kann beispielsweise passieren, wenn die aktuelle Version und der aktuelle Build von Airflow nicht mehr unterstützt werden.
Cloud Composer stellt die Airflow-Komponenten Ihrer Umgebung mit der angegebenen Airflow-Version und dem Build neu bereit.
Cloud Composer wendet Airflow-Konfigurationsänderungen wie benutzerdefinierte PyPI-Pakete oder Überschreibungen von Airflow-Konfigurationsoptionen an, sofern diese vor dem Upgrade in Ihrer Umgebung vorhanden waren.
Cloud Composer aktualisiert die Airflow-
airflow_db-Verbindung, damit sie auf die neue Cloud SQL-Datenbank verweist.
Durch das Ändern der Airflow-Version ändert sich nicht die Art und Weise, wie Sie eine Verbindung zu den Ressourcen in Ihrer Umgebung herstellen, z. B. die URL des Buckets Ihrer Umgebung oder des Airflow-Webservers.
Automatische Infrastruktur-Upgrades
Cloud Composer führt regelmäßig automatische Infrastruktur-Upgrades durch:
Automatische Infrastruktur-Upgrades werden regelmäßig während der für die Umgebung angegebenen Wartungsfenster ausgeführt.
Automatische Infrastruktur-Upgrades können in Cloud Composer 3 nicht deaktiviert werden. Sie können festlegen, wann automatische Upgrades ausgeführt werden können, indem Sie benutzerdefinierte Wartungsfenster für Ihre Umgebung angeben.
Dieser Vorgang ist wie jeder andere langlaufende Vorgang in der Google Cloud Console und in den Protokollen der Umgebung sichtbar. Während der Vorgang ausgeführt wird, können Sie keine weiteren Vorgänge auf Umgebungsebene starten. Sie können jedoch weiterhin Airflow-DAGs ausführen.
In einigen Fällen können automatische Infrastruktur-Upgrades Airflow-Komponenten neu starten. Bei solchen Neustarts werden Airflow-Worker mit einer Kulanzzeitraum von 24 Stunden ordnungsgemäß beendet. Wenn Aufgaben mehr als 24 Stunden in Anspruch nehmen, sollten Sie zurückstellbare Operatoren verwenden. Ein Upgrade kann dazu führen, dass die Infrastrukturkomponenten der Umgebung, z. B. die Umgebungsüberwachung, für kurze Zeit nicht verfügbar sind.
Einschränkungen bei Upgrades
Für Upgrades gelten die folgenden Einschränkungen:
- Ein Downgrade auf eine frühere Version oder einen früheren Build von Airflow ist nicht möglich.
Sie können Ihre Umgebung nicht aktualisieren, wenn die Airflow-Datenbank mehr als 20 GB Daten umfasst. Während eines Upgrades wird eine Warnung angezeigt, wenn die Airflow-Datenbankgröße mehr als 20 GB beträgt. Führen Sie in diesem Fall die Datenbankwartung durch, um die Datenbankgröße zu reduzieren.
Wenn Sie den XCom-Mechanismus zum Übertragen von Dateien verwenden, achten Sie darauf, dass Sie ihn gemäß den Airflow-Richtlinien verwenden. Die Übertragung großer Dateien oder einer großen Anzahl von Dateien mit XCom wirkt sich auf die Leistung der Airflow-Datenbank aus und kann zu Fehlern beim Laden von Snapshots oder beim Upgraden Ihrer Umgebung führen. Für die Übertragung großer Datenmengen können Sie Alternativen wie Cloud Storage verwenden.
Hinweise
Wir empfehlen, einen neuen Snapshot der Umgebung zu erstellen, damit Sie sie bei Bedarf neu erstellen können.
Ihr Konto muss eine Rolle haben, die Umgebungsaktualisierungsvorgänge auslösen kann. Darüber hinaus muss das Dienstkonto der Umgebung eine Rolle mit ausreichenden Berechtigungen zum Ausführen von Aktualisierungsvorgängen haben. Weitere Informationen finden Sie unter Zugriffssteuerung.
Prüfen, ob die Umgebung auf dem neuesten Stand ist
Cloud Composer zeigt Warnungen an, wenn das Ende des Supportzeitraums für den Airflow-Build Ihrer Umgebung bevorsteht. Sie können diese Warnungen verwenden, um Ihre Umgebung immer unterstützt zu halten.
Cloud Composer erfasst die Airflow-Version und den Build, auf denen Ihre Umgebung basiert. Wenn sich das Enddatum des Supports nähert, wird in der Liste der Umgebungen und auf der Seite Umgebungsdetails eine Warnung angezeigt.
So prüfen Sie, ob Ihre Umgebung auf dem neuesten Stand ist:
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Im Feld Image-Version wird eine der folgenden Meldungen angezeigt:
Aktuelle verfügbare Version Ihr Umgebungs-Image wird vollständig unterstützt.
Neue Version verfügbar Ihr Umgebungs-Image wird vollständig unterstützt und Sie können ein Upgrade auf eine neuere Version ausführen.
Unterstützung für diese Image-Version endet in... Ihr Umgebungs-Image nähert sich dem Ende des vollständigen Supportzeitraums.
Diese Version wird ab dem nicht mehr unterstützt Ihre Umgebung hat den vollständigen Supportzeitraum überschritten.
gcloud
Diese Funktion ist nicht über die Google Cloud CLI verfügbar. Sie können stattdessen vorgeschlagene Upgrades ansehen. Dort werden neue Versionen angezeigt, die verfügbar sind.
API
Diese Funktion ist nicht über die API verfügbar. Sie können stattdessen vorgeschlagene Upgrades ansehen. Dort werden neue Versionen angezeigt, die verfügbar sind.
Vorgeschlagene Upgrades ansehen
Cloud Composer bietet eine Liste der Airflow-Builds, auf die Sie Ihre Umgebung aktualisieren können.
So rufen Sie die für ein Upgrade vorgeschlagenen Cloud Composer-Versionen auf:
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Klicken Sie auf dem Tab Umgebungskonfiguration auf Upgrade für Image-Version ausführen.
Klicken Sie auf das Drop-down-Menü Image-Version für Cloud Composer, um eine Liste der vorgeschlagenen Versionen aufzurufen.
gcloud
gcloud composer environments list-upgrades \
ENVIRONMENT_NAME \
--location LOCATION
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.
Beispiel:
gcloud composer environments list-upgrades example-environment \
--location us-central1
API
Sie können sich die verfügbaren Versionen für einen Standort ansehen. Erstellen Sie dazu eine API-Anfrage vom Typ imageVersions.list.
Beispiel:
// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions
Vor dem Upgrade auf PyPI-Paketkonflikte prüfen
Sie können prüfen, ob in Ihrer Umgebung installierte PyPI-Pakete mit vorinstallierten Paketen in der neuen Airflow-Version oder dem neuen Airflow-Build in Konflikt stehen.
Eine erfolgreiche Prüfung bedeutet, dass keine Konflikte bei PyPI-Paketabhängigkeiten zwischen der aktuellen und der angegebenen Version bestehen. Ein Upgradevorgang ist jedoch möglicherweise aus anderen Gründen noch nicht erfolgreich.
Console
So führen Sie eine Upgradeprüfung für Ihre Umgebung aus:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Wechseln Sie zum Tab Umgebungskonfiguration, suchen Sie den Eintrag Image-Version und klicken Sie auf Upgrade.
Wählen Sie im Dialogfeld Umgebungsversionsupgrade in der Drop-down-Liste Neue Version eine Airflow-Version oder einen Airflow-Build aus, auf die Sie upgraden möchten.
Klicken Sie im Abschnitt Kompatibilität von PyPI-Paketen auf Nach Konflikten suchen.
Warten Sie, bis die Prüfung abgeschlossen ist. Wenn PyPI-Paketabhängigkeitskonflikte auftreten, enthalten die angezeigten Fehlermeldungen Details zu in Konflikt stehenden Paketen und Paketversionen.
gcloud
Führen Sie zum Ausführen einer Upgradeprüfung für Ihre Umgebung den Befehl environments check-upgrade mit der Airflow-Version oder dem Airflow-Build aus, auf die Sie ein Upgrade ausführen möchten.
gcloud composer environments check-upgrade \
ENVIRONMENT_NAME \
--location LOCATION \
--airflow-version VERSION
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.VERSIONdurch die neue Airflow-Version und den neuen Build, auf die Sie das Upgrade ausführen möchten, imairflow-x.y.z-build.t-Format. Sie können auch alle Versionenaliasse verwenden.
Beispiel:
gcloud composer environments check-upgrade example-environment \
--location us-central1 \
--airflow-version airflow-2.10.2-build.7
Beispielausgabe:
Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.10.2-build.7. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...
Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.
Alternativ können Sie eine Upgradeprüfung asynchron ausführen. Verwenden Sie das Argument --async, um einen asynchronen Aufruf auszuführen, und prüfen Sie dann das Ergebnis mit dem Befehl gcloud composer operations describe.
API
Erstellen Sie eine environments.checkUpgrade-API-Anfrage.
Geben Sie im Feld imageVersion die Image-Version an:
{
"imageVersion": "VERSION"
}
Ersetzen Sie VERSION durch die neue Version, auf die Sie das Upgrade ausführen möchten, im composer-3-airflow-x.y.z-build.t-Format.
Umgebung upgraden
So führen Sie ein Upgrade Ihrer Umgebung auf eine neue Version oder einen neuen Build von Airflow aus:
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie den Tab Umgebungskonfiguration auf.
Suchen Sie den Eintrag Image-Version und klicken Sie auf Upgrade.
Wählen Sie im Drop-down-Menü Image version (Image-Version) die Airflow-Version oder den Build aus, auf die bzw. den Sie upgraden möchten.
Klicken Sie auf Upgrade.
gcloud
gcloud composer environments update \
ENVIRONMENT_NAME \
--location LOCATION \
--airflow-version VERSION
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.VERSIONdurch die neue Airflow-Version und den neuen Build, auf die Sie das Upgrade ausführen möchten, imairflow-x.y.z-build.t-Format. Sie können auch alle Versionenaliasse verwenden.
Beispiel:
gcloud composer environments update
example-environment \
--location us-central1 \
--airflow-version airflow-2.10.2-build.7
API
Erstellen Sie eine API-Anfrage
environments.patch.In dieser Anfrage:
Geben Sie im
updateMask-Parameter dieconfig.softwareConfig.imageVersion-Maske an.Geben Sie im Anfragetext im Feld
imageVersiondie neue Version an, auf die Sie upgraden möchten.
Beispiel:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion
{
"config": {
"softwareConfig": {
"imageVersion": "composer-3-airflow-2.10.2-build.7"
}
}
}
Terraform
Das Feld image_version im Block config.software_config steuert die Airflow-Version und den Build Ihrer Umgebung. Geben Sie in diesem Feld eine neue Airflow-Version und einen neuen Build an.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "VERSION"
}
}
}
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet. die neue Version und Build von Airflow, auf die Sie ein Upgrade ausführen möchten, imairflow-x.y.z-build.t-Format. Sie können auch alle Versionsaliate verwenden.
Beispiel:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "airflow-2.10.2-build.7"
}
}
}