Upgrade für Umgebungen ausführen

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie Sie Ihre Umgebung auf eine neue Cloud Composer- oder Airflow-Version aktualisieren.

Upgradevorgänge

Sie können die Cloud Composer-Version, die Airflow-Version oder beide gleichzeitig upgraden.

Wenn Sie die Version von Airflow oder Cloud Composer ändern, die von Ihre Umgebung:

• Cloud Composer stellt die Komponenten Ihrer Umgebung mit neuen Versionen von Cloud Composer-Images neu bereit.

• Cloud Composer wendet Airflow-Konfigurationsänderungen an, z. B. benutzerdefinierte PyPI-Pakete oder Airflow-Konfigurationsoptionen überschreiben, vor dem Upgrade verfügbar waren.

• Cloud Composer aktualisiert die Airflow-Verbindung airflow_db auf auf die neue Cloud SQL-Datenbank.

Durch das Upgrade ändert sich nicht, wie Sie eine Verbindung zu den Ressourcen in Ihrer Umgebung herstellen, z. B. die URL des Buckets Ihrer Umgebung oder der Airflow-Webserver.

Einschränkungen von Upgradevorgängen

Für Upgrades gelten die folgenden Einschränkungen:

• Ein Downgrade auf eine frühere Cloud Composer- oder Airflow-Version ist nicht möglich.

• In der Google Cloud Console können Sie nur auf die neuesten unterstützten Versionen von Cloud Composer upgraden.

• In der Google Cloud CLI, API oder Terraform können Sie ein Upgrade für eine Umgebung durchführen auf die neuesten unterstützten Versionen, drei frühere Versionen Cloud Composer, die letzte Patchversion der vorherigen Nebenversion und auf Versionen mit längerem Upgradezeitplan. Es ist nicht ein Upgrade auf andere Cloud Composer-Versionen möglich ist, auch wenn werden weiterhin unterstützt und können verwendet werden, um eine neue Umgebung zu erstellen.

• Die Version, auf die Sie ein Upgrade durchführen, muss die aktuelle Python-Version.

• Die Kontingentlimits der Compute Engine API können Upgrades verhindern. Gehen Sie in der Google Cloud Console zur Seite IAM und Verwaltung. > Seite Kontingente und Systemlimits und prüfen Sie, ob das Das Compute Engine API-Kontingent für die CPU wird nicht überschritten. Wenn der Kontingentgrenzwert erreicht wird, beantragen Sie eine Kontingenterweiterung, bevor Sie mit der Umstellung fortfahren.

• Sie können Ihre Umgebung nicht aktualisieren, wenn die Airflow-Datenbank mehr als 16 GB Daten. Während eines Upgrades wird eine Warnung angezeigt, wird angezeigt, wenn die Airflow-Datenbankgröße mehr als 16 GB ist. Führen Sie in diesem Fall die Datenbankwartung durch, um der Datenbankgröße.

• Wenn Sie den XCom-Mechanismus zum Übertragen von Dateien verwenden, müssen Sie entsprechend den Airflow-Richtlinien verwenden. Die Übertragung großer Dateien oder einer großen Anzahl von Dateien mit XCom wirkt sich auf Die Leistung der Airflow-Datenbank und kann zu Fehlern beim Laden führen oder ein Upgrade Ihrer Umgebung durchführen. Erwägen Sie die Verwendung von Alternativen wie wie Cloud Storage, um große Datenmengen zu übertragen.

Hinweise

Achtung:

• Machen Sie sich mit den Unterschieden zwischen den aktuellen Versionen von Airflow und Cloud Composer und den Versionen vertraut, auf die Sie ein Upgrade durchführen. Die neue Version kann verschiedene vorinstallierte Versionen enthalten Pakete, Patches von Cloud Composer oder Änderungen in Airflow die vom Open-Source-Projekt Airflow bereitgestellt werden. Sie können die Versionen der Anbieterpakete prüfen, die in einer bestimmten Version enthalten sind.

• Prüfen Sie, ob Ihre DAGs mit der neuen Airflow-Version kompatibel sind und neue Versionen aller Anbieterpakete (einschließlich des Airflow-Anbieters) -Paket für Google Cloud und Google-Dienste). Inkompatible Änderungen können dazu führen, dass Ihre DAGs nicht mehr funktionieren.

• Während eines Upgrades werden alle laufenden Aufgaben beendet. Nach Abschluss des Upgrades plant Airflow einen Wiederholungsversuch für diese Aufgaben. je nachdem, wie Sie Wiederholungsversuche für Ihre DAGs konfigurieren.

• Führen Sie keine Upgrades der GKE-Cluster Ihrer Cloud Composer-Umgebungen auf neuere Versionen. Verwenden Sie die GKE-Version, die bei der Erstellung der Umgebung vorkonfiguriert wurde, und verlassen Sie sich auf die automatischen Upgrades des GKE-Dienstes.

• Wir empfehlen, einen neuen Snapshot des um die Umgebung neu erstellen zu können, falls das erforderlich ist.

• Ihr Konto muss eine Rolle haben, die Umgebungsaktualisierungsvorgänge auslösen kann. Darüber hinaus muss das Dienstkonto der Umgebung eine Rolle mit ausreichenden Berechtigungen zum Ausführen von Aktualisierungsvorgängen haben. Weitere Informationen finden Sie unter Zugriffssteuerung.

Umgebung auf dem neuesten Stand prüfen

Cloud Composer zeigt Warnungen an, wenn das Image Ihrer Umgebung das Ende des vollständigen Supportzeitraums erreicht hat. Mit diesen Warnungen können Sie unterstützt.

<ph type="x-smartling-placeholder">

</ph>

Abbildung 1: Auf der Seite mit den Umgebungsdetails wird eine entsprechende Meldung angezeigt.

Cloud Composer erfasst die Cloud Composer-Image-Version, auf der Ihre Umgebung basiert. Wenn sie sich dem Ende des Supports, sehen Sie in der Liste der Umgebungen Seite Umgebungsdetails.

Hinweis: Sie können Ihre Umgebung jederzeit aktualisieren, auch wenn Die Cloud Composer-Image-Version hat den gesamten Supportzeitraum überschritten.

So prüfen Sie, ob Ihre Umgebung auf dem neuesten Stand ist:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Im Feld Image-Version wird eine der folgenden Meldungen angezeigt:

   • Aktuelle verfügbare Version Ihr Umgebungs-Image wird vollständig unterstützt.

   • Neue Version verfügbar Ihr Umgebungs-Image wird vollständig unterstützt und Sie können ein Upgrade auf eine neuere Version ausführen.

   • Unterstützung für diese Image-Version endet in... Ihr Umgebungs-Image nähert sich dem Ende des vollständigen Supportzeitraums.

   • Diese Version wird ab dem nicht mehr unterstützt Ihre Umgebung hat den vollständigen Supportzeitraum überschritten.

gcloud

Diese Funktion ist nicht über die Google Cloud CLI verfügbar. Sie können Sehen Sie sich stattdessen die verfügbaren Upgrades an, die die neuen Versionen enthalten. die verfügbar sind.

API

Diese Funktion ist nicht über die API verfügbar. Sie können Sehen Sie sich stattdessen die verfügbaren Upgrades an, die die neuen Versionen enthalten. die verfügbar sind.

Verfügbare Upgrades ansehen

So lassen Sie eine Liste der Cloud Composer-Versionen anzeigen, auf die Sie ein Upgrade durchführen können:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf und klicken Sie auf Upgrade für Image-Version durchführen.

4. Klicken Sie auf den Cloud Composer, um die Liste der verfügbaren Versionen aufzurufen. Drop-down-Menü Image-Version.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Sie können sich die verfügbaren Versionen für einen Standort ansehen. Erstellen Sie dazu eine imageVersions.list API-Anfrage.

Beispiel:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Vor dem Upgrade auf PyPI-Paketkonflikte prüfen

Vorschau — Upgrade check

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Sie können prüfen, ob in Ihrer Umgebung installierte PyPI-Pakete mit vorinstallierten Paketen im neuen Cloud Composer-Image in Konflikt stehen.

Eine erfolgreiche Prüfung bedeutet, dass keine Konflikte bei PyPI-Paketabhängigkeiten zwischen der aktuellen und der angegebenen Version bestehen. Eine ist möglicherweise aus anderen Gründen trotzdem nicht erfolgreich.

Console

So führen Sie eine Upgradeprüfung für Ihre Umgebung aus:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Wechseln Sie zum Tab Umgebungskonfiguration, suchen Sie den Eintrag Image-Version und klicken Sie auf Upgrade.

4. Gehen Sie im Dialogfeld Upgrade der Umgebungsversion in Drop-down-Menü Neue Version die Option eine Cloud Composer-Version auf das Sie umstellen möchten.

5. Klicken Sie im Abschnitt Kompatibilität von PyPI-Paketen auf Nach Konflikten suchen.

6. Warten Sie, bis die Prüfung abgeschlossen ist. Wenn PyPI-Paketabhängigkeitskonflikte auftreten, enthalten die angezeigten Fehlermeldungen Details zu in Konflikt stehenden Paketen und Paketversionen.

gcloud

Führen Sie zum Ausführen einer Upgradeprüfung für Ihre Umgebung den Befehl environments check-upgrade mit der Cloud Composer-Image-Version aus, auf die Sie ein Upgrade ausführen möchten.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• VERSION mit die neue Cloud Composer-Image-Version auf die Sie umstellen möchten, in der composer-a.b.c-airflow-x.y.z Format. Sie können auch alle Versionsaliate verwenden.

Beispiel:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-2.9.7-airflow-2.9.3

Beispielausgabe:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.9.7-airflow-2.9.3. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Alternativ können Sie eine Upgradeprüfung asynchron ausführen. Verwenden Sie das Argument --async, um einen asynchronen Aufruf auszuführen, und prüfen Sie dann das Ergebnis mit dem Befehl gcloud composer operations describe.

API

Erstellen Sie eine environments.checkUpgrade-API-Anfrage.

Geben Sie im Feld imageVersion die Image-Version an:

{
  "imageVersion": "VERSION"
}

Ersetzen Sie VERSION durch die neue Version, auf die Sie das Upgrade ausführen möchten, im composer-a.b.c-airflow-x.y.z-Format.

Umgebung upgraden

Achtung: Halten Sie alle DAGs an und warten Sie, bis die laufenden Aufgaben abgeschlossen sind. wird aktualisiert.

So führen Sie ein Upgrade Ihrer Umgebung durch: auf eine neuere Version von Cloud Composer oder Airflow:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Suchen Sie den Eintrag Image-Version und klicken Sie auf Upgrade.

5. Wählen Sie im Drop-down-Menü Image-Version die Cloud Composer-Version aus, auf die Sie ein Upgrade ausführen möchten.

6. Klicken Sie auf Upgrade.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• VERSION mit die neue Cloud Composer-Image-Version auf die Sie umstellen möchten, in der composer-a.b.c-airflow-x.y.z Format. Sie können auch alle Versionsaliate verwenden.

Beispiel:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-2.9.7-airflow-2.9.3

API

1. Erstellen Sie eine API-Anfrage environments.patch.

2. In dieser Anfrage:

   1. Geben Sie im updateMask-Parameter die config.softwareConfig.imageVersion-Maske an.

   2. Geben Sie im Anfragetext im Feld imageVersion die neue Version an, auf die Sie ein Upgrade durchführen möchten.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.9.7-airflow-2.9.3"
      }
    }
  }

Terraform

Das Feld image_version im Block config.software_config steuert das Cloud Composer-Image Ihrer Umgebung. Geben Sie in diesem Feld ein neues Cloud Composer-Image an.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet. die neue Cloud Composer-Image-Version auf die Sie umstellen möchten, in der composer-a.b.c-airflow-x.y.z Format. Sie können auch alle Versionsaliasse.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.9.7-airflow-2.9.3"
    }
  }
}

Nächste Schritte

• Liste der Versionen
• Versionsverwaltung für Cloud Composer
• Umgebungen aktualisieren