Upgrade für Umgebungen ausführen

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Vorschau — Cloud Composer 3

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Auf dieser Seite wird beschrieben, wie Sie Ihre Umgebung auf eine neue Luftstrom Version.

Upgradevorgänge

In Cloud Composer 3 verwalten Sie die Cloud Composer-Version nicht Ihrer Umgebung:

• Cloud Composer aktualisiert die Infrastruktur automatisch Komponenten Ihrer Umgebung. Diese Komponenten Cloud Composer-Funktionalität und ändert nicht die Funktionsweise von Airflow oder die Ausführung Ihrer Airflow-DAGs.
• Cloud Composer führt kein automatisches Upgrade der Airflow-Version durch Airflow-Komponenten oder Komponenten mit engem Bezug zu Airflow Arbeitsbelastungen. Sie werden nicht geändert, wenn die Infrastrukturkomponenten aktualisiert werden. automatisch.
• Sie können ein manuelles Upgrade auf einen neuen Airflow ausführen. Version oder Build.

So können Sie beispielsweise dieselbe Version und denselben Build von Airflow für mehrere ohne Upgrades durchführen zu müssen. Ihre Umgebung erhält neuesten Cloud Composer-Updates, Fehlerbehebungen und Verbesserungen der der Infrastrukturkomponenten der Umgebung. Wenn Sie sich später dafür entscheiden, oder einen neuen Build von Airflow verwenden, aktualisieren Sie die Airflow-Version zu verbessern.

Airflow-Versionsupgrade

In Ihrer Umgebung wird die Version oder der Build von Airflow folgendermaßen geändert: Weg:

• Sie steuern die Airflow-Version (und den Build) Ihrer Umgebung. Sie können den Vorgang für das Airflow-Versionsupgrade ausführen, wenn Sie auf eine andere Version von Airflow. Zum Beispiel könnte dies wenn die aktuelle Version und der Build von Airflow nicht mehr unterstützt.

• Cloud Composer stellt die Airflow-Komponenten der Umgebung noch einmal bereit mit der angegebenen Airflow-Version und dem angegebenen Build.

• Cloud Composer wendet Airflow-Konfigurationsänderungen an, z. B. benutzerdefinierte PyPI-Pakete oder Airflow-Konfigurationsoptionen überschreiben, in der sie vor dem Upgrade bereitgestellt wurden.

• Cloud Composer aktualisiert die Airflow-Verbindung airflow_db auf auf die neue Cloud SQL-Datenbank.

Durch das Ändern der Airflow-Version ändert sich nichts daran, wie Sie eine Verbindung zu den Ressourcen herstellen in Ihrer Umgebung, z. B. die URL des Buckets Ihrer Umgebung, oder Airflow-Webserver.

Automatische Infrastrukturupgrades

Cloud Composer wird regelmäßig ausgeführt automatischen Infrastrukturupgrades:

• Automatische Infrastrukturupgrades werden in regelmäßigen Abständen Wartungsfenster, die für die Umgebung angegeben sind.

• Es ist nicht möglich, automatische Infrastrukturupgrades in Cloud Composer 3. Sie können die Zeiträume für automatische Upgrades selbst festlegen ausgeführt werden kann, indem Sie benutzerdefinierte Wartungsfenster für Ihre Umgebung festlegen.

• Dieser Vorgang ist in der Google Cloud Console sichtbar und wie bei allen anderen lang andauernden Vorgängen. Während die Vorgang ausgeführt wird und Sie keine weiteren Vorgänge in der Umgebung starten können (Sie können aber immer noch Airflow-DAGs ausführen.)

• Automatische Infrastrukturupgrades unterbrechen Airflow nicht Komponenten oder die bereits ausgeführten Airflow-Tasks. Ein Upgrade kann dazu führen, innerhalb kurzer Zeit der Nichtverfügbarkeit für die Infrastruktur der Umgebung wie das Umgebungsmonitoring.

Einschränkungen von Upgradevorgängen

Für Upgradevorgänge gelten die folgenden Einschränkungen:

• Ein Downgrade auf eine frühere Version oder einen Build von Airflow ist nicht möglich.

• Sie können Ihre Umgebung nicht aktualisieren, wenn die Airflow-Datenbank mehr als 16 GB Daten. Während eines Upgrades wird eine Warnung angezeigt, wird angezeigt, wenn die Airflow-Datenbankgröße mehr als 16 GB ist. Führen Sie in diesem Fall die Datenbankwartung durch, um der Datenbankgröße.

Hinweise

Achtung:

• Machen Sie sich mit den Unterschieden zwischen die aktuelle Version von Airflow und die Version, auf die Sie ein Upgrade durchführen. Die neue Version kann verschiedene vorinstallierte Versionen enthalten Pakete, Patches von Cloud Composer oder Änderungen in Airflow die vom Open-Source-Projekt Airflow bereitgestellt werden. Sie können Versionen der Anbieterpakete prüfen, die in einer bestimmten Version.

• Prüfen Sie, ob Ihre DAGs mit der neuen Airflow-Version kompatibel sind und neue Versionen aller Anbieterpakete (einschließlich des Airflow-Anbieters) -Paket für Google Cloud und Google-Dienste). Nicht kompatible Änderungen können führen dazu, dass Ihre DAGs nicht mehr funktionieren.

• Anders als bei automatischen Infrastrukturupgrades wenn eine Umgebung auf eine neue Airflow-Version oder einen neuen Build aktualisiert wird, alle laufenden Aufgaben beendet werden. Nach Abschluss eines Upgrades wird Airflow plant, diese Aufgaben abhängig von der Konfiguration, die Sie konfigurieren, Wiederholungsversuche für Ihre DAGs.

• Wir empfehlen, einen neuen Snapshot des um die Umgebung neu erstellen zu können, falls das erforderlich ist.

• Ihr Konto muss eine Rolle haben, die ein Umgebungsupgrade auslösen kann Geschäftsabläufe. Darüber hinaus muss das Dienstkonto der Umgebung eine Rolle, die über die erforderlichen Berechtigungen zum Ausführen von Upgradevorgängen verfügt. Weitere Informationen finden Sie unter Zugriffssteuerung.

Umgebung auf dem neuesten Stand prüfen

Cloud Composer zeigt Warnungen an, wenn der Airflow-Build Ihrer Umgebung das Ende der Unterstützung erreicht hat. Mit diesen Warnungen können Sie unterstützt.

Abbildung 1: In der Umgebung wird eine Nachricht zur Einstellung angezeigt. Detailseite

Cloud Composer verfolgt die Airflow-Version und -Build auf der Ihre Umgebung basiert. Wenn sie sich dem Ende des Supports, sehen Sie in der Liste der Umgebungen Seite Umgebungsdetails.

Hinweis: Sie können Ihre Umgebung jederzeit aktualisieren, auch wenn die Airflow-Version und der Build der Umgebung der Unterstützungsphase überschritten haben.

So prüfen Sie, ob Ihre Umgebung auf dem neuesten Stand ist:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Im Feld Image-Version wird eine der folgenden Meldungen angezeigt:

   • Aktuelle verfügbare Version Ihr Umgebungs-Image wird vollständig unterstützt.

   • Neue Version verfügbar Ihr Umgebungs-Image wird vollständig unterstützt und Sie können ein Upgrade auf eine neuere Version ausführen.

   • Unterstützung für diese Image-Version endet in... Ihr Umgebungs-Image nähert sich dem Ende des vollständigen Supportzeitraums.

   • Diese Version wird ab dem nicht mehr unterstützt Ihre Umgebung hat den vollständigen Supportzeitraum überschritten.

gcloud

Diese Funktion ist nicht über die Google Cloud CLI verfügbar. Sie können Sehen Sie sich stattdessen die verfügbaren Upgrades an, die die neuen Versionen enthalten. die verfügbar sind.

API

Diese Funktion ist nicht über die API verfügbar. Sie können Sehen Sie sich stattdessen die verfügbaren Upgrades an, die die neuen Versionen enthalten. die verfügbar sind.

Verfügbare Upgrades ansehen

So lassen Sie eine Liste der Cloud Composer-Versionen anzeigen, auf die Sie ein Upgrade durchführen können:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf und klicken Sie auf Upgrade für Image-Version durchführen.

4. Klicken Sie auf den Cloud Composer, um die Liste der verfügbaren Versionen aufzurufen. Drop-down-Menü Image-Version.

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

Sie können sich die verfügbaren Versionen für einen Standort ansehen. Erstellen Sie dazu eine imageVersions.list API-Anfrage.

Beispiel:

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

Vor dem Upgrade auf PyPI-Paketkonflikte prüfen

Vorschau — Upgrade check

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Sie können prüfen, ob in Ihrer Umgebung installierte PyPI-Pakete mit vorinstallierten Paketen im neuen Airflow-Version oder -Build.

Eine erfolgreiche Prüfung bedeutet, dass keine Konflikte im PyPI-Paket vorliegen. Abhängigkeiten zwischen der aktuellen und der angegebenen Version. Eine ist möglicherweise aus anderen Gründen trotzdem nicht erfolgreich.

Console

So führen Sie eine Upgradeprüfung für Ihre Umgebung aus:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Wechseln Sie zum Tab Umgebungskonfiguration, suchen Sie den Eintrag Image-Version und klicken Sie auf Upgrade.

4. Gehen Sie im Dialogfeld Upgrade der Umgebungsversion in Drop-down-Menü Neue Version die Option eine Airflow-Version oder einen Airflow-Build auf das Sie umstellen möchten.

5. Klicken Sie im Abschnitt Kompatibilität von PyPI-Paketen auf Nach Konflikten suchen.

6. Warten Sie, bis die Prüfung abgeschlossen ist. Wenn PyPI-Paketabhängigkeitskonflikte auftreten, enthalten die angezeigten Fehlermeldungen Details zu in Konflikt stehenden Paketen und Paketversionen.

gcloud

Führen Sie den Befehl environments check-upgrade mit dem Befehl Airflow-Version oder -Build. auf das Sie umstellen möchten.

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• VERSION mit Die neue Airflow-Version und der neue Airflow-Build, die Sie aktualisieren möchten im Format airflow-x.y.z-build.t. Sie können auch alle Versionsaliasse.

Beispiel:

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.7.3-build.8

Beispielausgabe:

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.7.3-build.8. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

Alternativ können Sie eine Upgradeprüfung asynchron ausführen. Verwenden Sie das Argument --async, um einen asynchronen Aufruf auszuführen, und prüfen Sie dann das Ergebnis mit dem Befehl gcloud composer operations describe.

API

Erstellen Sie eine environments.checkUpgrade-API-Anfrage.

Geben Sie im Feld imageVersion die Image-Version an:

{
  "imageVersion": "VERSION"
}

Ersetzen Sie VERSION durch die neue Version, auf die Sie ein Upgrade ausführen möchten. composer-3-airflow-x.y.z-build.t-Format.

Upgrade für Ihre Umgebung ausführen

Achtung: Halten Sie alle DAGs an und warten Sie, bis die laufenden Aufgaben abgeschlossen sind. wird ausgeführt.

So führen Sie ein Upgrade Ihrer Umgebung durch: auf eine neue Version oder einen neuen Build von Airflow:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Suchen Sie das Element Image-Version und klicken Sie auf Upgrade.

5. Wählen Sie im Drop-down-Menü Image-Version die Option eine Airflow-Version oder einen Airflow-Build auf das Sie umstellen möchten.

6. Klicken Sie auf Upgrade.

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• VERSION mit Die neue Airflow-Version und der neue Airflow-Build, die Sie aktualisieren möchten im Format airflow-x.y.z-build.t. Sie können auch alle Versionsaliasse.

Beispiel:

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.7.3-build.8

API

1. Erstellen Sie eine API-Anfrage environments.patch.

2. In dieser Anfrage:

   1. Geben Sie im Parameter updateMask config.softwareConfig.imageVersion-Maske.

   2. Geben Sie im Anfragetext im Feld imageVersion eine neue auf die Sie upgraden möchten.

Beispiel:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.7.3-build.8"
      }
    }
  }

Terraform

Das Feld image_version im config.software_config-Block Einstellungen die Airflow-Version und den Build Ihrer Umgebung. In dieser eine neue Airflow-Version und einen neuen Build an.

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet. die neue Airflow-Version und den neuen Build, die Sie aktualisieren möchten an, im Format airflow-x.y.z-build.t. Sie können auch alle Versionsaliasse.

Beispiel:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.7.3-build.8"
    }
  }
}

Nächste Schritte

• Liste der Versionen
• Versionsverwaltung für Cloud Composer
• Umgebungen aktualisieren