Umgebungen aktualisieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.

Aktualisierungsvorgänge

Wenn Sie die Parameter Ihrer Umgebung ändern, z. B. neue Skalierungs- und Leistungsparameter angeben oder benutzerdefinierte PyPI-Pakete installieren, wird Ihre Umgebung aktualisiert.

Nach Abschluss dieses Vorgangs sind Änderungen in Ihrer Umgebung verfügbar.

Für eine einzelne Cloud Composer-Umgebung können Sie jeweils nur einen Aktualisierungsvorgang starten. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist, bevor Sie einen weiteren Umgebungsvorgang starten können.

Wichtig: Führen Sie kein Upgrade der GKE-Cluster Ihrer Cloud Composer-Umgebungen auf neuere GKE-Versionen durch. Verwenden Sie die beim Erstellen der Umgebung vorkonfigurierte GKE-Version und nutzen Sie automatische Upgrades, die vom GKE-Dienst ausgeführt werden.

So wirken sich Updates auf laufende Airflow-Aufgaben aus

Achtung :Während eines Aktualisierungsvorgangs werden alle laufenden Aufgaben beendet.

Wenn Sie einen Aktualisierungsvorgang ausführen, z. B. die Installation benutzerdefinierter PyPI-Pakete, werden alle Airflow-Planer und -Worker in Ihrer Umgebung neu gestartet und alle derzeit ausgeführten Aufgaben werden beendet. Nach Abschluss des Aktualisierungsvorgangs plant Airflow für diese Aufgaben einen Wiederholungsversuch, je nachdem, wie Sie Wiederholungsversuche für Ihre DAGs konfigurieren.

Mit Terraform aktualisieren

Warnung: Wenn Sie versuchen, einen Konfigurationsparameter zu ändern, der nicht aktualisiert werden kann, löscht Terraform Ihre Umgebung und erstellt eine neue mit dem neuen Parameterwert.

Führen Sie terraform plan vor terraform apply aus, um zu sehen, ob Terraform eine neue Umgebung erstellt, anstatt sie zu aktualisieren.

Hinweise

• Prüfen Sie, ob Ihr Konto, das Dienstkonto Ihrer Umgebung und das Cloud Composer-Dienst-Agent-Konto in Ihrem Projekt die erforderlichen Berechtigungen haben:

  • Ihr Konto muss eine Rolle haben, die Vorgänge zur Aktualisierung der Umgebung auslösen kann.

  • Das Dienstkonto Ihrer Umgebung muss eine Rolle haben, die ausreichende Berechtigungen zum Ausführen von Aktualisierungsvorgängen hat.

• Der Befehl gcloud composer environments update wird beendet, wenn der Vorgang abgeschlossen ist. Mit dem Flag --async können Sie nicht warten, bis der Vorgang abgeschlossen ist.

Umgebungen aktualisieren

Weitere Informationen zum Aktualisieren der Umgebung finden Sie auf anderen Dokumentationsseiten zu bestimmten Aktualisierungsvorgängen. Beispiel:

• Airflow-Konfigurationsoptionen überschreiben
• Umgebungsvariablen festlegen
• Python-Abhängigkeiten installieren
• Umgebungen skalieren
• Autorisierte Netzwerke konfigurieren

Umgebungsdetails ansehen

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen“

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

gcloud

Führen Sie folgenden Befehl gcloud aus:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.

API

Erstellen Sie eine API-Anfrage environments.get.

Beispiel:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Führen Sie den Befehl terraform state show für die Ressource Ihrer Umgebung aus.

Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen Ihrer Umgebung unterscheiden.

terraform state show google_composer_environment.RESOURCE_NAME

Ersetzen Sie:

• RESOURCE_NAME durch den Namen der Ressource Ihrer Umgebung.

Rollback für Aktualisierungsänderungen durchführen

In einigen seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund einer Zeitüberschreitung) und die angeforderten Änderungen möglicherweise nicht in allen Umgebungskomponenten (z. B. im Airflow-Webserver) zurückgesetzt werden.

Bei einem Aktualisierungsvorgang können beispielsweise zusätzliche PyPI-Module installiert oder entfernt, eine neue Airflow- oder Cloud Composer-Umgebungsvariable neu definiert oder definiert oder einige Airflow-bezogene Parameter geändert werden.

Das kann vorkommen, wenn ein Aktualisierungsvorgang ausgelöst wird, während andere Vorgänge ausgeführt werden, z. B. das Autoscaling des Cloud Composer-Clusters oder ein Wartungsvorgang.

In einer solchen Situation empfiehlt es sich, den Vorgang zu wiederholen.

Dauer von Aktualisierungs- oder Upgradevorgängen

Die meisten Aktualisierungs- oder Upgradevorgänge erfordern einen Neustart von Airflow-Komponenten wie Airflow-Planern, -Workern und -Webservern.

Nachdem eine Komponente neu gestartet wurde, muss sie initialisiert werden. Während der Initialisierung laden Airflow-Planer und -Worker den Inhalt der Ordner /dags und /plugins aus dem Bucket der Umgebung herunter. Die Synchronisierung von Dateien mit Airflow-Planern und -Workern erfolgt nicht sofort und hängt von der Gesamtgröße und Anzahl aller Objekte in diesen Ordnern ab.

Wir empfehlen, nur DAG- und Plug-in-Dateien in den Ordnern /dags bzw. /plugins aufzubewahren und alle anderen Dateien zu entfernen. Zu viele Daten in den Ordnern /dags und /plugins können die Initialisierung von Airflow-Komponenten verlangsamen und in bestimmten Fällen dazu führen, dass sie nicht möglich ist.

Wir empfehlen, weniger als 30 MB an Daten in den Ordnern /dags und /plugins aufzubewahren und auf keinen Fall die Größe von 100 MB zu überschreiten.

Weitere Informationen finden Sie auch unter:

• In Cloud Storage gespeicherte Daten

• Große Anzahl von DAGs und Plug-ins verarbeiten

Upgrade für den Maschinentyp für GKE-Knoten durchführen

Sie können den Maschinentyp für den GKE-Cluster Ihrer Umgebung manuell aktualisieren. Dazu löschen Sie die vorhandene default-pool und erstellen eine neue default-pool mit dem gewünschten Maschinentyp.

Es wird empfohlen, beim Erstellen einer Umgebung einen passenden Maschinentyp für die jeweilige Verarbeitung in der Cloud Composer-Umgebung anzugeben.

Wenn Sie Jobs für ressourcenintensive Berechnungen ausführen, können Sie GKE-Operatoren verwenden.

Achtung: Die Ausführung Ihrer DAGs kann während des Upgrades unterbrochen werden. Halten Sie vor dem Upgrade alle DAGs an und warten Sie, bis die laufenden Aufgaben abgeschlossen sind.

Nach einem Upgrade ist der vorherige Maschinentyp weiterhin in den Details Ihrer Umgebung aufgeführt. Beispielsweise wird auf der Seite „Umgebungsdetails“ nicht der neue Maschinentyp angezeigt.

Console

So aktualisieren Sie den Maschinentyp:

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen“

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie Informationen zum Standardknotenpool ab:

   1. Rufen Sie den Tab Umgebungskonfiguration auf.

   2. Klicken Sie auf den Link Clusterdetails ansehen.

   3. Klicken Sie auf der Seite Cluster im Abschnitt Knoten auf default-pool.

   4. Notieren Sie sich alle Informationen für default-pool auf der Seite mit den Knotenpooldetails. Mit diesen Informationen erstellen Sie einen neuen Standardknotenpool für Ihre Umgebung.

4. So löschen Sie den default-pool:

   1. Klicken Sie auf der Seite Knotenpooldetails auf den Zurückpfeil, um zur Seite Cluster für Ihre Umgebung zurückzukehren.

   2. Klicken Sie im Abschnitt Knotenpools auf das Papierkorbsymbol für den Standardpool. Klicken Sie dann auf Löschen, um den Vorgang zu bestätigen.

5. So erstellen Sie den neuen default-pool:

   Achtung: Verwenden Sie dasselbe Dienstkonto, mit dem die Cloud Composer-Umgebung ausgeführt wird. Wenn Sie ein benutzerdefiniertes Dienstkonto verwenden und Zugriffsbereiche nutzen, müssen Sie mit der gcloud CLI einen neuen Pool mit den richtigen Bereichen erstellen. Folgen Sie dazu der Anleitung auf der Seite Knotenpools hinzufügen und verwalten. Geben Sie Zugriffsbereiche mit dem Parameter --scopes an.

   1. Klicken Sie auf der Seite Cluster auf Knotenpool hinzufügen.

   2. Geben Sie als Name default-pool ein. Sie müssen den Namen default-pool verwenden, damit Workflows in Ihrer Umgebung in diesem Pool ausgeführt werden können.

   3. Geben Sie die Einstellungen für Größe und Knoten ein.

   4. (Nur für Compute Engine-Standarddienstkonten) Wählen Sie für Zugriffsbereiche die Option Uneingeschränkten Zugriff auf alle Cloud APIs zulassen aus.

   5. Klicken Sie auf Speichern.

6. Wenn Sie feststellen, dass die Arbeitslasten ungleichmäßig verteilt sind, skalieren Sie die Bereitstellung von Airflow-Worker auf null und dann wieder hoch.

Nächste Schritte

• Upgrades für Umgebungen ausführen
• Airflow-Konfigurationsoptionen überschreiben