Umgebungen aktualisieren

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.

Aktualisierungsvorgänge

Wenn Sie Parameter Ihrer Umgebung ändern, z. B. neue Skalierungs- und Leistungsparameter angeben oder benutzerdefinierte PyPI-Pakete installieren, wird Ihre Umgebung aktualisiert.

Nach Abschluss dieses Vorgangs sind die Änderungen in Ihrer Umgebung verfügbar.

Für eine einzelne Cloud Composer-Umgebung können Sie jeweils nur einen Aktualisierungsvorgang starten. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist, bevor Sie einen weiteren Umgebungsvorgang starten.

Wichtig :Führen Sie kein Upgrade der GKE-Cluster Ihrer Cloud Composer-Umgebungen auf neuere GKE-Versionen durch. Verwenden Sie die GKE-Version, die bei der Erstellung der Umgebung vorkonfiguriert wurde, und verlassen Sie sich auf die automatischen Upgrades des GKE-Dienstes.

CPU-Limits für Trigger

Cloud Composer 2.4.4 führt einen anderen Ansatz zur Leistungsskalierung für die Komponente Airflow-Trigger ein, der für alle Cloud Composer 2-Versionen gilt.

Vor Version 2.4.4 konnten Cloud Composer-Umgebungen maximal einen oder zwei Auslöser verwenden. Nach der Änderung können Sie bis zu 10 Trigger pro Umgebung haben, aber jeder Trigger ist auf maximal eine vCPU beschränkt.

Umgebungsaktualisierungen schlagen fehl, wenn für Ihre Umgebung mehr als eine vCPU pro Auslöser konfiguriert ist. Sie müssen die Konfiguration so anpassen, dass das Limit von einer vCPU eingehalten wird, um Updates für andere Komponenten auszuführen.

Weitere Informationen finden Sie unter:

• Trigger-Ressourcenzuweisung konfigurieren
• Anzahl der Auslöser anpassen
• Fehlerbehebung beim Upgrade einer Umgebung – CPU des Triggers überschritten

Auswirkungen von Updates auf laufende Airflow-Aufgaben

Achtung :Bei einigen Aktualisierungsvorgängen werden alle laufenden Aufgaben beendet.

Wenn Sie einen Updatevorgang ausführen, müssen die Airflow-Planer und ‑Worker in Ihrer Umgebung möglicherweise neu gestartet werden. In diesem Fall werden alle derzeit laufenden Aufgaben beendet. Nach Abschluss des Aktualisierungsvorgangs plant Airflow je nach Konfiguration der Wiederholungen für Ihre DAGs einen erneuten Versuch für diese Aufgaben.

Hinweis: Airflow-Arbeiter können im Rahmen der Wartung der Umgebung während der Wartungsfenster neu gestartet werden.

Die folgenden Änderungen führen zur Beendigung von Airflow-Aufgaben:

• Upgrade der Umgebung auf eine neue Version
• Benutzerdefinierte PyPI-Pakete hinzufügen, ändern oder löschen
• Cloud Composer-Umgebungsvariablen ändern
• Überschreibungen von Airflow-Konfigurationsoptionen hinzufügen oder entfernen oder ihre Werte ändern.
• CPU, Arbeitsspeicher oder Speicherplatz von Airflow-Workern ändern
• Die maximale Anzahl von Airflow-Workern wird reduziert, wenn der neue Wert niedriger als die Anzahl der aktuell ausgeführten Worker ist. Beispiel: In einer Umgebung werden derzeit drei Worker ausgeführt und die maximale Anzahl wird auf zwei reduziert.
• Ausfallsicherheitsmodus der Umgebung ändern

Die folgenden Änderungen führen nicht zur Beendigung von Airflow-Aufgaben:

• Erstellen, Aktualisieren oder Löschen einer DAG (kein Aktualisierungsvorgang)
• DAGs anhalten oder pausieren (kein Aktualisierungsvorgang)
• Ändern von Airflow-Variablen (kein Aktualisierungsvorgang)
• Airflow-Verbindungen ändern (kein Aktualisierungsvorgang)
• Aktivieren oder Deaktivieren der Einbindung von Dataplex Data Lineage
• Größe der Umgebung ändern
• Anzahl der Planer ändern
• CPU, Arbeitsspeicher oder Speicherplatz der Airflow-Planer ändern
• Anzahl der Trigger ändern
• CPU, Arbeitsspeicher oder Speicherplatz von Airflow-Triggern ändern
• CPU, Arbeitsspeicher oder Speicher des Airflow-Webservers ändern
• Mindestanzahl der Worker erhöhen oder verringern
• Reduzieren Sie die maximale Anzahl von Airflow-Workern. Beispiel: In einer Umgebung werden derzeit zwei Worker ausgeführt und die maximale Anzahl wird auf drei reduziert.
• Wartungsfenster ändern
• Einstellungen für geplante Snapshots ändern
• Umgebungslabels ändern

Mit Terraform aktualisieren

Warnung: Wenn Sie versuchen, einen Konfigurationsparameter zu ändern, der nicht aktualisiert werden kann, löscht Terraform Ihre Umgebung und erstellt eine neue mit dem neuen Parameterwert.

Führen Sie terraform plan vor terraform apply aus, um zu prüfen, ob Terraform eine neue Umgebung erstellt, anstatt sie zu aktualisieren.

Hinweis

• Prüfen Sie, ob Ihr Konto, das Dienstkonto Ihrer Umgebung und das Cloud Composer-Dienst-Agent-Konto in Ihrem Projekt die erforderlichen Berechtigungen haben:

  • Ihr Konto muss eine Rolle haben, die Umgebungsaktualisierungsvorgänge auslösen kann.

  • Das Dienstkonto Ihrer Umgebung muss eine Rolle mit ausreichenden Berechtigungen zum Ausführen von Aktualisierungsvorgängen haben.

  • Das Cloud Composer-Dienst-Agent-Konto muss Berechtigungen zum Erstellen von Bindungen zwischen dem Dienstkonto Ihrer Umgebung und dem Kubernetes-Dienstkonto des Clusters Ihrer Umgebung haben.

• Der Befehl gcloud composer environments update wird beendet, wenn der Vorgang abgeschlossen ist. Mit dem Flag --async können Sie vermeiden, dass Sie auf den Abschluss des Vorgangs warten müssen.

Umgebungen aktualisieren

Weitere Informationen zum Aktualisieren Ihrer Umgebung finden Sie auf anderen Dokumentationsseiten zu bestimmten Aktualisierungsvorgängen. Beispiel:

• Airflow-Konfigurationsoptionen überschreiben
• Umgebungsvariablen festlegen
• Python-Abhängigkeiten installieren
• Umgebungen skalieren
• Autorisierte Netzwerke konfigurieren
• Umgebungen auf hohe Ausfallsicherheit umstellen

Umgebungsdetails ansehen

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

gcloud

Führen Sie folgenden Befehl gcloud aus:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.

API

Erstellen Sie eine API-Anfrage environments.get.

Beispiel:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Führen Sie den Befehl terraform state show für die Ressource Ihrer Umgebung aus.

Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen Ihrer Umgebung unterscheiden.

terraform state show google_composer_environment.RESOURCE_NAME

Ersetzen Sie:

• RESOURCE_NAME durch den Namen der Ressource Ihrer Umgebung.

Änderungen durch Updates rückgängig machen

In seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund eines Zeitlimits) und die angeforderten Änderungen werden möglicherweise nicht in allen Umgebungskomponenten (z. B. dem Airflow-Webserver) rückgängig gemacht.

Ein Update kann beispielsweise das Installieren oder Entfernen zusätzlicher PyPI-Module, das Neudefinieren oder Definieren einer neuen Airflow- oder Cloud Composer-Umgebungsvariablen oder das Ändern einiger Airflow-Parameter umfassen.

Dies kann passieren, wenn ein Aktualisierungsvorgang ausgelöst wird, während andere Vorgänge ausgeführt werden, z. B. die automatische Skalierung des Cloud Composer-Clusters oder ein Wartungsvorgang.

In diesem Fall empfehlen wir, den Vorgang zu wiederholen.

Dauer von Aktualisierungs- oder Upgrade-Vorgängen

Die meisten Aktualisierungs- oder Upgradevorgänge erfordern einen Neustart von Airflow-Komponenten wie Airflow-Planern, ‑Workern und ‑Webservern.

Nach dem Neustart einer Komponente muss sie initialisiert werden. Während der Initialisierung laden Airflow-Planer und ‑Worker den Inhalt der Ordner /dags und /plugins aus dem Bucket der Umgebung herunter. Die Synchronisierung von Dateien mit Airflow-Planern und ‑Workern erfolgt nicht sofort und hängt von der Gesamtgröße und der Anzahl aller Objekte in diesen Ordnern ab.

Wir empfehlen, nur DAG- und Plug-in-Dateien in den Ordnern /dags und /plugins zu speichern und alle anderen Dateien zu entfernen. Zu viele Daten in den Ordnern /dags und /plugins können die Initialisierung von Airflow-Komponenten verlangsamen und in bestimmten Fällen sogar verhindern.

Wir empfehlen, in den Ordnern /dags und /plugins weniger als 30 MB an Daten zu speichern und die Datengröße auf keinen Fall 100 MB zu überschreiten.

Weitere Informationen finden Sie unter:

• In Cloud Storage gespeicherte Daten

• Große Anzahl von DAGs und Plug-ins verarbeiten

Nächste Schritte

• Umgebungen upgraden
• Airflow-Konfigurationsoptionen überschreiben