Umgebungen aktualisieren

Cloud Composer 1 Cloud Composer 2

Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.

Updatevorgänge

Wenn Sie Parameter Ihrer Umgebung ändern und beispielsweise neue Skalierungs- und Leistungsparameter festlegen oder benutzerdefinierte PyPI-Pakete installieren, wird Ihre Umgebung aktualisiert.

Nach Abschluss dieses Vorgangs sind Änderungen in Ihrer Umgebung verfügbar.

Für eine einzelne Cloud Composer-Umgebung können Sie jeweils nur einen Aktualisierungsvorgang starten. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist, bevor Sie einen weiteren Umgebungsvorgang starten können.

Trigger-CPU-Limits

Cloud Composer in Version 2.4.4 bietet einen anderen Ansatz zur Leistungsskalierung für die Airflow-Triggerer-Komponente, der für alle Cloud Composer 2-Versionen gilt.

Vor Version 2.4.4 konnten Cloud Composer-Umgebungen maximal einen oder zwei Trigger verwenden. Nach der Änderung sind bis zu 10 Trigger pro Umgebung möglich, wobei jeder Trigger auf maximal 1 vCPU beschränkt ist.

Umgebungsaktualisierungen schlagen fehl, wenn Ihre Umgebung mit mehr als einer vCPU pro Trigger konfiguriert ist. Sie müssen die Konfiguration so anpassen, dass das Limit von 1 vCPU erreicht ist, um Aktualisierungen für andere Komponenten ausführen zu können.

Weitere Informationen finden Sie unter:

Auswirkungen von Aktualisierungen auf laufende Airflow-Aufgaben

Wenn Sie einen Aktualisierungsvorgang ausführen, z. B. benutzerdefinierte PyPI-Pakete installieren, werden alle Airflow-Planer und -Worker in Ihrer Umgebung neu gestartet und alle derzeit ausgeführten Aufgaben werden beendet. Nach Abschluss des Aktualisierungsvorgangs plant Airflow diese Aufgaben für einen Wiederholungsvorgang, je nachdem, wie Sie Wiederholungsversuche für Ihre DAGs konfigurieren.

Mit Terraform aktualisieren

Führen Sie terraform plan vor dem terraform apply aus, um festzustellen, ob Terraform eine neue Umgebung erstellt, anstatt sie zu aktualisieren.

Hinweise

Umgebungen aktualisieren

Weitere Informationen zum Aktualisieren Ihrer Umgebung finden Sie auf anderen Dokumentationsseiten zu bestimmten Aktualisierungsvorgängen. Beispiel:

Umgebungsdetails ansehen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen“

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

gcloud

Führen Sie folgenden Befehl gcloud aus:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.

API

Erstellen Sie eine API-Anfrage environments.get.

Beispiel:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Führen Sie den Befehl terraform state show für die Ressource Ihrer Umgebung aus.

Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen Ihrer Umgebung unterscheiden.

terraform state show google_composer_environment.RESOURCE_NAME

Ersetzen Sie:

  • RESOURCE_NAME durch den Namen der Ressource Ihrer Umgebung.

Rollback von Updateänderungen durchführen

In seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund einer Zeitüberschreitung) und die angeforderten Änderungen werden möglicherweise nicht in allen Umgebungskomponenten (z. B. dem Airflow-Webserver) rückgängig gemacht.

Ein Aktualisierungsvorgang kann beispielsweise das Installieren oder Entfernen zusätzlicher PyPI-Module, das Neudefinieren oder Definieren einer neuen Airflow- oder Cloud Composer-Umgebungsvariablen oder das Ändern einiger Airflow-bezogener Parameter umfassen.

Eine solche Situation kann eintreten, wenn ein Aktualisierungsvorgang ausgelöst wird, während andere Vorgänge ausgeführt werden, z. B. das Autoscaling des Cloud Composer-Clusters oder ein Wartungsvorgang.

In diesem Fall wird empfohlen, den Vorgang zu wiederholen.

Dauer von Update- oder Upgradevorgängen

Für die meisten Aktualisierungs- oder Upgradevorgänge ist ein Neustart von Airflow-Komponenten wie Airflow-Planern, Workern und Webservern erforderlich.

Sobald eine Komponente neu gestartet wurde, muss sie initialisiert werden. Während der Initialisierung laden Airflow-Planer und -Worker den Inhalt der Ordner /dags und /plugins aus dem Bucket der Umgebung herunter. Die Synchronisierung von Dateien mit Airflow-Planern und -Workern erfolgt nicht sofort und hängt von der Gesamtgröße und Anzahl aller Objekte in diesen Ordnern ab.

Wir empfehlen, nur DAG- und Plug-in-Dateien in den Ordnern /dags bzw. /plugins zu belassen und alle anderen Dateien zu entfernen. Zu viele Daten in den Ordnern /dags und /plugins können die Initialisierung der Airflow-Komponenten verlangsamen und in bestimmten Fällen die Initialisierung nicht möglich machen.

Wir empfehlen, weniger als 30 MB Daten in den Ordnern „/dags“ und „/plugins“ zu speichern und auf keinen Fall 100 MB zu überschreiten.

Weitere Informationen finden Sie unter:

Nächste Schritte