Umgebungen aktualisieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.

Aktualisierungsvorgänge

Wenn Sie Parameter Ihrer Umgebung ändern, z. B. neue Skalierungs- und Leistungsparameter angeben oder benutzerdefinierte PyPI-Pakete installieren, wird Ihre Umgebung aktualisiert.

Nach Abschluss dieses Vorgangs sind die Änderungen in der zu verbessern.

Für eine einzelne Cloud Composer-Umgebung kann jeweils nur ein Aktualisierungsvorgang gestartet werden. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist, bevor Sie einen weiteren Umgebungsvorgang starten.

So wirken sich Updates auf laufende Airflow-Aufgaben aus

Wenn Sie einen Aktualisierungsvorgang ausführen, müssen die Airflow-Planer und ‑Worker in Ihrer Umgebung möglicherweise neu gestartet werden. In diesem Fall sind alle derzeit ausgeführte Aufgaben beendet werden. Nach Abschluss des Aktualisierungsvorgangs plant Airflow je nach Konfiguration der Wiederholungen für Ihre DAGs einen erneuten Versuch für diese Aufgaben.

Die folgenden Änderungen führen zur Beendigung von Airflow-Aufgaben:

  • Upgrade Ihrer Umgebung auf eine neue Version wird durchgeführt.
  • Benutzerdefinierte PyPI-Pakete hinzufügen, ändern oder löschen
  • Cloud Composer-Umgebungsvariablen ändern
  • Überschreibungen von Airflow-Konfigurationsoptionen hinzufügen oder entfernen oder ihre Werte ändern
  • Airflow-Worker ändern CPU, Arbeitsspeicher oder Speicher.
  • Die maximale Anzahl der Airflow-Worker wird reduziert, wenn der neue Wert niedriger ist als die Anzahl der aktuell ausgeführten Worker. Wenn beispielsweise ein In der Umgebung werden derzeit drei Worker ausgeführt und das Maximum wird auf zwei reduziert.
  • Ausfallsicherheitsmodus der Umgebung ändern

Die folgenden Änderungen führen nicht dazu, dass Airflow-Aufgaben beendet werden:

  • Erstellen, Aktualisieren oder Löschen einer DAG (kein Aktualisierungsvorgang)
  • DAGs anhalten oder pausieren (kein Aktualisierungsvorgang)
  • Airflow-Variablen ändern (kein Aktualisierungsvorgang).
  • Airflow-Verbindungen ändern (kein Aktualisierungsvorgang).
  • Dataplex Data Lineage-Integration aktivieren oder deaktivieren
  • Größe der Umgebung ändern
  • Anzahl der Planer ändern
  • Airflow-Planer ändern CPU, Arbeitsspeicher oder Speicher.
  • Anzahl der Trigger ändern
  • Airflow-Triggerer ändern CPU, Arbeitsspeicher oder Speicher.
  • CPU, Arbeitsspeicher oder Speicher des Airflow-Webservers ändern
  • Mindestanzahl von Workern erhöhen oder verringern
  • Maximale Anzahl von Airflow-Workern reduzieren. Beispiel: In einer Umgebung werden derzeit zwei Worker ausgeführt und die maximale Anzahl wird auf drei reduziert.
  • Wartungsfenster ändern
  • Einstellungen für geplante Snapshots ändern
  • Umgebungslabels ändern

Mit Terraform aktualisieren

Führen Sie terraform plan vor terraform apply aus, um zu sehen, ob Terraform eine neue anstatt sie zu aktualisieren.

Hinweise

Umgebungen aktualisieren

Weitere Informationen zum Aktualisieren Ihrer Umgebung finden Sie auf anderen Dokumentationsseiten zu bestimmten Aktualisierungsvorgängen. Beispiel:

Umgebungsdetails ansehen

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

gcloud

Führen Sie folgenden Befehl gcloud aus:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

Ersetzen Sie:

  • ENVIRONMENT_NAME durch den Namen der Umgebung.
  • LOCATION durch die Region, in der sich die Umgebung befindet.

API

Erstellen Sie eine API-Anfrage environments.get.

Beispiel:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

Führen Sie den Befehl terraform state show für die Ressource Ihrer Umgebung aus.

Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen Ihrer Umgebung unterscheiden.

terraform state show google_composer_environment.RESOURCE_NAME

Ersetzen Sie:

  • RESOURCE_NAME durch den Namen der Ressource Ihrer Umgebung.

Änderungen durch Updates rückgängig machen

In seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund eines Zeitlimits) und die angeforderten Änderungen werden möglicherweise nicht in allen Umgebungskomponenten (z. B. dem Airflow-Webserver) rückgängig gemacht.

Beispielsweise können durch einen Aktualisierungsvorgang zusätzliche PyPI-Module, um einen neuen Airflow oder Cloud Composer neu zu definieren oder zu definieren oder einige Airflow-bezogene Parameter ändern.

Eine solche Situation kann auftreten, wenn ein Aktualisierungsvorgang ausgelöst wird, wenn andere ausgeführte Vorgänge, z. B. ein Autoscaling oder einen Wartungsvorgang.

In einer solchen Situation empfiehlt es sich, den Vorgang zu wiederholen.

Dauer von Aktualisierungs- oder Upgrade-Vorgängen

Die meisten Aktualisierungs- oder Upgradevorgänge erfordern einen Neustart von Airflow-Komponenten wie Airflow-Planern, ‑Workern und ‑Webservern.

Nachdem eine Komponente neu gestartet wurde, muss sie initialisiert werden. Während der Initialisierung laden Airflow-Planer und -Worker den Inhalt der Ordner /dags und /plugins aus dem Bucket der Umgebung herunter. Die Synchronisierung von Dateien mit Airflow-Planern und ‑Workern erfolgt nicht sofort und hängt von der Gesamtgröße und der Anzahl aller Objekte in diesen Ordnern ab.

Wir empfehlen, nur DAG- und Plug-in-Dateien in /dags und /plugins beizubehalten. und entfernen Sie alle anderen Dateien. Zu viele Daten in den Ordnern /dags und /plugins können die Initialisierung von Airflow-Komponenten verlangsamen und in bestimmten Fällen sogar verhindern.

Wir empfehlen, in den Ordnern /dags und /plugins weniger als 30 MB an Daten zu speichern und die Datengröße auf keinen Fall auf 100 MB zu erhöhen.

Weitere Informationen finden Sie auch unter:

Upgrade für den Maschinentyp für GKE-Knoten durchführen

Sie können den Maschinentyp für die GKE-Cluster durch Löschen der vorhandenen default-pool und Erstellen einer neuen default-pool mit dem gewünschten Maschinentyp

Wir empfehlen Ihnen, beim Erstellen einer Umgebung einen geeigneten Maschinentyp für die Art von Computing anzugeben, die in Ihrer Cloud Composer-Umgebung ausgeführt wird.

Wenn Sie Jobs ausführen, die ressourcenintensive Berechnungen durchführen, GKE-Operatoren verwenden möchten.

Nach einem Upgrade ist der vorherige Maschinentyp weiterhin in den Details Ihrer Umgebung aufgeführt. Beispielsweise wird auf der Seite „Umgebungsdetails“ nicht der neue Maschinentyp angezeigt.

Console

So aktualisieren Sie den Maschinentyp:

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie Informationen zum Standardknotenpool ab:

    1. Rufen Sie den Tab Umgebungskonfiguration auf.

    2. Klicken Sie auf den Link Clusterdetails ansehen.

    3. Klicken Sie auf der Seite Cluster im Abschnitt Knoten auf default-pool.

    4. Notieren Sie sich die Informationen zu default-pool in den Knotenpooldetails. Seite. Mit diesen Informationen erstellen Sie einen neuen Standardknotenpool für Ihre Umgebung.

  4. So löschen Sie den default-pool:

    1. Klicken Sie auf der Seite Knotenpooldetails auf den Zurückpfeil, um zur Seite Cluster für Ihre Umgebung zurückzukehren.

    2. Klicken Sie im Abschnitt Knotenpools auf das Papierkorbsymbol für den Standardpool. Klicken Sie dann auf Löschen, um den Vorgang zu bestätigen.

  5. So erstellen Sie den neuen default-pool:

    1. Klicken Sie auf der Seite Cluster auf Knotenpool hinzufügen.

    2. Geben Sie als Name default-pool ein. Sie müssen den Namen default-pool verwenden, damit Workflows in Ihrer Umgebung in diesem Pool ausgeführt werden können.

    3. Geben Sie die Einstellungen für Größe und Knoten ein.

    4. (Nur für Compute Engine-Standarddienstkonten) Wählen Sie die Option Uneingeschränkten Zugriff auf alle Cloud APIs zulassen als Zugriffsbereich aus.

    5. Klicken Sie auf Speichern.

  6. Wenn die Arbeitslasten ungleichmäßig verteilt sind, herunterskalieren die Bereitstellung von Airflow-Workern auf null und dann wieder hochskalieren.

Nächste Schritte