Cloud Composer 1 Cloud Composer 2
Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.
Updatevorgänge
Wenn Sie Parameter Ihrer Umgebung ändern, z. B. neue Skalierungs- und Leistungsparameter angeben oder benutzerdefinierte PyPI-Pakete installieren, wird Ihre Umgebung aktualisiert.
Nach Abschluss dieses Vorgangs sind Änderungen in Ihrer Umgebung verfügbar.
Für eine einzelne Cloud Composer-Umgebung können Sie jeweils nur einen Aktualisierungsvorgang starten. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist, bevor Sie einen weiteren Umgebungsvorgang starten.
Auswirkungen von Updates auf laufende Airflow-Tasks
Wenn Sie einen Aktualisierungsvorgang ausführen, z. B. benutzerdefinierte PyPI-Pakete installieren, werden alle Airflow-Planer und -Worker in Ihrer Umgebung neu gestartet und alle derzeit ausgeführten Aufgaben werden beendet. Nach Abschluss des Aktualisierungsvorgangs plant Airflow diese Aufgaben für einen Wiederholungsversuch, je nachdem, wie Sie Wiederholungsversuche für Ihre DAGs konfigurieren.
Mit Terraform aktualisieren
Führen Sie terraform plan
vor terraform apply
aus, um festzustellen, ob Terraform eine neue Umgebung erstellt, anstatt sie zu aktualisieren.
Hinweise
Prüfen Sie, ob Ihr Konto, das Dienstkonto Ihrer Umgebung und das Konto des Cloud Composer-Dienst-Agents in Ihrem Projekt die erforderlichen Berechtigungen haben:
Ihr Konto muss eine Rolle haben, die Aktualisierungsvorgänge für die Umgebung auslösen kann.
Das Dienstkonto Ihrer Umgebung muss eine Rolle mit genügend Berechtigungen zum Ausführen von Aktualisierungsvorgängen haben.
Der Befehl
gcloud composer environments update
wird beendet, wenn der Vorgang abgeschlossen ist. Mit dem Flag--async
können Sie nicht auf den Abschluss des Vorgangs warten.
Umgebungen aktualisieren
Weitere Informationen zum Aktualisieren Ihrer Umgebung finden Sie auf anderen Dokumentationsseiten zu bestimmten Aktualisierungsvorgängen. Beispiel:
- Airflow-Konfigurationsoptionen überschreiben
- Umgebungsvariablen festlegen
- Python-Abhängigkeiten installieren
- Umgebungen skalieren
- Autorisierte Netzwerke konfigurieren
Umgebungsdetails ansehen
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
gcloud
Führen Sie folgenden Befehl gcloud
aus:
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.
API
Erstellen Sie eine API-Anfrage environments.get
.
Beispiel:
GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment
Terraform
Führen Sie den Befehl terraform state show
für die Ressource Ihrer Umgebung aus.
Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen Ihrer Umgebung unterscheiden.
terraform state show google_composer_environment.RESOURCE_NAME
Ersetzen Sie:
RESOURCE_NAME
durch den Namen der Ressource Ihrer Umgebung.
Rollback der Aktualisierungsänderungen durchführen
In einigen seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund einer Zeitüberschreitung) und die angeforderten Änderungen werden möglicherweise nicht in allen Umgebungskomponenten (z. B. dem Airflow-Webserver) rückgängig gemacht.
Bei einem Aktualisierungsvorgang können beispielsweise zusätzliche PyPI-Module installiert oder entfernt, eine neue Airflow- oder Cloud Composer-Umgebungsvariable neu definiert oder definiert oder einige Airflow-bezogene Parameter geändert werden.
Eine solche Situation kann auftreten, wenn ein Aktualisierungsvorgang ausgelöst wird, während andere Vorgänge ausgeführt werden, z. B. die automatische Skalierung des Cloud Composer-Clusters oder ein Wartungsvorgang.
In diesem Fall empfiehlt es sich, den Vorgang zu wiederholen.
Dauer von Aktualisierungs- oder Upgradevorgängen
Für die meisten Update- oder Upgradevorgänge sind ein Neustart von Airflow-Komponenten wie Airflow-Planern, Workern und Webservern erforderlich.
Sobald eine Komponente neu gestartet wurde, muss sie initialisiert werden. Während der Initialisierung laden Airflow-Planer und -Worker den Inhalt der Ordner /dags
und /plugins
aus dem Umgebungs-Bucket herunter. Die Synchronisierung von Dateien mit Airflow-Planern und -Workern erfolgt nicht sofort und hängt von der Gesamtgröße und Anzahl aller Objekte in diesen Ordnern ab.
Wir empfehlen, nur DAG- und Plug-in-Dateien in den Ordnern /dags
bzw. /plugins
zu belassen und alle anderen Dateien zu entfernen. Zu viele Daten in den Ordnern /dags
und /plugins
können die Initialisierung von Airflow-Komponenten verlangsamen und in bestimmten Fällen die Initialisierung nicht möglich machen.
Wir empfehlen, weniger als 30 MB Daten in den Ordnern „/dags
“ und „/plugins
“ zu speichern und auf jeden Fall nicht mehr als 100 MB an Daten zu speichern.
Weitere Informationen finden Sie auch unter:
Upgrade für den Maschinentyp für GKE-Knoten durchführen
Sie können den Maschinentyp für den GKE-Cluster Ihrer Umgebung manuell aktualisieren. Löschen Sie dazu den vorhandenen default-pool
und erstellen Sie einen neuen default-pool
mit dem gewünschten Maschinentyp.
Wir empfehlen, beim Erstellen einer Umgebung einen geeigneten Maschinentyp für die Computing-Art in Ihrer Cloud Composer-Umgebung anzugeben.
Wenn Sie Jobs ausführen, die ressourcenintensive Berechnungen durchführen, sollten Sie GKE-Operatoren verwenden.
Nach einem Upgrade wird der vorherige Maschinentyp weiterhin in den Details Ihrer Umgebung aufgeführt. Beispielsweise zeigt die Seite „Umgebungsdetails“ nicht den neuen Maschinentyp an.
Console
So aktualisieren Sie den Maschinentyp:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
Rufen Sie Informationen zum Standardknotenpool ab:
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie auf den Link Clusterdetails ansehen.
Klicken Sie auf der Seite Cluster im Abschnitt Knoten auf Standardpool.
Notieren Sie sich alle Informationen für default-pool auf der Detailseite des Knotenpools. Anhand dieser Informationen erstellen Sie einen neuen Standardknotenpool für Ihre Umgebung.
So löschen Sie default-pool:
Klicken Sie auf der Seite Knotenpooldetails auf den Zurückpfeil, um zur Seite Cluster für Ihre Umgebung zurückzukehren.
Klicken Sie im Abschnitt Knotenpools auf das Papierkorbsymbol für default-pool. Klicken Sie dann auf Löschen, um den Vorgang zu bestätigen.
So erstellen Sie den neuen default-pool:
Klicken Sie auf der Seite Cluster auf Knotenpool hinzufügen.
Geben Sie als Name
default-pool
ein. Sie müssen den Namendefault-pool
verwenden, damit Workflows in Ihrer Umgebung in diesem Pool ausgeführt werden können.Geben Sie die Einstellungen für Größe und Knoten ein.
(Nur für Compute Engine-Standarddienstkonten) Wählen Sie für Zugriffsbereiche die Option Uneingeschränkten Zugriff auf alle Cloud APIs zulassen aus.
Klicken Sie auf Speichern.
Wenn Sie feststellen, dass Arbeitslasten ungleichmäßig verteilt sind, skalieren Sie das Deployment von Airflow-Worker auf null und dann wieder hoch.