Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.
Updatevorgänge
Wenn Sie die Parameter der Umgebung ändern, z. B. eine neue Skalierung festlegen Leistungsparameter oder die Installation benutzerdefinierter PyPI-Pakete, Aktualisierungen der Umgebung.
Nach Abschluss dieses Vorgangs sind die Änderungen in der zu verbessern.
Sie können für eine einzelne Cloud Composer-Umgebung nur eine starten gleichzeitig aktualisieren. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist, bevor Sie einen weiteren Umgebungsvorgang starten.
Auswirkungen von Updates auf laufende Airflow-Aufgaben
Wenn Sie einen Aktualisierungsvorgang ausführen, werden Airflow-Planer und für Worker in Ihrer Umgebung ist möglicherweise ein Neustart erforderlich. In diesem Fall sind alle derzeit ausgeführte Aufgaben beendet werden. Nach Abschluss des Aktualisierungsvorgangs plant Airflow je nach Konfiguration der Wiederholungen für Ihre DAGs einen erneuten Versuch für diese Aufgaben.
Die folgenden Änderungen führen zur Beendigung von Airflow-Aufgaben:
- Upgrade Ihrer Umgebung auf eine neue Version wird durchgeführt.
- Benutzerdefinierte PyPI-Pakete hinzufügen, ändern oder löschen
- Cloud Composer-Umgebungsvariablen ändern
- Überschreibungen von Airflow-Konfigurationsoptionen hinzufügen oder entfernen oder ihre Werte ändern
- Airflow-Worker ändern CPU, Arbeitsspeicher oder Speicher.
- Reduzieren der maximalen Anzahl von Airflow-Workern, wenn der neue Wert niedriger ist als die Anzahl der derzeit ausgeführten Worker. Wenn beispielsweise ein In der Umgebung werden derzeit drei Worker ausgeführt und das Maximum wird auf zwei reduziert.
- Ausfallsicherheitsmodus der Umgebung ändern
Die folgenden Änderungen führen nicht zur Beendigung von Airflow-Aufgaben:
- Erstellen, Aktualisieren oder Löschen einer DAG (kein Aktualisierungsvorgang)
- DAGs anhalten oder pausieren (kein Aktualisierungsvorgang)
- Airflow-Variablen ändern (kein Aktualisierungsvorgang).
- Airflow-Verbindungen ändern (kein Aktualisierungsvorgang).
- Dataplex Data Lineage-Integration aktivieren oder deaktivieren
- Größe der Umgebung ändern
- Anzahl der Planer ändern
- Airflow-Planer ändern CPU, Arbeitsspeicher oder Speicher.
- Die Anzahl der Trigger ändern.
- Airflow-Triggerer ändern CPU, Arbeitsspeicher oder Speicher.
- CPU, Arbeitsspeicher oder Speicher des Airflow-Webservers ändern
- Mindestanzahl von Workern erhöhen oder verringern
- Reduzieren Sie die maximale Anzahl von Airflow-Workern. Beispiel: In einer Umgebung werden derzeit zwei Worker ausgeführt und die maximale Anzahl wird auf drei reduziert.
- Wartungsfenster ändern
- Einstellungen für geplante Snapshots ändern
- Umgebungslabels ändern
Mit Terraform aktualisieren
Führen Sie terraform plan
vor terraform apply
aus, um zu sehen, ob Terraform eine neue
anstatt sie zu aktualisieren.
Hinweise
Prüfen Sie, ob Ihr Konto, das Dienstkonto Ihrer Umgebung und das Cloud Composer-Dienst-Agent-Konto in Ihrem Projekt die erforderlichen Berechtigungen haben:
Ihr Konto muss eine Rolle haben, mit der Umgebungsaktualisierungsvorgänge ausgelöst werden können.
Das Dienstkonto Ihrer Umgebung muss eine Rolle haben, die über ausreichende Berechtigungen zum Ausführen von Aktualisierungsvorgängen verfügt.
Der Befehl
gcloud composer environments update
wird beendet, wenn der abgeschlossen ist. Mit dem Flag--async
können Sie vermeiden, dass Sie auf den Abschluss des Vorgangs warten müssen.
Umgebungen aktualisieren
Weitere Informationen zum Aktualisieren der Umgebung finden Sie in der anderen Dokumentation zu bestimmten Aktualisierungsvorgängen. Beispiel:
- Airflow-Konfigurationsoptionen überschreiben
- Umgebungsvariablen festlegen
- Python-Abhängigkeiten installieren
- Umgebungen skalieren
- Autorisierte Netzwerke konfigurieren
Umgebungsdetails ansehen
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
gcloud
Führen Sie folgenden Befehl gcloud
aus:
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.
API
Erstellen Sie eine API-Anfrage environments.get
.
Beispiel:
GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment
Terraform
Führen Sie den Befehl terraform state show
für die Ressource Ihrer Umgebung aus.
Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen der Name Ihrer Umgebung.
terraform state show google_composer_environment.RESOURCE_NAME
Ersetzen Sie:
RESOURCE_NAME
durch den Namen der Ressource Ihrer Umgebung.
Änderungen durch Updates rückgängig machen
In seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund einer Zeitüberschreitung) und die angeforderten Änderungen werden möglicherweise in allen Umgebungskomponenten (z. B. im Airflow-Webserver) zurückgesetzt werden.
Beispielsweise können durch einen Aktualisierungsvorgang zusätzliche PyPI-Module, um einen neuen Airflow oder Cloud Composer neu zu definieren oder zu definieren oder einige Airflow-bezogene Parameter ändern.
Eine solche Situation kann auftreten, wenn ein Aktualisierungsvorgang ausgelöst wird, wenn andere laufende Vorgänge, z. B. Cloud Composer ein Autoscaling oder einen Wartungsvorgang.
In diesem Fall empfehlen wir, den Vorgang zu wiederholen.
Dauer von Aktualisierungs- oder Upgradevorgängen
Die meisten Aktualisierungs- oder Upgradevorgänge erfordern einen Neustart von Airflow-Komponenten wie Airflow-Planern, ‑Workern und ‑Webservern.
Nachdem eine Komponente neu gestartet wurde, muss sie initialisiert werden. Während der
Initialisierung, Airflow-Planer und -Worker laden den Inhalt von /dags
herunter
und /plugins
Ordner aus dem Bucket der Umgebung. Synchronisierungsvorgang
an Airflow-Planer und -Worker übertragen, erfolgt nicht sofort.
die Gesamtgröße und Anzahl aller Objekte in diesen Ordnern.
Wir empfehlen, nur DAG- und Plug-in-Dateien in den Ordnern /dags
und /plugins
zu speichern und alle anderen Dateien zu entfernen. Zu viele Daten
in den Ordnern /dags
und /plugins
kann die Initialisierung von Airflow verlangsamen
und in bestimmten Fällen die Initialisierung nicht möglich machen.
Wir empfehlen, weniger als 30 MB an Daten in den Ordnern /dags
und /plugins
aufzubewahren und auf keinen Fall die Größe von 100 MB zu überschreiten.
Weitere Informationen finden Sie auch unter:
Upgrade für den Maschinentyp für GKE-Knoten durchführen
Sie können den Maschinentyp für die
GKE-Cluster durch Löschen der vorhandenen default-pool
und
Erstellen einer neuen default-pool
mit dem gewünschten Maschinentyp
Wir empfehlen Ihnen, einen passenden Maschinentyp für den die in Ihrer Cloud Composer-Umgebung stattfindet, Erstellen Sie eine Umgebung.
Wenn Sie Jobs ausführen, die ressourcenintensive Berechnungen ausführen, sollten Sie GKE-Operatoren verwenden.
Nach einem Upgrade ist der vorherige Maschinentyp weiterhin in den Details Ihrer Umgebung aufgeführt. Auf der Seite „Umgebungsdetails“ wird beispielsweise nicht der neue Maschinentyp angezeigt.
Console
So aktualisieren Sie den Maschinentyp:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
So rufen Sie Informationen zum Standardknotenpool ab:
Rufen Sie den Tab Umgebungskonfiguration auf.
Klicken Sie auf den Link Clusterdetails aufrufen.
Klicken Sie auf der Seite Cluster im Abschnitt Knoten auf default-pool.
Notieren Sie sich die Informationen zu default-pool in den Knotenpooldetails. Seite. Mit diesen Informationen erstellen Sie einen neuen Standardknotenpool für Ihre Umgebung.
So löschen Sie den default-pool:
Klicken Sie auf der Seite Knotenpooldetails auf den Zurückpfeil, um zur Seite Cluster für Ihre Umgebung zurückzukehren.
Klicken Sie im Abschnitt Knotenpools auf das Papierkorbsymbol für den Standardpool. Klicken Sie dann auf Löschen, um den Vorgang zu bestätigen.
So erstellen Sie den neuen default-pool:
Klicken Sie auf der Seite Cluster auf Knotenpool hinzufügen.
Geben Sie als Name
default-pool
ein. Sie müssen den Namendefault-pool
verwenden, damit Workflows in Ihrer Umgebung in diesem Pool ausgeführt werden können.Geben Sie die Einstellungen für Größe und Knoten ein.
(Nur für Compute Engine-Standarddienstkonten) Wählen Sie die Option Uneingeschränkten Zugriff auf alle Cloud APIs zulassen als Zugriffsbereich aus.
Klicken Sie auf Speichern.
Wenn Sie feststellen, dass die Arbeitslasten ungleich verteilt sind, skalieren Sie das Deployment von Airflow-Worker auf null und dann wieder hoch.