Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Auf dieser Seite wird erläutert, wie eine Umgebung aktualisiert werden kann.
Aktualisierungsvorgänge
Wenn Sie die Parameter der Umgebung ändern, z. B. eine neue Skalierung festlegen Leistungsparameter und die Installation benutzerdefinierter PyPI-Pakete, Aktualisierungen der Umgebung.
Nach Abschluss dieses Vorgangs sind die Änderungen in der zu verbessern.
Sie können für eine einzelne Cloud Composer-Umgebung nur eine starten gleichzeitig aktualisieren. Sie müssen warten, bis ein Aktualisierungsvorgang abgeschlossen ist bevor Sie einen anderen Umgebungsvorgang starten.
CPU-Limits für Trigger
Cloud Composer in Version 2.4.4 bietet eine andere Leistung Skalierungsansatz für den Airflow-Triggerer Komponente, die für alle Cloud Composer 2-Versionen gilt.
Vor Version 2.4.4 konnten Cloud Composer-Umgebungen Verwenden Sie maximal 1 oder 2 Trigger. Nach der Änderung können Sie bis zu 10 Trigger pro Umgebung haben, Jeder Trigger ist jedoch auf maximal eine vCPU begrenzt.
Die Aktualisierungsvorgänge schlagen fehl, wenn Ihre Umgebung mit mehr als 1 vCPU pro Trigger. Sie müssen die Konfiguration so anpassen, dass das Limit von einer vCPU erreicht wird, um Aktualisierungen anderer Komponenten vornehmen zu können.
Weitere Informationen finden Sie unter:
- Triggerer-Ressourcenzuweisung konfigurieren
- Triggeranzahl anpassen
- Fehlerbehebung beim Umgebungsupgrade – Triggerer-CPU überschritten
So wirken sich Updates auf laufende Airflow-Aufgaben aus
Wenn Sie einen Aktualisierungsvorgang ausführen, z. B. Benutzerdefinierte PyPI-Pakete, alle Airflow-Planer und -Worker in Ihrer Umgebung neu gestartet und alle derzeit ausgeführten Aufgaben werden beendet. Nach dem Update abgeschlossen ist, plant Airflow einen Wiederholungsversuch für diese Aufgaben, je nachdem, wie Sie Wiederholungsversuche für Ihre DAGs konfigurieren.
Mit Terraform aktualisieren
Führen Sie terraform plan
vor terraform apply
aus, um zu sehen, ob Terraform eine neue
anstatt sie zu aktualisieren.
Hinweise
Prüfen Sie, ob Ihr Konto, das Dienstkonto Ihrer Umgebung und dem Cloud Composer-Dienst-Agent-Konto in Ihrem Projekt Erforderliche Berechtigungen:
Ihr Konto muss eine Rolle haben, die Aktualisierungen der Umgebung auslösen.
Das Dienstkonto Ihrer Umgebung muss eine Rolle haben, die über ausreichende Berechtigungen zum Ausführen von Aktualisierungsvorgängen verfügt.
Das Konto des Cloud Composer-Dienst-Agents muss folgende Voraussetzungen erfüllen: Berechtigungen zum Erstellen von Bindungen zwischen das Dienstkonto Ihrer Umgebung und das Kubernetes-Dienstkonto für den Cluster Ihrer Umgebung.
Der Befehl
gcloud composer environments update
wird beendet, wenn der abgeschlossen ist. Mit dem Flag--async
vermeiden Sie Wartezeiten für um den Vorgang abzuschließen.
Umgebungen aktualisieren
Weitere Informationen zum Aktualisieren der Umgebung finden Sie in der anderen Dokumentation zu bestimmten Aktualisierungsvorgängen. Beispiel:
- Airflow-Konfigurationsoptionen überschreiben
- Umgebungsvariablen festlegen
- Python-Abhängigkeiten installieren
- Umgebungen skalieren
- Autorisierte Netzwerke konfigurieren
- Umgebungen auf hohe Ausfallsicherheit aktualisieren
Umgebungsdetails ansehen
Console
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.
gcloud
Führen Sie folgenden Befehl gcloud
aus:
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION
Ersetzen Sie:
ENVIRONMENT_NAME
durch den Namen der Umgebung.LOCATION
durch die Region, in der sich die Umgebung befindet.
API
Erstellen Sie eine API-Anfrage environments.get
.
Beispiel:
GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment
Terraform
Führen Sie den Befehl terraform state show
für die Ressource Ihrer Umgebung aus.
Der Name der Terraform-Ressource Ihrer Umgebung kann sich vom Namen der Name Ihrer Umgebung.
terraform state show google_composer_environment.RESOURCE_NAME
Ersetzen Sie:
RESOURCE_NAME
durch den Namen der Ressource Ihrer Umgebung.
Rollback für Aktualisierungsänderungen durchführen
In seltenen Fällen kann ein Aktualisierungsvorgang unterbrochen werden (z. B. aufgrund einer Zeitüberschreitung) und die angeforderten Änderungen werden möglicherweise in allen Umgebungskomponenten (z. B. im Airflow-Webserver) zurückgesetzt werden.
Bei einem Aktualisierungsvorgang können z. B. zusätzliche PyPI-Module, um einen neuen Airflow oder Cloud Composer neu zu definieren oder zu definieren oder einige Airflow-bezogene Parameter ändern.
Eine solche Situation kann auftreten, wenn ein Aktualisierungsvorgang ausgelöst wird, wenn andere ausgeführte Vorgänge, z. B. ein Autoscaling oder einen Wartungsvorgang.
In einer solchen Situation empfiehlt es sich, den Vorgang zu wiederholen.
Dauer von Aktualisierungs- oder Upgradevorgängen
Bei den meisten Aktualisierungs- oder Upgradevorgängen müssen Airflow-Komponenten neu gestartet werden wie Airflow-Planer, Worker und Webserver.
Nachdem eine Komponente neu gestartet wurde, muss sie initialisiert werden. Während der
Initialisierung, Airflow-Planer und -Worker laden den Inhalt von /dags
herunter
und /plugins
Ordner aus dem Bucket der Umgebung. Synchronisierungsvorgang
an Airflow-Planer und -Worker übertragen, erfolgt nicht sofort.
die Gesamtgröße und Anzahl aller Objekte in diesen Ordnern.
Wir empfehlen, nur DAG- und Plug-in-Dateien in /dags
und /plugins
beizubehalten.
und entfernen Sie alle anderen Dateien. Zu viele Daten
in den Ordnern /dags
und /plugins
kann die Initialisierung von Airflow verlangsamen
und in bestimmten Fällen die Initialisierung nicht möglich machen.
Wir empfehlen, weniger als 30 MB an Daten in den Ordnern /dags
und /plugins
aufzubewahren und auf keinen Fall die Größe von 100 MB zu überschreiten.
Weitere Informationen finden Sie auch unter: