Cloud Composer 1 Cloud Composer 2
Auf dieser Seite wird beschrieben, wie die Umgebungsskalierung in Cloud Composer 2 funktioniert.
Weitere Seiten zur Skalierung:
- Eine Anleitung zur Auswahl optimaler Skalierungs- und Leistungsparameter für Ihre Umgebung finden Sie unter Umgebungsleistung und -kosten optimieren.
- Informationen zum Skalieren Ihrer Umgebungen finden Sie unter Umgebungen skalieren.
Autoscaling-Umgebungen
Cloud Composer 2-Umgebungen werden automatisch entsprechend den Anforderungen Ihrer ausgeführten DAGs und Aufgaben skaliert:
- Wenn Ihre Umgebung stark ausgelastet ist, erhöht Cloud Composer automatisch die Anzahl der Worker in Ihrer Umgebung.
- Wenn Ihre Umgebung einige ihrer Worker nicht verwendet, werden diese Worker entfernt, um Umgebungsressourcen und Kosten zu sparen.
- Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Cloud Composer skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.
Die Anzahl der Worker wird basierend auf dem Messwert Skalierungsfaktorziel angepasst. Dieser Messwert wird basierend auf folgenden Kriterien berechnet:
- Aktuelle Anzahl der Worker
- Anzahl der Celery-Tasks in der Celery-Warteschlange, die keinem Worker zugewiesen sind
- Anzahl inaktiver Worker
celery.worker_concurrency-Airflow-Konfigurationsoption
Cloud Composer-Autoscaling verwendet drei verschiedene von GKE bereitgestellte Autoscalings:
Cloud Composer konfiguriert diese Autoscalings im Cluster der Umgebung. Dadurch werden automatisch die Anzahl der Knoten im Cluster, der Maschinentyp und die Anzahl der Worker skaliert.
Skalierungs- und Leistungsparameter
Neben Autoscaling können Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung steuern, indem Sie die CPU-, Arbeitsspeicher- und Laufwerklimits für Planer, Webserver und Worker anpassen. Dadurch können Sie Ihre Umgebung zusätzlich zur horizontalen Skalierung, die von der Autoscaling-Funktion bereitgestellt wird, vertikal skalieren. Sie können die Skalierungs- und Leistungsparameter von Airflow-Planern, Webservern und Workern jederzeit anpassen.
Der Leistungsparameter Umgebungsgröße Ihrer Umgebung steuert die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die die Airflow-Datenbank enthält. Wenn Sie eine große Anzahl von DAGs und Aufgaben ausführen möchten, sollten Sie für die Umgebungsgröße einen größeren Wert auswählen.
Mehrere Planer
Airflow 2 kann mehrere Airflow-Planer gleichzeitig verwenden. Diese Airflow-Funktion wird auch als HA-Planer bezeichnet. In Cloud Composer 2 können Sie die Anzahl der Planer für Ihre Umgebung festlegen und jederzeit anpassen. Cloud Composer skaliert die Anzahl der Planer in der Umgebung nicht automatisch.
Weitere Informationen zum Konfigurieren der Anzahl der Planer für Ihre Umgebung finden Sie unter Umgebungen skalieren.
Speicherplatz der Datenbank
Der Speicherplatz für die Airflow-Datenbank wird automatisch an den Bedarf angepasst.
Nächste Schritte