Umgebungsskalierung

Cloud Composer 1 | Cloud Composer 2

Auf dieser Seite wird beschrieben, wie die Umgebungsskalierung in Cloud Composer 2 funktioniert.

Informationen zum Skalieren Ihrer Umgebungen finden Sie unter Umgebungen skalieren.

Autoscaling-Umgebungen

Cloud Composer 2-Umgebungen werden automatisch entsprechend den Anforderungen der ausgeführten DAGs und Aufgaben skaliert:

  • Wenn Ihre Umgebung stark ausgelastet ist, erhöht Cloud Composer automatisch die Anzahl der Worker in Ihrer Umgebung.
  • Wenn einige Ihrer Worker nicht in der Umgebung verwendet werden, werden diese Worker entfernt, um Umgebungsressourcen und Kosten zu sparen.
  • Sie können die minimale und maximale Anzahl von Workern für Ihre Umgebung festlegen. Cloud Composer skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.

Die Anzahl der Worker wird basierend auf dem Messwert Skalierungsfaktor angepasst. Dieser Messwert wird anhand folgender Werte berechnet:

  • Aktuelle Anzahl der Worker
  • Anzahl der Aufgaben in einer Warteschlange, die keinem Worker zugewiesen sind
  • Anzahl der inaktiven Worker
  • core.worker_concurrency Airflow-Konfigurationsoption

Cloud Composer-Autoscaling verwendet drei verschiedene Autoscalings, die von GKE bereitgestellt werden:

Cloud Composer konfiguriert diese Autoscalings im Cluster der Umgebung. Dadurch werden automatisch die Anzahl der Knoten im Cluster, der Maschinentyp und die Anzahl der Worker skaliert.

Skalierungs- und Leistungsparameter

Zusätzlich zum Autoscaling können Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung steuern. Dazu müssen Sie die CPU-, Arbeitsspeicher- und Laufwerklimits für Planer, Webserver und Worker anpassen. Dadurch können Sie Ihre Umgebung zusätzlich zur horizontalen Skalierung, die vom Autoscaling-Feature bereitgestellt wird, auch vertikal skalieren. Sie können die Skalierungs- und Leistungsparameter von Airflow-Planern, Webservern und Workern jederzeit anpassen.

Der Leistungsparameter Umgebungsgröße Ihrer Umgebung steuert die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die die Airflow-Datenbank enthält. Wenn Sie eine große Anzahl von DAGs und Aufgaben ausführen möchten, sollten Sie eine größere Umgebung auswählen.



Mehrere Planer

Airflow 2 kann mehr als einen Airflow-Planer gleichzeitig verwenden. Dieses Airflow-Feature wird auch als HA-Planer bezeichnet. In Cloud Composer 2 können Sie die Anzahl der Planer für Ihre Umgebung festlegen und diese jederzeit anpassen. Die Anzahl der Planer in Ihrer Umgebung wird von Cloud Composer nicht automatisch skaliert.

Weitere Informationen zum Konfigurieren der Anzahl der Planer für Ihre Umgebung finden Sie unter Umgebungen skalieren.

Speicherplatz auf der Datenbank

Der Speicherplatz für die Airflow-Datenbank wird automatisch entsprechend der Nachfrage erweitert.

Nächste Schritte