Umgebungsskalierung

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Auf dieser Seite wird beschrieben, wie die Umgebungsskalierung in Cloud Composer 2 funktioniert.

Weitere Seiten zur Skalierung:

Autoscaling-Umgebungen

Cloud Composer 2-Umgebungen werden automatisch entsprechend den Anforderungen Ihrer ausgeführten DAGs und Aufgaben skaliert:

  • Wenn Ihre Umgebung stark ausgelastet ist, erhöht Cloud Composer automatisch die Anzahl der Worker in Ihrer Umgebung.
  • Wenn Ihre Umgebung einige ihrer Worker nicht verwendet, werden diese Worker entfernt, um Umgebungsressourcen und Kosten zu sparen.
  • Sie können die Mindest- und Höchstanzahl an Workern für Ihre Umgebung festlegen. Cloud Composer skaliert Ihre Umgebung automatisch innerhalb der festgelegten Limits. Sie können diese Limits jederzeit anpassen.

Die Anzahl der Worker wird basierend auf dem Messwert Skalierungsfaktorziel angepasst. Dieser Messwert wird basierend auf folgenden Kriterien berechnet:

  • Aktuelle Anzahl der Worker
  • Anzahl der Celery-Aufgaben in der Celery-Warteschlange, die keinem Worker zugewiesen sind
  • Anzahl inaktiver Worker
  • celery.worker_concurrency-Airflow-Konfigurationsoption

Cloud Composer-Autoscaling verwendet drei verschiedene von GKE bereitgestellte Autoscalings:

Cloud Composer konfiguriert diese Autoscalings im Cluster der Umgebung. Dadurch werden automatisch die Anzahl der Knoten im Cluster, der Maschinentyp und die Anzahl der Worker skaliert.

Skalierungs- und Leistungsparameter

Neben Autoscaling können Sie die Skalierungs- und Leistungsparameter Ihrer Umgebung steuern, indem Sie die CPU-, Arbeitsspeicher- und Laufwerklimits für Planer, Webserver und Worker anpassen. Dadurch können Sie Ihre Umgebung zusätzlich zur horizontalen Skalierung, die von der Autoscaling-Funktion bereitgestellt wird, vertikal skalieren. Sie können die Skalierungs- und Leistungsparameter von Airflow-Planern, Webservern und Workern jederzeit anpassen.

Der Leistungsparameter Umgebungsgröße Ihrer Umgebung steuert die Leistungsparameter der verwalteten Cloud Composer-Infrastruktur, die die Airflow-Datenbank enthält. Wählen Sie eine größere Umgebung aus wenn Sie eine große Anzahl von DAGs und Aufgaben mit und die Leistung der Infrastruktur. Mit einer größeren Umgebung können beispielsweise mehr Airflow-Aufgabenprotokolleinträge mit minimaler Verzögerung verarbeitet werden.

Mehrere Planer

Airflow 2 kann mehrere Airflow-Planer gleichzeitig verwenden. Diese Airflow-Funktion wird auch als HA-Planer bezeichnet. In Cloud Composer 2 können Sie die Anzahl der Planer für Ihre Umgebung festlegen und jederzeit anpassen. Cloud Composer skaliert die Anzahl der Planer in der Umgebung nicht automatisch.

Weitere Informationen zum Konfigurieren der Anzahl der Planer für Ihre Umgebung finden Sie unter Umgebungen skalieren.

Speicherplatz der Datenbank

Der Speicherplatz für die Airflow-Datenbank wird automatisch an den Bedarf angepasst.

Nächste Schritte