Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Auf dieser Seite wird erläutert, wie Sie die Airflow-Datenbank in Ihrer Umgebung verwalten.
Automatische Datenbankbereinigung mit einer Aufbewahrungsrichtlinie für Datenbanken
Sie können die automatische Datenbankbereinigung für Ihre Cloud Composer 3-Umgebung konfigurieren, indem Sie eine Datenbankaufbewahrungsrichtlinie festlegen. Nachdem Sie diese Richtlinie eingerichtet haben, werden Datensätze, die älter als ein bestimmter Zeitraum sind, täglich automatisch aus der Airflow-Datenbank entfernt. Weitere Informationen finden Sie unter Aufbewahrungsrichtlinie für Datenbank konfigurieren.
Eingestellte Bereinigungsverfahren
Bevor die Aufbewahrungsrichtlinie für Datenbanken in Cloud Composer verfügbar war, haben wir einen anderen Ansatz für die Automatisierung der Datenbankbereinigung empfohlen, nämlich einen DAG zur Datenbankbereinigung. Dieser Ansatz ist in Cloud Composer 3 nicht mehr aktuell. Dieser DAG führt redundante Aufgaben aus. Sie können den Ressourcenverbrauch reduzieren, indem Sie ihn entfernen und durch eine Datenbankaufbewahrungsrichtlinie ersetzen.
Grenzwerte für die Datenbankgröße
Im Laufe der Zeit speichert die Airflow-Datenbank Ihrer Umgebung immer mehr Daten. Diese Daten enthalten Informationen und Logs, die sich auf vergangene DAG-Ausführungen, Aufgaben und andere Airflow-Vorgänge beziehen.
Wenn die Airflow-Datenbankgröße mehr als 20 GB beträgt, können Sie Ihre Umgebung nicht auf eine neuere Version aktualisieren.
Wenn die Airflow-Datenbankgröße mehr als 20 GB beträgt, können keine Snapshots erstellt werden.
Datenbankleistung aufrechterhalten
Leistungsprobleme der Airflow-Datenbank können zu Problemen bei der DAG-Ausführung führen. Statistiken zur CPU- und Arbeitsspeichernutzung der Datenbank ansehen. Wenn die CPU- und Arbeitsspeicherauslastung die Grenzwerte erreicht, ist die Datenbank überlastet und muss skaliert werden. Die Menge der für die Airflow-Datenbank verfügbaren Ressourcen wird durch das Attribut für die Größe Ihrer Umgebung gesteuert. Wenn Sie die Datenbank vertikal skalieren möchten, ändern Sie die Umgebungsgröße in eine höhere Stufe. Wenn Sie die Umgebungsgröße erhöhen, steigen die Kosten Ihrer Umgebung.
Wenn Sie den XCom-Mechanismus zum Übertragen von Dateien verwenden, achten Sie darauf, dass Sie ihn gemäß den Airflow-Richtlinien verwenden. Die Übertragung großer Dateien oder einer großen Anzahl von Dateien mit XCom wirkt sich auf die Leistung der Airflow-Datenbank aus und kann zu Fehlern beim Laden von Snapshots oder beim Aktualisieren Ihrer Umgebung führen. Erwägen Sie die Verwendung von Alternativen wie Cloud Storage, um große Datenmengen zu übertragen.
Einträge für nicht verwendete DAGs entfernen
Sie können Datenbankeinträge für nicht verwendete DAGs entfernen. Dazu entfernen Sie DAGs aus der Airflow-UI.
Nächste Schritte