DAG-Serialisierung aktivieren und deaktivieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Folgen Sie der Anleitung auf dieser Seite, um die DAG-Serialisierung zu aktivieren oder zu deaktivieren.

In einer Cloud Composer-Umgebung werden sowohl der Airflow-Planer als auch der Airflow-Webserver DAGs kontinuierlich verarbeitet. Sie können die Zuverlässigkeit und Leistung des Airflow-Webservers verbessern, indem Sie die DAG-Serialisierung aktivieren.

Wenn Sie die DAG-Serialisierung aktivieren, wird der Planer gezwungen, DAG-Dateien zu verarbeiten, bevor sie an den Webserver gesendet werden. Der Webserver verarbeitet keine DAGs. Stattdessen werden die serialisierten DAGs aus der Airflow-Datenbank gelesen. Durch die Serialisierung von DAGs wird die CPU- und Arbeitsspeichernutzung durch den Webserver reduziert, vor allem bei der Verarbeitung einer großen Anzahl von DAGs.

Hinweis

Die DAG-Serialisierung wirkt sich auf die folgenden Cloud Composer-Features aus:

  • Die DAG-Serialisierung kann nicht gleichzeitig mit dem asynchronen Laden von DAGs aktiviert werden.
  • Wenn Sie die DAG-Serialisierung aktivieren, werden alle Airflow-Webserver-Plug-ins für Cloud Composer deaktiviert. Dies hat keine Auswirkungen auf Planer- oder Worker-Plug-ins, einschließlich Airflow-Operatoren und -Sensoren usw.

DAG-Serialisierung aktivieren

Sie können die DAG-Serialisierung für eine vorhandene Umgebung oder beim Erstellen einer neuen Umgebung aktivieren.

Zum Aktivieren der DAG-Serialisierung überschreiben Sie die folgenden Airflow-Konfigurationsoptionen:

Bereich Schlüssel Wert
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

Die Airflow-Konfigurationsoption min_serialized_dag_update_interval steuert, wie häufig serialisierte DAGs in der Datenbank aktualisiert werden. Die Option dag_dir_list_interval steuert, wie häufig entfernte DAGs aus der Airflow-Datenbank gelöscht werden. Eine hohe Aktualisierungshäufigkeit kann sich negativ auf die Leistung auswirken. Wir empfehlen, min_serialized_dag_update_interval und dag_dir_list_interval auf 30 Sekunden zu setzen.

DAG-Serialisierung deaktivieren

Sie können die DAG-Serialisierung für eine vorhandene Umgebung oder beim Erstellen einer neuen Umgebung aktivieren.

Zum Deaktivieren der DAG-Serialisierung überschreiben Sie die folgenden Airflow-Konfigurationsoptionen:

Bereich Schlüssel Wert
core store_serialized_dags False
core store_dag_code False