DAG-Serialisierung aktivieren und deaktivieren

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Folgen Sie der Anleitung auf dieser Seite, um die DAG-Serialisierung zu aktivieren oder zu deaktivieren.

In einer Cloud Composer-Umgebung werden sowohl der Airflow-Planer als auch der Airflow-Webserver DAGs kontinuierlich verarbeitet. Sie können die Zuverlässigkeit und Leistung des Airflow-Webservers verbessern, indem Sie die DAG-Serialisierung aktivieren.

Wenn Sie die DAG-Serialisierung aktivieren, wird der Planer gezwungen, DAG-Dateien zu verarbeiten, bevor sie an den Webserver gesendet werden. Der Webserver verarbeitet keine DAGs. Stattdessen werden die serialisierten DAGs aus der Airflow-Datenbank gelesen. Durch die Serialisierung von DAGs wird die CPU- und Arbeitsspeichernutzung durch den Webserver reduziert, vor allem bei der Verarbeitung einer großen Anzahl von DAGs.

Hinweis

Hinweis: Ab der Cloud Composer-Version1.15.0 ist die DAG-Serialisierung standardmäßig aktiviert. Sie können die DAG-Serialisierung in neuen und vorhandenen Umgebungen aktivieren und deaktivieren, indem Sie Airflow-Konfigurationsoptionen überschreiben, wie in den folgenden Abschnitten beschrieben.

Die DAG-Serialisierung wirkt sich auf die folgenden Cloud Composer-Features aus:

• Die DAG-Serialisierung kann nicht gleichzeitig mit dem asynchronen Laden von DAGs aktiviert werden.
• Wenn Sie die DAG-Serialisierung aktivieren, werden alle Airflow-Webserver-Plug-ins für Cloud Composer deaktiviert. Dies hat keine Auswirkungen auf Planer- oder Worker-Plug-ins, einschließlich Airflow-Operatoren und -Sensoren usw.

DAG-Serialisierung aktivieren

Sie können die DAG-Serialisierung für eine vorhandene Umgebung oder beim Erstellen einer neuen Umgebung aktivieren.

Hinweis: Wenden Sie diese Einstellungen nicht auf Umgebungen mit Airflow 2.x an. Die DAG-Serialisierung und das Speichern des DAG-Codes in der Airflow-Metadatendatenbank sind standardmäßig in Airflow 2.x aktiviert und können nicht aktiviert oder deaktiviert werden.

Zum Aktivieren der DAG-Serialisierung überschreiben Sie die folgenden Airflow-Konfigurationsoptionen:

Bereich	Schlüssel	Wert
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

Die Airflow-Konfigurationsoption min_serialized_dag_update_interval steuert, wie häufig serialisierte DAGs in der Datenbank aktualisiert werden. Die Option dag_dir_list_interval steuert, wie häufig entfernte DAGs aus der Airflow-Datenbank gelöscht werden. Eine hohe Aktualisierungshäufigkeit kann sich negativ auf die Leistung auswirken. Wir empfehlen, min_serialized_dag_update_interval und dag_dir_list_interval auf 30 Sekunden zu setzen.

DAG-Serialisierung deaktivieren

Sie können die DAG-Serialisierung für eine vorhandene Umgebung oder beim Erstellen einer neuen Umgebung aktivieren.

Zum Deaktivieren der DAG-Serialisierung überschreiben Sie die folgenden Airflow-Konfigurationsoptionen:

Bereich	Schlüssel	Wert
core	store_serialized_dags	False
core	store_dag_code	False