DAG-Serialisierung aktivieren und deaktivieren

Cloud Composer 1 | Cloud Composer 2

Folgen Sie der Anleitung auf dieser Seite, um die DAG-Serialisierung zu aktivieren oder zu deaktivieren.

In einer Cloud Composer-Umgebung werden sowohl der Airflow-Planer als auch der Airflow-Webserver kontinuierlich DAGs verarbeitet. Sie können die Zuverlässigkeit und Leistung des Airflow-Webservers verbessern, indem Sie die DAG-Serialisierung aktivieren.

Durch Aktivieren der DAG-Serialisierung wird der Planer dazu gezwungen, DAG-Dateien zu verarbeiten, bevor sie an den Webserver gesendet werden. Der Webserver verarbeitet keine DAGs. Stattdessen werden die serialisierten DAGs aus der Airflow-Datenbank gelesen. Die Serialisierung von DAGs auf diese Weise reduziert die CPU- und Arbeitsspeichernutzung des Webservers, insbesondere bei der Verarbeitung einer großen Anzahl von DAGs.

Hinweis

Die DAG-Serialisierung wirkt sich auf die folgenden Cloud Composer-Features aus:

  • Die DAG-Serialisierung kann nicht gleichzeitig mit dem asynchronen Laden von DAGs aktiviert werden.
  • Wenn Sie die DAG-Serialisierung aktivieren, werden alle Airflow-Webserver-Plug-ins für Cloud Composer deaktiviert. Dies hat keine Auswirkungen auf Planer- oder Worker-Plug-ins, einschließlich Airflow-Operatoren, Sensoren usw.

DAG-Serialisierung aktivieren

Sie können die DAG-Serialisierung für eine vorhandene Umgebung oder beim Erstellen einer neuen Umgebung aktivieren.

Überschreiben Sie die folgenden Airflow-Konfigurationsoptionen, um die DAG-Serialisierung zu aktivieren:

Bereich Schlüssel Wert
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

Die Option min_serialized_dag_update_interval für die Airflow-Konfiguration steuert, wie häufig serialisierte DAGs in der Datenbank aktualisiert werden. Die Option dag_dir_list_interval steuert, wie häufig entfernte DAGs aus der Airflow-Datenbank gelöscht werden. Eine hohe Aktualisierungshäufigkeit kann sich negativ auf die Leistung auswirken. Wir empfehlen, min_serialized_dag_update_interval und dag_dir_list_interval auf 30 Sekunden festzulegen.

DAG-Serialisierung deaktivieren

Sie können die DAG-Serialisierung für eine vorhandene Umgebung oder beim Erstellen einer neuen Umgebung aktivieren.

Wenn Sie die DAG-Serialisierung deaktivieren möchten, überschreiben Sie die folgenden Airflow-Konfigurationsoptionen:

Bereich Schlüssel Wert
core store_serialized_dags False
core store_dag_code False