Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Segui le istruzioni in questa pagina per abilitare o disabilitare la serializzazione DAG.
In un ambiente Cloud Composer, sia lo scheduler di Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web Airflow abilitando la serie DAG.
L'abilitazione della serializzazione DAG obbliga lo scheduler a elaborare i file DAG prima che vengano inviati al server web. Il server web non elabora i DAG. Legge invece i DAG serializzati dal database Airflow. La serializzazione dei DAG in questo modo riduce l'utilizzo di CPU e memoria del server web, soprattutto quando si elabora un numero elevato di DAG.
Prima di iniziare
La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:
- La serializzazione DAG non può essere abilitata contemporaneamente al caricamento DAG asincrono.
- L'abilitazione della serializzazione DAG disabilita tutti i plug-in del server web Airflow per Cloud Composer. Ciò non influisce sui plug-in di scheduler o worker, inclusi operatori Airflow, sensori e così via.
Abilitazione della serializzazione DAG
Puoi abilitare la serializzazione DAG per un ambiente esistente o quando ne crei uno nuovo.
Per abilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
L'opzione di configurazione Airflow min_serialized_dag_update_interval controlla la frequenza di aggiornamento dei DAG serializzati nel database.
L'opzione dag_dir_list_interval controlla la frequenza con cui i DAG rimossi vengono eliminati dal database Airflow. Un'elevata frequenza di aggiornamento può influire negativamente sulle prestazioni. Ti
consigliamo di impostare min_serialized_dag_update_interval e
dag_dir_list_interval su 30 secondi.
Disabilitazione della serializzazione DAG
Puoi abilitare la serializzazione DAG per un ambiente esistente o quando crei un nuovo ambiente.
Per disabilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |