Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Segui le istruzioni in questa pagina per abilitare o disabilitare la serializzazione DAG.
In un ambiente Cloud Composer, sia lo scheduler Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web Airflow abilitando Serializzazione DAG.
L'abilitazione della serializzazione DAG obbliga lo scheduler a elaborare i file DAG prima di essere inviati al server web. Il server web non elabora i DAG. Legge invece i DAG serializzati dal database Airflow. La serializzazione delle DAG in questo modo riduce l'utilizzo della CPU e della memoria del server web, in particolare durante l'elaborazione di un numero elevato di DAG.
Prima di iniziare
La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:
- La serializzazione DAG non può essere abilitata contemporaneamente caricamento asincrono dei DAG.
- L'abilitazione della serializzazione DAG disabilita tutti i plug-in del server web Airflow per con Cloud Composer. Ciò non influisce sui plug-in di scheduler o worker, inclusi gli operatori, i sensori e così via di Airflow.
Abilitazione della serializzazione DAG
Puoi attivare la serializzazione DAG per un ambiente esistente o quando ne crei uno nuovo.
Per abilitare la serializzazione DAG, sostituisci quanto segue Opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
La min_serialized_dag_update_interval
L'opzione di configurazione Airflow controlla la frequenza dei DAG serializzati
vengono aggiornate nel database.
L'opzione dag_dir_list_interval controlla la frequenza con cui i DAG rimossi vengono eliminati dal database Airflow. Un'elevata frequenza di aggiornamento può influire negativamente sulle prestazioni. Ti consigliamo di impostare min_serialized_dag_update_interval e
dag_dir_list_interval su 30 secondi.
Disattivazione della serializzazione DAG
Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione un nuovo ambiente.
Per disabilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |