Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Segui le istruzioni in questa pagina per abilitare o disabilitare la serializzazione DAG.
In un ambiente Cloud Composer, sia lo scheduler di Airflow il server web di Airflow elabora continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web Airflow abilitando Serializzazione DAG.
L'abilitazione della serializzazione DAG obbliga lo scheduler a elaborare i file DAG prima di essere inviati al server web. Il server web non elabora i DAG. Legge invece i DAG serializzati dal database Airflow. Serializzazione in corso... I DAG in questo modo riducono l'utilizzo di CPU e memoria da parte del server web, soprattutto durante l'elaborazione di un numero elevato di DAG.
Prima di iniziare
La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:
- Impossibile abilitare la serializzazione DAG contemporaneamente caricamento asincrono dei DAG.
- L'abilitazione della serializzazione DAG disabilita tutti i plug-in del server web Airflow per con Cloud Composer. Questo non influisce sui plug-in di scheduler o worker, inclusi operatori Airflow, sensori e così via.
Abilitazione della serializzazione DAG
Puoi abilitare la serializzazione DAG per un ambiente esistente o quando ne crei uno nuovo.
Per abilitare la serializzazione DAG, sostituisci quanto segue Opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
La min_serialized_dag_update_interval
L'opzione di configurazione Airflow controlla la frequenza dei DAG serializzati
vengono aggiornate nel database.
La dag_dir_list_interval
controlla la frequenza di eliminazione dei DAG rimossi da Airflow
per configurare un database. Un'elevata frequenza di aggiornamento può influire negativamente sulle prestazioni. Me
consigliamo di impostare min_serialized_dag_update_interval e
da dag_dir_list_interval a 30 secondi.
Disabilitazione della serializzazione DAG
Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione un nuovo ambiente.
Per disabilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |