Dati archiviati in Cloud Storage

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina descrive quali dati Cloud Composer archivia per il tuo ambiente in Cloud Storage.

Quando crei un ambiente, Cloud Composer crea Cloud Storage e lo associa. con il tuo ambiente. Il nome del bucket si basa sulla regione, sul nome e su un ID casuale dell'ambiente, ad esempio us-central1-b1-6efabcde-bucket.

Cloud Composer sincronizza cartelle specifiche del bucket del tuo ambiente ai componenti Airflow in esecuzione nel tuo ambiente. Ad esempio, quando aggiorni un file con il codice del tuo DAG Airflow nel del bucket dell'ambiente, anche i componenti Airflow ricevono la versione aggiornata. Cloud Composer utilizza Cloud Storage FUSE per la sincronizzazione.

Nota: l'eliminazione dell'ambiente non comporta l'eliminazione del bucket dell'ambiente. A per evitare addebiti sul tuo account di fatturazione Cloud, scarica tra i dati e quindi elimina il bucket Cloud Storage.

Cartelle nel bucket Cloud Storage

Cartella	Percorso di archiviazione	Directory mappata	Descrizione
DAG	gs://bucket-name/dags	/home/airflow/gcs/dags	Memorizza i DAG per il tuo ambiente.
Plug-in	gs://bucket-name/plugins	/home/airflow/gcs/plugins	Memorizza i plug-in personalizzati, ad esempio operatori, hook, sensori o interfacce Airflow interni personalizzati.
Dati	gs://bucket-name/data	/home/airflow/gcs/data	Archivia i dati prodotti e utilizzati dalle attività.
Log	gs://bucket-name/logs	/home/airflow/gcs/logs	Archivia i log di Airflow per le attività. I log sono disponibili anche nell'interfaccia web di Airflow e nella scheda Log della console Google Cloud.

Cloud Composer sincronizza le cartelle dags/ e plugins/ in modo unidirezionale. La sincronizzazione unidirezionale significa che le modifiche locali le cartelle in un componente Airflow vengono sovrascritte. data/ e logs/ le cartelle si sincronizzano in modo bidirezionale.

Importante: i contenuti della cartella data/ vengono sincronizzati con gli schedulatori e i worker di Airflow. Questa cartella non viene sincronizzata con gli attivatori Airflow o con il server web. Applica i suggerimenti delle limitazioni note correlate per sincronizzare i file con il server web di Airflow.

La sincronizzazione dei dati è a coerenza finale. Inviare messaggi da un operatore all'altro, utilizza XComs.

Considerazioni sulla capacità

I dati delle cartelle dags/, plugins/ e data/ vengono sincronizzati con gli scheduler e i worker di Airflow.

I contenuti della cartella plugins/ sono sincronizzati con il server web Airflow.

Più dati vengono inseriti in queste cartelle, più spazio viene occupato nello spazio di archiviazione locale dei componenti Airflow. Salvataggio di troppi dati in dags/ e plugins/ possono interrompere le tue operazioni e generare problemi come:

• Un worker o uno scheduler esaurisce lo spazio di archiviazione locale e viene rimosso perché di spazio insufficiente sul disco locale del componente.

• La sincronizzazione dei file dalle cartelle dags/ e plugins/ ai worker e ai pianificatori richiede molto tempo.

• Sincronizzazione dei file delle cartelle dags/ e plugins/ con i worker e scheduler diventa impossibili. Ad esempio, archivi un file da 2 GB nel dags/, ma il disco locale di un worker Airflow può solo per 1 GB. Durante la sincronizzazione, lo spazio di archiviazione locale del worker esaurisce e la sincronizzazione non può essere completata.

Cartelle di DAG e plug-in

Per evitare errori di esecuzione dei DAG, archivia i DAG, i plug-in e i moduli Python nelle cartelle dags/ o plugins/, anche se i moduli Python non contengono DAG o plug-in.

Ad esempio, utilizzi un DataFlowPythonOperator che fa riferimento a una pipeline py_file Dataflow. py_file non contiene DAG o ma devi comunque archiviarlo nella cartella dags/ o plugins/.

Cartella dati

Importante: in genere, i contenuti della cartella data/ non vengono sincronizzati con i componenti di Airflow per impostazione predefinita.

In alcuni casi, alcuni file della cartella data/ vengono sincronizzati con un componente Airflow specifico. Ad esempio, quando Cloud Composer tenta di leggere un determinato file per la prima volta durante:

• Analisi DAG: quando un file viene letto per la prima volta durante l'analisi DAG, Cloud Composer lo sincronizza con lo scheduler che analizza il DAG.

• Esecuzione del DAG: quando un file viene letto per la prima volta durante l'esecuzione del DAG, Cloud Composer lo sincronizza con il worker che esegue l'esecuzione.

Lo spazio di archiviazione locale dei componenti Airflow è limitato, quindi valuta la possibilità di eliminarli per liberare spazio su disco nei componenti. Tieni presente che l'utilizzo dello spazio di archiviazione locale può aumentare temporaneamente anche se hai attività concorrenti che scaricano lo stesso file in un singolo worker Airflow.

Nota: non inserire i moduli Python richiesti durante l'analisi del DAG nella data/ cartella. Può avere un impatto negativo sull'analisi del DAG e sulla latenza della pianificazione delle attività.

Cartella dei log

La cartella logs/ viene sincronizzata dai worker di Airflow al bucket dell'ambiente utilizzando l'API Cloud Storage.

La quota dell'API Cloud Storage viene calcolata in base alla quantità di dati spostati, pertanto il numero di attività Airflow eseguite dal sistema può aumentare l'utilizzo dell'API Cloud Storage: più attività esegui, più grandi saranno i file di log.

Nota: in rari casi potresti aumentare i livelli di log da INFO a DEBUG, come descritto nella sezione Risoluzione dei problemi relativi ai DAG. Tieni presente che queste operazioni producono log aggiuntivi e potrebbero aumentare costi di sincronizzazione e archiviazione.

Sincronizzazione con il server web

La cartella plugins/ viene automaticamente sincronizzata con il server web per i plug-in possono essere caricati dalla UI di Airflow.

Importante: i contenuti della cartella data/ non sono sincronizzati con il web o server web.

Passaggi successivi

• Visualizza i log
• Gestire i DAG
• Scrivere DAG