Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive l'architettura degli ambienti Cloud Composer.
Configurazioni dell'architettura dell'ambiente
Gli ambienti Cloud Composer 3 hanno un'unica configurazione che non dipende dal tipo di networking:
Progetti del cliente e tenant
Quando crei un ambiente, Cloud Composer distribuisce le risorse dell'ambiente tra un tenant e un progetto del cliente:
- Il progetto del cliente è un progetto Google Cloud in cui crei i tuoi ambienti. Puoi creare più di un ambiente in un singolo progetto del cliente.
Il progetto tenant è un progetto tenant gestito da Google. Il progetto tenant fornisce controllo dell'accesso unificato e un ulteriore livello di sicurezza dei dati per il tuo ambiente. Ogni ambiente Cloud Composer ha il proprio progetto tenant.
Componenti dell'ambiente
Un ambiente Cloud Composer è composto da componenti di ambiente.
Un componente dell'ambiente è un elemento di un'infrastruttura Airflow gestita in esecuzione su Google Cloud, come parte del tuo ambiente. I componenti di ambiente vengono eseguiti nel tenant o nel progetto del cliente del tuo ambiente.
Bucket dell'ambiente
Il bucket dell'ambiente è un bucket Cloud Storage in cui sono archiviati i DAG, i plug-in, le dipendenze dei dati e i log di Airflow. Il bucket dell'ambiente si trova nel progetto del cliente.
Quando carichi i file DAG nella cartella /dags del bucket del tuo ambiente, Cloud Composer sincronizza i DAG con i componenti Airflow del tuo ambiente.
Server web Airflow
Il server web Airflow esegue la UI di Airflow del tuo ambiente.
Cloud Composer fornisce l'accesso all'interfaccia in base alle identità utente e alle associazioni di criteri IAM definite per gli utenti.
Database Airflow
Il database Airflow è un'istanza Cloud SQL in esecuzione nel progetto tenant del tuo ambiente. Ospita il database di metadati Airflow.
Per proteggere le informazioni sensibili relative al flusso di lavoro e alle connessioni, Cloud Composer consente l'accesso al database solo all'account di servizio del tuo ambiente.
Altri componenti del flusso di aria
Altri componenti di Airflow in esecuzione nel tuo ambiente sono:
Gli scheduler di Airflow analizzano i file di definizione dei DAG, pianificano le esecuzioni dei DAG in base all'intervallo pianificato e accodano le attività per l'esecuzione da parte dei worker di Airflow.
Gli attivatori di Airflow monitorano in modo asincrono tutte le attività differite nel tuo ambiente. Se imposti il numero di triggerer nel tuo ambiente superiore a zero, puoi utilizzare operatori reimpostabili nei DAG.
I processori DAG di Airflow elaborano i file DAG e li trasformano in oggetti DAG. In Cloud Composer 3, i processori DAG vengono eseguiti come componenti di ambiente separati.
I lavoratori Airflow eseguono le attività pianificate dagli scheduler di Airflow. Il numero minimo e massimo di worker nel tuo ambiente cambia dinamicamente a seconda del numero di attività in coda.
Architettura dell'ambiente Cloud Composer 3
Negli ambienti Cloud Composer 3:
- Il progetto tenant ospita un'istanza Cloud SQL con il database Airflow.
- Tutte le risorse Airflow vengono eseguite nel progetto tenant.
- Il progetto del cliente ospita il bucket dell'ambiente.
- Un collegamento di rete VPC personalizzato nel progetto del cliente può essere utilizzato per collegare l'ambiente a una rete VPC personalizzata. Puoi utilizzare un collegamento esistente oppure Cloud Composer può crearlo automaticamente on demand. È anche possibile scollegare un ambiente da una rete VPC.
- La console Google Cloud, Monitoring e Logging nel progetto del cliente forniscono modi per gestire l'ambiente, i DAG e le esecuzioni dei DAG, nonché per accedere alle metriche e ai log dell'ambiente. Per gli stessi scopi puoi anche utilizzare la UI di Airflow, Google Cloud CLI, l'API Cloud Composer e Terraform.
Integrazione con Cloud Logging e Cloud Monitoring
Cloud Composer si integra con Cloud Logging e Cloud Monitoring del tuo progetto Google Cloud, in modo da avere una posizione centrale in cui visualizzare i log di Airflow e DAG.
Cloud Monitoring raccoglie e importa metriche, eventi e metadati da Cloud Composer per generare insight tramite dashboard e grafici.
A causa della natura dei flussi di Cloud Logging, puoi visualizzare immediatamente i log emessi dai componenti Airflow invece di attendere che i log di Airflow vengano visualizzati nel bucket Cloud Storage del tuo ambiente.
Per limitare il numero di log nel tuo progetto Google Cloud, puoi interrompere l'importazione di tutti i log. Non disabilitare il logging.