Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Questa pagina descrive l'architettura degli ambienti Cloud Composer.
Configurazioni dell'architettura dell'ambiente
Gli ambienti Cloud Composer 2 possono avere le seguenti configurazioni dell'architettura:
Progetti cliente e tenant
Quando crei un ambiente, Cloud Composer distribuisce le risorse dell'ambiente tra un progetto tenant e un progetto cliente:
Un progetto cliente è un progetto Google Cloud in cui crei i tuoi ambienti. Puoi creare più di un ambiente in un singolo progetto cliente.
Il progetto tenant è un progetto tenant gestito da Google e appartiene all'organizzazione Google.com. Il progetto tenant fornisce controllo dell'accessoo unificato e un ulteriore livello di sicurezza dei dati al tuo ambiente. Ogni ambiente Cloud Composer ha il proprio progetto tenant.
Componenti dell'ambiente
Un ambiente Cloud Composer è costituito da componenti dell'ambiente.
Un componente dell'ambiente è un elemento di un'infrastruttura Airflow gestita che viene eseguito su Google Cloud, come parte del tuo ambiente. I componenti dell'ambiente vengono eseguiti nel tenant o nel progetto cliente dell'ambiente.
Cluster dell'ambiente
Il cluster dell'ambiente è un cluster Google Kubernetes Engine Autopilot VPC nativo del tuo ambiente:
Per impostazione predefinita, Cloud Composer abilita gli upgrade automatici dei nodi e la riparazione automatica dei nodi per proteggere il cluster del tuo ambiente dalle vulnerabilità di sicurezza. Queste operazioni vengono eseguite durante i periodi di manutenzione specificati per il tuo ambiente.
Bucket dell'ambiente
Il bucket dell'ambiente è un bucket Cloud Storage che archivia DAG, plug-in, dipendenze dei dati e log di Airflow. Il bucket dell'ambiente si trova nel progetto del cliente.
Quando carichi i file DAG nella cartella /dags del bucket dell'ambiente, Cloud Composer sincronizza i DAG con i componenti Airflow dell'ambiente.
Server web Airflow
Il server web di Airflow esegue la UI di Airflow del tuo ambiente.
Cloud Composer fornisce l'accesso all'interfaccia in base alle identità utente e alle associazioni di criteri IAM definite per gli utenti.
Database Airflow
Il database Airflow è un'istanza Cloud SQL che viene eseguita nel progetto tenant del tuo ambiente. Ospita il database di metadati Airflow.
Per proteggere le informazioni sensibili su connessioni e flussi di lavoro, Cloud Composer consente l'accesso al database solo all'account di servizio del tuo ambiente.
Altri componenti Airflow
Gli altri componenti Airflow eseguiti nel tuo ambiente sono:
Gli scheduler Airflow analizzano i file di definizione DAG, pianificano le esecuzioni dei DAG in base all'intervallo pianificato e accodano le attività per l'esecuzione da parte dei worker Airflow. In Cloud Composer 2 i processori DAG Airflow vengono eseguiti come parte dei componenti dello scheduler.
I triggerer di Airflow monitorano in modo asincrono tutte le attività differite nel tuo ambiente. Se imposti il numero di attivatori nel tuo ambiente su un valore superiore a zero, puoi utilizzare operatori differibili nei tuoi DAG.
I worker di Airflow eseguono le attività pianificate dagli scheduler di Airflow. Il numero minimo e massimo di worker nel tuo ambiente cambia in modo dinamico a seconda del numero di attività in coda.
Architettura dell'ambiente IP pubblico
In un'architettura di ambiente con IP pubblico per Cloud Composer 2:
- Il progetto tenant ospita un'istanza Cloud SQL e l'archiviazione Cloud SQL.
- Il progetto cliente ospita tutti gli altri componenti dell'ambiente.
- Gli scheduler e i worker Airflow nel progetto cliente comunicano con il database Airflow tramite un'istanza proxy Cloud SQL che si trova nel progetto cliente.
Architettura dell'ambiente IP privato
Per impostazione predefinita, Cloud Composer 2 utilizza Private Service Connect, in modo che gli ambienti IP privati comunichino internamente senza l'utilizzo di peering VPC. Nel tuo ambiente è anche possibile utilizzare i peering VPC anziché Private Service Connect. Questa è un'opzione non predefinita.
Nell'architettura dell'ambiente IP privato:
- Il progetto tenant ospita un'istanza Cloud SQL e l'archiviazione Cloud SQL.
- Il progetto cliente ospita tutti gli altri componenti dell'ambiente.
- Gli scheduler e i worker di Airflow si connettono al database Airflow tramite l'endpoint PSC configurato.
Architettura IP privato altamente resiliente
Gli ambienti Cloud Composer ad alta resilienza (ad alta disponibilità) sono ambienti multizona che utilizzano meccanismi di ridondanza e failover integrati che riducono la suscettibilità dell'ambiente agli errori a livello di zona e alle interruzioni dovute a single point of failure.
In questo tipo di ambiente IP privato:
- Un componente Cloud SQL del tuo ambiente ha un'istanza principale e un'istanza di standby distribuite tra le zone.
- Il tuo ambiente esegue due scheduler Airflow, due server web e, se vengono utilizzati trigger, un minimo di due (fino a un massimo di dieci) trigger. Queste coppie di componenti vengono eseguite in due zone separate.
- Il numero minimo di worker è impostato su due e il cluster del tuo ambiente distribuisce le istanze worker tra le zone. In caso di interruzione del servizio a livello di zona, le istanze worker interessate vengono riprogrammate in una zona diversa.
Integrazione con Cloud Logging e Cloud Monitoring
Cloud Composer si integra con Cloud Logging e Cloud Monitoring del tuo progetto Google Cloud , in modo da avere un punto centrale per visualizzare i log di Airflow e dei DAG.
Cloud Monitoring raccoglie e importa metriche, eventi e metadati da Cloud Composer per generare approfondimenti tramite dashboard e grafici.
Grazie alla natura di streaming di Cloud Logging, puoi visualizzare immediatamente i log emessi dai componenti Airflow anziché attendere che i log di Airflow vengano visualizzati nel bucket Cloud Storage del tuo ambiente.
Per limitare il numero di log nel tuo progetto Google Cloud , puoi interrompere l'importazione di tutti i log. Non disattivare il logging.