Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive l'architettura degli ambienti Cloud Composer.
Configurazioni dell'architettura dell'ambiente
Gli ambienti Cloud Composer 2 possono avere la seguente architettura configurazioni:
Progetti dei clienti e dei tenant
Quando crei un ambiente, Cloud Composer distribuisce le risorse dell'ambiente tra un tenant e un progetto del cliente:
- Il progetto del cliente è un progetto Google Cloud in cui crei i tuoi ambienti. Puoi creare più di un ambiente in un singolo progetto del cliente.
Progetto tenant è un progetto tenant gestito da Google. Il progetto tenant fornisce il controllo dell'accesso unificato e un livello aggiuntivo la sicurezza dei dati nel tuo ambiente. Ogni Cloud Composer ha un proprio progetto tenant.
Componenti dell'ambiente
Un ambiente Cloud Composer è costituito da componenti dell'ambiente.
Un componente dell'ambiente è un elemento di un'infrastruttura Airflow gestita che viene eseguita su Google Cloud, all'interno del tuo ambiente. Ambiente vengono eseguiti nel tenant o nel progetto del cliente del tuo ambiente.
Cluster dell'ambiente
Il cluster dell'ambiente è un cluster Google Kubernetes Engine in modalità Autopilot native per VPC del tuo ambiente:
Per impostazione predefinita, Cloud Composer attiva gli upgrade automatici dei nodi e la riparazione automatica dei nodi per proteggere il cluster del tuo ambiente dalle vulnerabilità di sicurezza. Questi che si verificano durante i periodi di manutenzione specificati per completamente gestito di Google Cloud.
Bucket dell'ambiente
Il bucket dell'ambiente è un bucket Cloud Storage che archivia DAG, plug-in, dipendenze dati e log di Airflow. Ambiente del bucket si trova nel progetto del cliente.
Quando carichi i file DAG nella cartella /dags del bucket del tuo ambiente, Cloud Composer sincronizza i DAG con i componenti Airflow del tuo ambiente.
Server web Airflow
Il server web Airflow esegue la UI di Airflow del tuo ambiente.
Cloud Composer fornisce l'accesso all'interfaccia in base alle e associazioni di criteri IAM definite per gli utenti.
Database Airflow
Il database Airflow è un'istanza Cloud SQL in esecuzione nel progetto tenant del tuo ambiente. Ospita Airflow o un database di metadati.
Per proteggere informazioni sensibili relative a connessioni e flussi di lavoro, Cloud Composer consente l'accesso al database solo l'account di servizio del tuo ambiente.
Altri componenti del flusso di aria
Altri componenti Airflow eseguiti nel tuo ambiente sono:
Gli scheduler di Airflow analizzano i file di definizione dei DAG e pianificano le esecuzioni dei DAG in base all'intervallo pianificato e accoda le attività per l'esecuzione Worker Airflow. In Cloud Composer 2, i processori DAG Airflow vengono eseguiti come parte dei componenti dello scheduler.
I triggerer di Airflow monitorano in modo asincrono tutte le attività differite nel tuo ambiente. Se imposti il numero di attivatori nel tuo ambiente su un valore superiore a zero, puoi utilizzare gli operatori differibili nei tuoi DAG.
I worker di Airflow eseguono le attività pianificate dagli scheduler di Airflow. Il numero minimo e massimo di worker nel tuo ambiente cambia in modo dinamico a seconda del numero di attività in coda.
Architettura dell'ambiente IP pubblico
In un'architettura di ambiente con IP pubblico per Cloud Composer 2:
- Il progetto tenant ospita un'istanza Cloud SQL di archiviazione Cloud SQL.
- Il progetto del cliente ospita tutti gli altri componenti dell'ambiente.
- Gli scheduler e i worker di Airflow nel progetto del cliente comunicano il database Airflow tramite un'istanza proxy Cloud SQL per il progetto del cliente.
Architettura dell'ambiente IP privato
Per impostazione predefinita, Cloud Composer 2 utilizza Private Service Connect, in modo che i tuoi ambienti IP privati comunichino internamente senza l'utilizzo di peering VPC. È anche possibile utilizzare i peering VPC anziché Private Service Connect nel tuo ambiente. Si tratta di un'opzione diversa da quella predefinita.
Nell'architettura dell'ambiente IP privato:
- Il progetto tenant ospita un'istanza Cloud SQL di archiviazione Cloud SQL.
- Il progetto del cliente ospita tutti gli altri componenti dell'ambiente.
- Gli scheduler e i worker di Airflow si connettono al database Airflow tramite l'endpoint PSC configurato.
Architettura IP privato altamente resiliente
Gli ambienti Cloud Composer a elevata resilienza sono Cloud Composer 2 ambienti che usano meccanismi di ridondanza e failover integrati che riducono suscettibilità dell'ambiente a errori a livello di zona e single point of failure o in caso di interruzione del servizio.
In questo tipo di ambiente IP privato:
- Un'istanza Cloud SQL del tuo ambiente è configurata per (è un'istanza a livello di regione). All'interno di un'istanza a livello di regione, la configurazione è composta da un'istanza principale e un'istanza in standby.
- Il tuo ambiente esegue due scheduler Airflow, due server web e, se vengono utilizzati gli attivatori, almeno due (fino a dieci in totale). Queste coppie di componenti vengono eseguite in due zone distinte.
- Il numero minimo di worker è impostato su due e il cluster del tuo ambiente distribuisce le istanze worker tra le zone. In caso di interruzione a livello di zona, le istanze worker interessate vengono ripianificate in una zona diversa.
Integrazione con Cloud Logging e Cloud Monitoring
Cloud Composer si integra con Cloud Logging e Cloud Monitoring del tuo progetto Google Cloud, in modo che tu posizione centrale per visualizzare i log di Airflow e DAG.
Cloud Monitoring raccoglie e importa metriche, eventi e metadati da Cloud Composer per generare approfondimenti tramite dashboard e grafici.
A causa della natura dei flussi di Cloud Logging, puoi visualizzare immediatamente i log emessi dai componenti Airflow invece di attendere che i log di Airflow vengano visualizzati nel bucket Cloud Storage del tuo ambiente.
Per limitare il numero di log nel tuo progetto Google Cloud, puoi interrompere l'importazione di tutti i log. Azioni sconsigliate e disabilitare Logging.