Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Questa pagina descrive l'architettura degli ambienti Cloud Composer.
Configurazioni dell'architettura dell'ambiente
Gli ambienti Cloud Composer 2 possono avere le seguenti configurazioni di architettura:
Progetti dei clienti e dei tenant
Quando crei un ambiente, Cloud Composer distribuisce le risorse dell'ambiente tra un tenant e un progetto del cliente:
- Il progetto cliente è un progetto Google Cloud in cui puoi creare ambienti cloud-native. Puoi creare più di un ambiente in un singolo progetto del cliente.
Progetto tenant è un progetto tenant gestito da Google. Il progetto tenant fornisce il controllo dell'accesso unificato e un livello aggiuntivo la sicurezza dei dati nel tuo ambiente. Ogni Cloud Composer ha un proprio progetto tenant.
Componenti dell'ambiente
Un ambiente Cloud Composer è costituito da componenti dell'ambiente.
Un componente dell'ambiente è un elemento di un'infrastruttura Airflow gestita eseguito su Google Cloud, come parte del tuo ambiente. Ambiente vengono eseguiti nel tenant o nel progetto del cliente del tuo ambiente.
Cluster dell'ambiente
Il cluster dell'ambiente è un cluster Google Kubernetes Engine in modalità Autopilot native per VPC del tuo ambiente:
Per impostazione predefinita, Cloud Composer attiva gli upgrade automatici dei nodi e la riparazione automatica dei nodi per proteggere il cluster del tuo ambiente dalle vulnerabilità di sicurezza. Questi che si verificano durante i periodi di manutenzione specificati per completamente gestito di Google Cloud.
Bucket dell'ambiente
Il bucket dell'ambiente è un bucket Cloud Storage che archivia DAG, plug-in, dipendenze dati e log di Airflow. Ambiente del bucket si trova nel progetto del cliente.
Quando carichi i file DAG nella cartella /dags del bucket del tuo ambiente, Cloud Composer sincronizza i DAG con i componenti Airflow del tuo ambiente.
Server web Airflow
Il server web Airflow esegue la UI di Airflow del tuo ambiente.
Cloud Composer fornisce l'accesso all'interfaccia in base alle identità degli utenti e alle associazioni dei criteri IAM definite per gli utenti.
Database Airflow
Il database Airflow è un'istanza Cloud SQL in esecuzione nel progetto tenant del tuo ambiente. Ospita il database dei metadati Airflow.
Per proteggere le informazioni sensibili relative a connessioni e flussi di lavoro, Cloud Composer consente l'accesso al database solo all'account di servizio del tuo ambiente.
Altri componenti del flusso di aria
Altri componenti Airflow eseguiti nel tuo ambiente sono:
Gli scheduler di Airflow analizzano i file di definizione dei DAG e pianificano le esecuzioni dei DAG in base all'intervallo pianificato e accoda le attività per l'esecuzione Worker Airflow. In Cloud Composer 2 I processori DAG di Airflow vengono eseguiti come parte dei componenti dello scheduler.
Gli attivatori Airflow monitorano in modo asincrono tutte le attività differite nei completamente gestito di Google Cloud. Se imposti il numero di attivatori nel tuo ambiente su un valore superiore a zero, puoi utilizzare gli operatori differibili nei tuoi DAG.
I lavoratori Airflow eseguono le attività pianificate da Airflow scheduler. Il numero minimo e massimo di worker nel tuo ambiente cambia in modo dinamico a seconda del numero di attività in coda.
Architettura dell'ambiente IP pubblico
In un'architettura di ambiente IP pubblico per Cloud Composer 2:
- Il progetto tenant ospita un'istanza Cloud SQL di archiviazione Cloud SQL.
- Il progetto del cliente ospita tutti gli altri componenti dell'ambiente.
- Gli scheduler e i worker di Airflow nel progetto del cliente comunicano con il database Airflow tramite un'istanza proxy Cloud SQL nel progetto del cliente.
Architettura dell'ambiente IP privato
Per impostazione predefinita, Cloud Composer 2 utilizza Private Service Connect, in modo che le tue Gli ambienti IP privati comunicano internamente senza l'utilizzo di VPC e i peering. È anche possibile utilizzare i peering VPC anziché Private Service Connect nel tuo ambiente. Si tratta di un non predefinita.
Nell'architettura dell'ambiente IP privato:
- Il progetto tenant ospita un'istanza Cloud SQL e lo spazio di archiviazione Cloud SQL.
- Il progetto del cliente ospita tutti gli altri componenti dell'ambiente.
- Gli scheduler e i worker di Airflow si connettono al database Airflow tramite l'endpoint PSC configurato.
Architettura IP privato altamente resiliente
Gli ambienti Cloud Composer altamente resilienti sono ambienti Cloud Composer 2 che utilizzano meccanismi di ridondanza e failover integrati che riducono la suscettibilità dell'ambiente a guasti zonali e interruzioni di servizio causate da single point of failure.
In questo tipo di ambiente IP privato:
- Un'istanza Cloud SQL del tuo ambiente è configurata per (è un'istanza a livello di regione). All'interno di un'istanza a livello di regione, la configurazione include un'istanza principale e un'istanza in standby.
- Il tuo ambiente esegue due scheduler Airflow, due server web e, se vengono utilizzati gli attivatori, almeno due (fino a dieci in totale). Queste coppie di componenti vengono eseguite in due zone distinte.
- Il numero minimo di worker è impostato su due e il cluster del tuo ambiente distribuisce le istanze worker tra le zone. In caso di interruzione a livello di zona, le istanze di worker interessate vengono riprogrammate in una zona diversa.
Integrazione con Cloud Logging e Cloud Monitoring
Cloud Composer si integra con Cloud Logging e Cloud Monitoring del tuo progetto Google Cloud, in modo da avere un unico punto di accesso per visualizzare i log di Airflow e DAG.
Cloud Monitoring raccoglie e importa metriche, eventi e metadati da Cloud Composer per generare approfondimenti tramite dashboard e grafici.
A causa della natura in streaming di Cloud Logging, puoi visualizzare immediatamente i log emessi dai componenti di Airflow anziché attendere che vengano visualizzati nel bucket Cloud Storage del tuo ambiente.
Per limitare il numero di log nel tuo progetto Google Cloud, puoi interrompere l'importazione di tutti i log. Non disattivare il logging.