Managed Service for Apache Airflow (in precedenza Cloud Composer)

Semplifica la transizione al cloud o gestisci un ambiente dati ibrido orchestrando i flussi di lavoro eseguiti sia on-premise, sia nel cloud pubblico. Crea flussi di lavoro che collegano dati, elaborazione e servizi tra diversi cloud, per un ambiente dati unificato.

Managed Service for Apache Airflow offre agli utenti libertà dal lock-in e portabilità. Questo progetto open source, a cui contribuisce anche Google, libera i clienti dalla dipendenza dal fornitore e fornisce integrazione con una vasta gamma di piattaforme, che continuerà a espandersi di pari passo con la crescita della community di Airflow.

Le pipeline di Managed Service for Apache Airflow sono configurate come grafi diretti aciclici (DAG, Directed Acyclic Graph) tramite Python, perciò sono semplici da usare per chiunque. Il deployment con un clic permette di accedere all'istante a una ricca libreria di connettori e molteplici rappresentazioni grafiche del flusso di lavoro in azione, rendendo più semplice la risoluzione dei problemi. La sincronizzazione automatica dei tuoi grafici aciclici diretti garantisce la puntualità dei job rispetto alla programmazione.

I miglioramenti principali includono il controllo delle versioni DAG per l'auditability (tracciabilità) e i rollback sicuri, oltre a backfill gestiti dallo scheduler per una rielaborazione più semplice dei dati storici. Una nuova API ed SDK per l'esecuzione delle attività apre la strada al futuro supporto multilingue e agli ambienti di attività isolati. Gli utenti beneficiano di un'interfaccia utente più veloce e moderna basata su React con una navigazione migliorata. La pianificazione basata su eventi pianificati mira a pipeline più reattive e quasi in tempo reale. Edge Executor ottimizza l'esecuzione delle attività in remoto e una interfaccia a riga di comando divisa (airflow/airflowctl) offre un'esperienza di riga di comando più chiara per lo sviluppo e le operazioni.