Servicio administrado para Apache Airflow (antes Cloud Composer)

Facilita la transición a la nube o el mantenimiento de un entorno de datos híbrido mediante la organización de flujos de trabajo que funcionen tanto de forma local como en la nube pública. Crea flujos de trabajo que conecten los datos, el procesamiento y los servicios entre diversas nubes para obtener un entorno de datos unificado.

Managed Service para Apache Airflow brinda a los usuarios portabilidad y evita la dependencia. Este proyecto de código abierto, al que Google hace aportes, evita que los clientes dependan de un proveedor y ofrece integración con una gran cantidad de plataformas, que crecerán a la par de la comunidad de Airflow.

Las canalizaciones de Managed Service for Apache Airflow se configuran como grafos acíclicos dirigidos (DAG) con Python, por lo que resulta sencillo para cualquier usuario. La implementación con un solo clic proporciona acceso instantáneo a una extensa biblioteca de conectores y diversas representaciones gráficas del flujo de trabajo en acción, lo que facilita la solución de problemas. La sincronización automática de tus grafos acíclicos dirigidos garantiza que los trabajos se mantengan dentro de lo programado.

Las mejoras clave incluyen el control de versiones de DAG para la auditabilidad y reversiones confiables, además de reabastecimientos administrados por el programador para un reprocesamiento más simple de datos históricos. Una nueva API y SDK de ejecución de tareas allanan el camino para la compatibilidad con varios lenguajes y entornos de tareas aislados en el futuro. Los usuarios se benefician de una IU más rápida y moderna basada en React con navegación mejorada. La programación planificada basada en eventos apunta a canalizaciones más reactivas y casi en tiempo real. El Edge Executor optimiza la ejecución de tareas remotas, y una CLI dividida (airflow/airflowctl) ofrece una experiencia de línea de comandos más clara para el desarrollo y las operaciones.