Managed Service for Apache Airflow (anteriormente, Cloud Composer)

Facilita la transición a la nube o el mantenimiento de un entorno híbrido de datos, ya que orquesta los flujos de trabajo que trascienden los límites del entorno on‑premise y de la nube pública. Crea flujos de trabajo que conectan los datos, el procesamiento y los servicios de todas las nubes para que disfrutes de un entorno de datos unificado.

Managed Service for Apache Airflow ofrece a los usuarios portabilidad sin dependencias de ningún tipo. Gracias a este proyecto, en el que también contribuye Google, los clientes se libran de cualquier dependencia. Además, facilita la integración con un elevado número de plataformas, que no dejará de aumentar a medida que crezca la comunidad de Airflow.

Los flujos de procesamiento de Managed Service for Apache Airflow se configuran como grafos acíclicos dirigidos (DAGs) que utilizan Python, lo que facilita su uso a cualquier usuario. Basta un clic para realizar el despliegue y acceder al instante a una extensa biblioteca de conectores y varias representaciones gráficas del flujo de trabajo en funcionamiento. Así, resolver problemas es más sencillo. La sincronización automática de los DAG asegura que las tareas se atengan a la programación.

Entre las mejoras clave se incluyen la gestión de versiones de DAG para la auditabilidad y las restauraciones seguras, junto con los rellenos gestionados por el programador para un reprocesamiento más sencillo de los datos históricos. Una nueva API y SDK de ejecución de tareas allanan el camino para la futura compatibilidad con varios idiomas y entornos de tareas aislados. Los usuarios se benefician de una interfaz de usuario más rápida y moderna basada en React con una navegación mejorada. La programación basada en eventos planificada tiene como objetivo crear flujos de procesamiento más reactivos y casi en tiempo real. Edge Executor optimiza la ejecución de tareas remotas y una CLI dividida (airflow/airflowctl) ofrece una experiencia de línea de comandos más clara para el desarrollo y las operaciones.