Cloud Composer

Facilita la transición a la nube o el mantenimiento de un entorno de datos híbrido mediante la organización de flujos de trabajo que funcionen tanto de forma local como en la nube pública. Crea flujos de trabajo que conecten los datos, el procesamiento y los servicios entre diversas nubes para obtener un entorno de datos unificado.

Cloud Composer se basa en Apache Airflow, lo que brinda a los usuarios portabilidad y evita que dependan de un solo proveedor. Este proyecto de código abierto, al que Google hace aportes, evita que los clientes dependan de un proveedor y ofrece integración con una gran cantidad de plataformas, que crecerán a la par de la comunidad de Airflow.

Las canalizaciones de Cloud Composer se configuran como grafos acíclicos dirigidos (DAG) mediante Python, por lo que cualquier usuario lo encontrará sencillo. La implementación con un solo clic proporciona acceso instantáneo a una extensa biblioteca de conectores y diversas representaciones gráficas del flujo de trabajo en acción, lo que facilita la solución de problemas. La sincronización automática de tus grafos acíclicos dirigidos garantiza que los trabajos se mantengan dentro de lo programado.

Las mejoras clave incluyen el control de versiones de DAG para la auditabilidad y reversiones confiables, además de reabastecimientos administrados por el programador para un reprocesamiento más simple de datos históricos. Una nueva API y SDK de ejecución de tareas allanan el camino para la compatibilidad con varios lenguajes y entornos de tareas aislados en el futuro. Los usuarios se benefician de una IU más rápida y moderna basada en React con navegación mejorada. La programación planificada basada en eventos apunta a canalizaciones más reactivas y casi en tiempo real. El Edge Executor optimiza la ejecución de tareas remotas, y una CLI dividida (airflow/airflowctl) ofrece una experiencia de línea de comandos más clara para el desarrollo y las operaciones.