Managed Service pour Apache Airflow (anciennement Cloud Composer)

Simplifiez votre transition vers le cloud ou maintenez un environnement de données hybride en orchestrant des workflows entre des environnements sur site et le cloud public. Créez des workflows qui connectent des données, des traitements et des services sur plusieurs clouds. Vous bénéficiez ainsi d'un environnement de données unifié.

Managed Service pour Apache Airflow offre aux utilisateurs une grande portabilité et la possibilité de s'affranchir des fournisseurs. Ce projet Open Source, auquel Google contribue de nouveau, permet aux clients d'éviter d'être dépendants d'un fournisseur, tout en assurant une intégration sur de nombreuses plates-formes, dont le nombre ne cessera de grandir à mesure que la communauté Airflow se développera.

Les pipelines Managed Service pour Apache Airflow sont configurés sous forme de graphes orientés acycliques (DAG) à l'aide de Python, ce qui permet à tous les utilisateurs de les gérer facilement. Le déploiement en un clic offre un accès immédiat à une riche bibliothèque de connecteurs et à de nombreuses représentations graphiques de votre workflow en action, ce qui simplifie le dépannage. Grâce à la synchronisation automatique de vos graphes orientés acycliques, vos tâches respectent la planification.

Les principales améliorations incluent le contrôle des versions des DAG pour l'auditabilité et les rollbacks fiables, ainsi que les backfills gérés par le programmateur pour un retraitement plus simple des données historiques. Une nouvelle API et un nouveau SDK d'exécution des tâches ouvrent la voie à la prise en charge de plusieurs langages et à des environnements de tâches isolés. Les utilisateurs bénéficient d'une interface utilisateur plus rapide et moderne basée sur React, avec une navigation améliorée. La planification événementielle vise à créer des pipelines plus réactifs et en temps quasi réel. L'Edge Executor optimise l'exécution des tâches à distance, et une CLI divisée (airflow/airflowctl) offre une expérience de ligne de commande plus claire pour le développement et les opérations.