Cloud Composer 3 : découvrez la nouvelle génération d’orchestration des pipelines de données
Rafał Biegacz
Senior Engineering Manager, Cloud Composer
Piotr Wieczorek
Senior Product Manager, Cloud Composer
N’importe quelle équipe data vous le dira : la gestion d'Apache Airflow est souvent un véritable casse-tête, nécessitant d'innombrables heures consacrées aux problèmes de fiabilité, de sécurité et d'optimisation des ressources. Ce temps précieux pourrait être mieux investi dans l'analyse de données et la création de valeur pour l'entreprise.
Désormais officiellement disponible, Cloud Composer 3 change la donne. Cette nouvelle version de notre service Apache Airflow entièrement managé, dédié à l’orchestration des workflows de données, simplifie non seulement la mise en œuvre des pipelines mais réduit aussi la charge opérationnelle tout en accélérant la création de valeur.
Cloud Composer : la solution Airflow managée la plus avancée
Cloud Composer 3 permet aux équipes data de créer, d'exécuter et de gérer des pipelines de données avec une efficacité et un contrôle accrus. Son interface utilisateur simplifiée, ses performances améliorées et ses fonctionnalités de sécurité robustes en font la plateforme idéale pour accélérer tous vos projets data.
Adopté par de nombreuses entreprises, Cloud Composer s’est imposé comme la solution de référence dans le domaine de l’analytique pour automatiser les workflows data. Aujourd’hui, elle joue également un rôle clé dans l’orchestration des workflows IA/ML, simplifiant ainsi la mise en œuvre des pratiques MLOps, essentielles à la réussite des projets IA.
Principales nouveautés apportées par Cloud Composer 3
La nouvelle version de Cloud Composer propose de nombreuses nouvelles fonctionnalités puissantes ainsi que nombre d’améliorations conçues pour simplifier la gestion des pipelines de données et gagner en efficacité :
- Configuration réseau simplifiée : configurez facilement vos paramètres réseau grâce à des options prêtes à l’emploi et plus intuitives, réduisant la complexité et la charge opérationnelle.
- Versioning en continu (evergreen) : vous bénéficiez automatiquement des dernières versions de Cloud Composer : nouvelles fonctionnalités, correctifs de sécurité et améliorations de performance.
- Fin des problématiques d’infrastructure : concentrez-vous sur vos pipelines de données, pas sur l’infrastructure. Cloud Composer 3 prend en charge la couche sous-jacente pour vous permettre de vous focaliser sur la conception et l’exécution de vos DAGs (Directed Acyclic Graph).
- Performances et fiabilité renforcées : gagnez en performances et en stabilité grâce à une infrastructure optimisée et une gestion étendue des ressources.
- Gestion fine des ressources CPU et mémoire: ajustez précisément l’allocation CPU et mémoire pour chaque tâche, afin d’optimiser les performances tout en maîtrisant les coûts.
- Renforcement de la sécurité : en s’appuyant sur l’infrastructure sous-jacente de Google, Cloud Composer 3 bénéficie automatiquement des meilleures pratiques en matière de sécurité.
- … et bien d’autres améliorations encore.
Bénéfices pour les équipes data
Cloud Composer 3 apporte des avantages concrets aux ingénieurs data, data scientists et architectes de données :
- Une productivité accrue : grâce à des workflows optimisés et une gestion simplifiée, les équipes data libèrent un temps précieux qu’elles peuvent consacrer à des tâches à plus forte valeur ajoutée.
- Une charge opérationnelle réduite : la gestion automatisée de l'infrastructure et le versioning « evergreen » (qui garantit que les utilisateurs ont toujours accès aux versions les plus récentes du service) allègent la charge opérationnelle, laissant ainsi plus de temps aux équipes pour innover.
- Un ROI plus rapide : l’amélioration des performances et de la scalabilité favorise une mise en œuvre plus rapide. Les entreprises peuvent ainsi obtenir des insights plus vite, réduire les délais de mise en production de leurs projets data, et en tirer plus rapidement de la valeur.
Passez à Cloud Composer 3 dès aujourd'hui
Prêt à découvrir la nouvelle génération d'orchestration de pipelines de données ? Consultez notre documentation pour obtenir des instructions détaillées et rejoignez les nombreuses entreprises qui utilisent déjà Cloud Composer.