Documentation de Dataflow

Dataflow est un service géré permettant d'exécuter une grande variété de schémas de traitement de données. La documentation sur ce site explique comment déployer les pipelines de traitement de données par lot et par flux à l'aide de Dataflow. Elle contient également des instructions concernant l'utilisation des fonctionnalités du service.

Le SDK Apache Beam est un modèle de programmation Open Source qui vous permet de développer des pipelines par lots et en flux continu. Vous créez des pipelines avec un programme Apache Beam, puis les exécutez sur le service Dataflow. La documentation Apache Beam fournit des informations conceptuelles détaillées et des documents de référence pour le modèle de programmation Apache Beam, les SDK et les autres exécuteurs.

Pour apprendre les concepts de base d'Apache Beam, consultez les pages Présentation de Beam et Beam Playground. Le dépôt Dataflow Cookbook fournit également des pipelines prêts à l'emploi et autonomes, ainsi que les cas d'utilisation les plus courants de Dataflow.

Apache, Apache Beam, Beam, le logo Beam et la mascotte de Beam sont des marques déposées d'Apache Software Foundation aux États-Unis et/ou dans d'autres pays.

Ressources de documentation

Consultez des guides de démarrage rapide, des guides et des documents de référence clés, et obtenez de l'aide pour résoudre les problèmes courants.

Guides

Référence

Ressources

Explorez les auto-formations de Google Cloud Skills Boost, des cas d'utilisation, des architectures de référence et des exemples de code illustrant comment utiliser et se connecter à des services Google Cloud.

Exécuter des charges de travail HPC hautement parallèles

Avec Dataflow, vous pouvez exécuter vos charges de travail hautement parallèles dans un seul pipeline, ce qui améliore l'efficacité et facilite la gestion de votre workflow.

Streaming

Exécuter des inférences avec Dataflow ML

Dataflow ML vous permet de déployer et gérer des pipelines de machine learning (ML) complets à l'aide de Dataflow. Utilisez des modèles de ML pour effectuer des inférences en local et à distance avec des pipelines de traitement par lot et par flux. Utilisez les outils de traitement des données pour préparer vos données à entraîner des modèles et traiter leurs résultats.

ML ML

Créer un pipeline de streaming d'e-commerce

Créez un exemple d'application d'e-commerce de bout en bout qui diffuse les données de la boutique en ligne vers BigQuery et Bigtable. L'exemple d'application illustre des cas d'utilisation courants et des bonnes pratiques pour mettre en œuvre l'analyse de flux de données en continu et l'intelligence artificielle (IA) en temps réel.

Flux e-commerce