Dataflow est un service géré permettant d'exécuter une grande variété de schémas de traitement de données. La documentation sur ce site explique comment déployer les pipelines de traitement de données par lot et par flux à l'aide de Dataflow. Elle contient également des instructions concernant l'utilisation des fonctionnalités du service.
Le SDK Apache Beam est un modèle de programmation Open Source qui vous permet de développer des pipelines par lots et en flux continu. Vous créez des pipelines avec un programme Apache Beam, puis les exécutez sur le service Dataflow. La documentation Apache Beam fournit des informations conceptuelles détaillées et des documents de référence pour le modèle de programmation Apache Beam, les SDK et les autres exécuteurs.
Guides
-
Guides de démarrage rapide : Guide de démarrage rapide: créer un pipeline Dataflow à l'aide de Python, Guide de démarrage rapide: créer un pipeline Dataflow à l'aide de Java, Guide de démarrage rapide: créer un pipeline Dataflow à l'aide de Go ou Guide de démarrage rapide: créer un pipeline en flux continu à l'aide d'un modèle Dataflow
-
Créer un pipeline
-
Déployer un pipeline
-
Spécifier les paramètres d'exécution du pipeline
-
Effectuer le développement avec des notebooks
-
Premiers pas avec les modèles fournis par Google
-
Arrêter un pipeline en cours d'exécution
-
Dépannage et débogage
-
Référence
Cas d'utilisation
Découvrez des cas d'utilisation, des architectures de référence, des livres blancs, les bonnes pratiques et les solutions du secteur.