Dataflow est basé sur le projet Open Source Apache Beam. Vous pouvez utiliser le SDK Apache Beam pour créer des pipelines pour Dataflow. Ce document répertorie certaines ressources utiles pour vous familiariser avec la programmation Apache Beam.
Installer le SDK Apache Beam : montre comment installer le SDK Apache Beam afin de pouvoir exécuter vos pipelines sur le service Dataflow.
Guide de programmation d'Apache Beam : fournit des conseils pour utiliser les classes du SDK Apache Beam afin de créer et tester votre pipeline.
Visite guidée d'Apache Beam : guide de formation qui vous permet de vous familiariser avec Apache Beam. Les unités de formation sont accompagnées d'exemples de code que vous pouvez exécuter et modifier.
Apache Beam Playground : environnement interactif pour tester des transformations Apache Beam et des exemples sans avoir à installer Apache Beam dans votre environnement.
Sur le site Web d'Apache Beam, vous pouvez également trouver des informations sur la conception, la création et le test de votre pipeline :
Concevoir votre pipeline : cette documentation vous montre comment déterminer la structure de votre pipeline, comment choisir les transformations à appliquer à vos données et comment déterminer vos méthodes d'entrée et de sortie.
Créer votre pipeline : cette documentation explique comment utiliser les classes du SDK Apache Beam et les étapes nécessaires pour créer un pipeline.
Tester votre pipeline : cette page présente les bonnes pratiques à adopter lors des tests de vos pipelines.