Principes de base des pipelines avec les SDK Apache Beam

Apache Beam est un modèle unifié Open Source permettant de définir des pipelines de traitement parallèle des données par lots et en streaming. Avant de commencer à utiliser Dataflow, vous devez comprendre comment concevoir, créer et tester des pipelines Apache Beam.

Ressources Apache Beam

Sur le site Web d'Apache Beam, vous pouvez trouver de la documentation (en anglais) sur :

  • Comment concevoir votre pipeline : cette documentation vous montre comment déterminer la structure de votre pipeline, comment choisir les transformations à appliquer à vos données et comment déterminer vos méthodes d'entrée et de sortie.

  • Comment créer votre pipeline : cette documentation explique comment utiliser les classes du SDK Beam et les étapes nécessaires pour créer un pipeline.

  • Comment tester votre pipeline : cette documentation présente les bonnes pratiques à adopter pour tester vos pipelines.