O Apache Beam é um modelo unificado e de código aberto para a definição de pipelines de processamento paralelo de dados em lote e de streaming. Antes de começar a usar o Dataflow, saiba como projetar, criar e testar pipelines do Apache Beam.
Recursos do Apache Beam
No site do Apache Beam, é possível encontrar documentação sobre:
Como projetar o pipeline: mostra como determinar a estrutura do pipeline, como escolher as transformações que serão aplicadas aos dados e como determinar os métodos de entrada e de saída.
Como criar o pipeline: explica a mecânica de uso das classes nos SDKs do Beam e as etapas necessárias para criar um pipeline.
Como testar o pipeline: apresenta as práticas recomendadas para testar os pipelines.