Princípios básicos do pipeline para os SDKs do Apache Beam

O Apache Beam é um modelo unificado de código aberto para definir pipelines de processamento paralelo de dados em lote e de streaming. Antes de começar a usar o Dataflow, compreenda como criar, conceber e testar pipelines do Apache Beam.

Recursos do Apache Beam

No Website do Apache Beam, pode encontrar documentação sobre:

  • Como estruturar o seu pipeline: mostra como determinar a estrutura do pipeline, como escolher as transformações a aplicar aos dados e como determinar os métodos de entrada e saída.

  • Como criar o seu pipeline: explica a mecânica da utilização das classes nos SDKs do Beam e os passos necessários para criar um pipeline.

  • Como testar o seu pipeline: apresenta práticas recomendadas para testar os seus pipelines.