Use o Apache Beam para criar pipelines

O Dataflow é criado com base no projeto de código aberto Apache Beam. Pode usar o SDK do Apache Beam para criar pipelines para o Dataflow. Este documento apresenta alguns recursos para começar a programar com o Apache Beam.

Começar

  • Instale o SDK do Apache Beam: mostra como instalar o SDK do Apache Beam para poder executar os seus pipelines no Dataflow.

  • Crie um pipeline Java: mostra como criar um pipeline com o SDK Java do Apache Beam e executar o pipeline no Dataflow.

  • Crie um pipeline Python: mostra como criar um pipeline com o SDK Python do Apache Beam e executar o pipeline no Dataflow.

  • Crie um pipeline Go: mostra como criar um pipeline com o SDK Go do Apache Beam e executar o pipeline no Dataflow.

Aprenda a usar o Apache Beam

Pode usar as seguintes páginas no Website do Apache Beam para saber mais sobre a programação do Apache Beam.

  • Guia de programação do Apache Beam: fornece orientações para usar as classes do SDK do Apache Beam para criar e testar o seu pipeline.

  • Visita guiada ao Apache Beam: Um guia de aprendizagem que pode usar para se familiarizar com o Apache Beam. As unidades de aprendizagem são acompanhadas de exemplos de código que pode executar e modificar.

  • Playground do Apache Beam: Um ambiente interativo para experimentar transformações e exemplos do Apache Beam sem ter de instalar o Apache Beam no seu ambiente.

  • Crie o seu pipeline: Explica o funcionamento da utilização das classes nos SDKs do Apache Beam e os passos necessários para criar um pipeline.

Desenvolva pipelines

  • Planeie o seu pipeline: saiba como planear o seu pipeline antes de começar o desenvolvimento de código.

  • Desenvolva e teste pipelines: aprenda as práticas recomendadas para desenvolver e testar o seu pipeline do Dataflow.

  • Pipelines de streaming: saiba mais sobre considerações de design importantes para pipelines de streaming, incluindo janelas, acionadores e marcas de água.

Exemplos de código

Pode usar os seguintes exemplos do GitHub do Apache Beam para começar a criar um pipeline de streaming:

O que se segue?