O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.
O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.
Para aprender os conceitos básicos do Apache Beam, consulte o Tour do Beam e o Beam Playground. O repositório do Manual do Dataflow também fornece pipelines prontos para lançamento e independentes, além dos casos de uso mais comuns do Dataflow.
Guias
-
Guias de início rápido: Guia de início rápido: criar um pipeline do Dataflow usando Python, Guia de início rápido: criar um pipeline do Dataflow usando Java, Guia de início rápido: criar um pipeline do Dataflow usando Go ou Guia de início rápido: criar um pipeline de streaming usando um modelo do Dataflow
-
Criar um pipeline
-
Implantar um pipeline
-
Como especificar parâmetros de execução de pipeline
-
Como desenvolver com notebooks
-
Primeiros passos com os modelos fornecidos pelo Google
-
Interromper um pipeline em execução
-
Solução de problemas e depuração
-
Referência
Casos de uso
Veja mais sobre casos de uso, arquiteturas de referência, whitepapers, práticas recomendadas e soluções do setor.