Documentação do Dataflow

O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.

O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.

Para aprender os conceitos básicos do Apache Beam, consulte o Tour do Beam e o Beam Playground. O repositório do Manual do Dataflow também fornece pipelines prontos para lançamento e independentes, além dos casos de uso mais comuns do Dataflow.

Apache, Apache Beam, Beam, o logotipo do Beam e o mascote Firefly são marcas registradas da Apache Software Foundation nos Estados Unidos e/ou em outros países.

Recursos de documentação

Encontre guias de início rápido, consulte referências de chaves e receba ajuda para problemas comuns.

Guias

Referência

Recursos

Conheça o treinamento autoguiado do Google Cloud Skills Boost, os casos de uso, as arquiteturas de referência e os exemplos de código com exemplos de como usar e conectar os serviços do Google Cloud.

Executar cargas de trabalho de HPC altamente paralelas

Com o Dataflow, é possível executar cargas de trabalho altamente paralelas em um único pipeline, melhorando a eficiência e facilitando o gerenciamento do fluxo de trabalho.

Streaming

Executar inferência com o Dataflow ML

O Dataflow ML permite usar o Dataflow para implantar e gerenciar pipelines completos de machine learning (ML). Use modelos de ML para fazer inferências locais e remotas com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar seus dados para o treinamento de modelo e processar os resultados dos modelos.

ML Streaming

Criar um pipeline de streaming de e-commerce

Criar um aplicativo de amostra de e-commerce completo que transmite dados de uma loja on-line para o BigQuery e o Bigtable. O aplicativo de amostra ilustra casos comuns e práticas recomendadas para implementar a análise de dados de streaming e a inteligência artificial (IA) em tempo real.

e-commerce Streaming