Documentação do Dataflow

Esta página foi traduzida pela API Cloud Translation.

Documentação do Dataflow

O Dataflow é um serviço gerenciado para executar uma ampla variedade de padrões de processamento de dados. A documentação neste site mostra como implantar os pipelines de processamento de dados de streaming e em lote usando o Dataflow, incluindo instruções de uso dos recursos de serviço.

O SDK do Apache Beam é um modelo de programação de código aberto que permite desenvolver pipelines de lote e de streaming. Você cria pipelines com um programa do Apache Beam e os executa no serviço do Dataflow. A documentação do Apache Beam fornece informações conceituais aprofundadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.

Para aprender os conceitos básicos do Apache Beam, consulte o Tour do Beam e o Beam Playground. O repositório do Manual do Dataflow também fornece pipelines prontos para lançamento e independentes, além dos casos de uso mais comuns do Dataflow.

Apache, Apache Beam, Beam, o logotipo do Beam e o mascote Firefly são marcas registradas da Apache Software Foundation nos Estados Unidos e/ou em outros países.

Comece a usar gratuitamente

Comece seu próximo projeto com US$ 300 em créditos sem custos financeiros

Crie e teste uma prova de conceito com os créditos de teste e o uso mensal sem custos financeiros de mais de 20 produtos.

Confira ofertas de produtos sem custos financeiros

Continue explorando com mais de 20 produtos sempre gratuitos

Acesse mais de 20 produtos gratuitos para casos de uso comuns, incluindo APIs de IA, VMs, data warehouses e muito mais.

Recursos de documentação

Encontre guias de início rápido, consulte referências de chaves e receba ajuda para problemas comuns.

Guias

Referência

Recursos

Conheça o treinamento autoguiado do Google Cloud Skills Boost, os casos de uso, as arquiteturas de referência e os exemplos de código com exemplos de como usar e conectar os serviços do Google Cloud.

Executar cargas de trabalho de HPC altamente paralelas

Com o Dataflow, é possível executar cargas de trabalho altamente paralelas em um único pipeline, melhorando a eficiência e facilitando o gerenciamento do fluxo de trabalho.

Streaming

Executar inferência com o Dataflow ML

O Dataflow ML permite usar o Dataflow para implantar e gerenciar pipelines completos de machine learning (ML). Use modelos de ML para fazer inferências locais e remotas com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar seus dados para o treinamento de modelo e processar os resultados dos modelos.

ML Streaming

Criar um pipeline de streaming de e-commerce

Criar um aplicativo de amostra de e-commerce completo que transmite dados de uma loja on-line para o BigQuery e o Bigtable. O aplicativo de amostra ilustra casos comuns e práticas recomendadas para implementar a análise de dados de streaming e a inteligência artificial (IA) em tempo real.

e-commerce Streaming