Documentação do Dataflow
O Dataflow é um serviço gerido para executar uma grande variedade de padrões de processamento de dados. A documentação neste site mostra-lhe como implementar os seus pipelines de processamento de dados em lote e streaming usando o Dataflow, incluindo instruções para usar as funcionalidades do serviço.
O SDK Apache Beam é um modelo de programação de código aberto que lhe permite desenvolver pipelines de processamento em lote e de streaming. Cria os seus pipelines com um programa Apache Beam e, em seguida, executa-os no serviço Dataflow. A documentação do Apache Beam fornece informações conceptuais detalhadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.
Para aprender os conceitos básicos do Apache Beam, consulte a Visita guiada ao Beam e o Beam Playground. O repositório Dataflow Cookbook também fornece pipelines autónomos e prontos a serem iniciados e os exemplos de utilização mais comuns do Dataflow.
Inicie a sua prova de conceito com 300 USD de crédito grátis
- Aceda ao Gemini 2.0 Flash Thinking
- Utilização mensal gratuita de produtos populares, incluindo APIs de IA e o BigQuery
- Sem cobranças automáticas nem compromissos
Continue a explorar com mais de 20 produtos sempre gratuitos
Aceda a mais de 20 produtos gratuitos para exemplos de utilização comuns, incluindo APIs de IA, VMs, armazéns de dados e muito mais.
Recursos de documentação
Guias
Recursos relacionados
Execute cargas de trabalho altamente paralelas de HPC
Com o Dataflow, pode executar as suas cargas de trabalho altamente paralelas num único pipeline, o que melhora a eficiência e facilita a gestão do seu fluxo de trabalho.
Execute a inferência com o Dataflow ML
O Dataflow ML permite-lhe usar o Dataflow para implementar e gerir pipelines de aprendizagem automática (AA) completos. Use modelos de AA para fazer inferência local e remota com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar os dados para a preparação de modelos e para processar os resultados dos modelos.
Crie um pipeline de streaming de comércio eletrónico
Crie uma aplicação de exemplo de comércio eletrónico integral que transmita dados de uma loja Web para o BigQuery e o Bigtable. A aplicação de exemplo ilustra exemplos de utilização comuns e práticas recomendadas para a implementação da análise de dados de streaming e da inteligência artificial (IA) em tempo real.