Casos de uso do Dataflow
O Dataflow foi projetado para aceitar pipelines em lote e de streaming em grande escala. O Dataflow é baseado no framework de código aberto Apache Beam.
Nesta página, você encontra links para tutoriais e exemplos de casos de uso para ajudar você a começar.
Movimentação de dados
Processar dados do Kafka para o BigQuery
Neste tutorial, mostramos como executar um modelo do Dataflow que lê do serviço gerenciado do Apache Kafka e grava os registros em uma tabela do BigQuery.
Processar dados do Pub/Sub para o BigQuery
Neste tutorial, mostramos como executar um modelo do Dataflow que lê mensagens codificadas em JSON do Pub/Sub e as grava em uma tabela do BigQuery.
ML do Dataflow
Usar o RunInference e embeddings
Este notebook mostra como usar modelos de ML em pipelines do Apache Beam que usam a transformação RunInference.
Usar GPUs no pipeline
Este notebook mostra como executar a inferência de machine learning usando vLLM e GPUs. O vLLM é uma biblioteca para inferência e disponibilização de LLMs.
Outros recursos
Padrões de referência
Links para exemplos de código e guias de referência técnica para casos de uso comuns do Dataflow.
Pipeline de streaming de e-commerce
Neste tutorial, você cria um pipeline que transforma dados de e-commerce do Pub/Sub e gera dados para o BigQuery e o Bigtable.
Cargas de trabalho com alto paralelismo de HPC
Com o Dataflow, é possível executar cargas de trabalho altamente paralelas em um único pipeline, melhorando a eficiência e facilitando o gerenciamento do fluxo de trabalho.