Exemplos de utilização do Dataflow

O Dataflow foi concebido para suportar pipelines de streaming e em lote em grande escala. O Dataflow é criado com base na framework Apache Beam de código aberto.

Esta página inclui links para tutoriais e exemplos de utilização para ajudar a começar.

Acerca do Dataflow Acerca do Apache Beam

Movimento de dados

Este tutorial mostra como executar um modelo do Dataflow que lê a partir do Managed Service for Apache Kafka e escreve os registos numa tabela do BigQuery.
Este tutorial mostra como executar um modelo do Dataflow que lê mensagens codificadas em JSON do Pub/Sub e as escreve numa tabela do BigQuery.

Dataflow ML

Este bloco de notas mostra como usar modelos de ML em pipelines do Apache Beam que usam a transformação RunInference.
Este bloco de notas mostra como executar a inferência de aprendizagem automática através do vLLM e das GPUs. O vLLM é uma biblioteca para inferência e fornecimento de GMLs.

Outros recursos

Links para código de exemplo e guias de referência técnica para exemplos de utilização comuns do Dataflow.
Neste tutorial, vai criar um pipeline que transforma dados de comércio eletrónico do Pub/Sub e envia os dados para o BigQuery e o Bigtable.
Com o Dataflow, pode executar cargas de trabalho altamente paralelas num único pipeline, o que melhora a eficiência e facilita a gestão do fluxo de trabalho.