Casos prácticos de Dataflow
Dataflow se ha diseñado para admitir flujos de procesamiento de datos de streaming y por lotes a gran escala. Dataflow se basa en el framework de código abierto Apache Beam.
En esta página se incluyen enlaces a tutoriales y ejemplos de casos prácticos para ayudarte a dar los primeros pasos.
Migración de datos
Procesar datos de Kafka a BigQuery
En este tutorial se muestra cómo ejecutar una plantilla de Dataflow que lee datos de Managed Service para Apache Kafka y escribe los registros en una tabla de BigQuery.
Procesar datos de Pub/Sub a BigQuery
En este tutorial se muestra cómo ejecutar una plantilla de Dataflow que lee mensajes codificados en JSON de Pub/Sub y los escribe en una tabla de BigQuery.
Dataflow ML
Usar RunInference y Embeddings
En este cuaderno se muestra cómo usar modelos de aprendizaje automático en las canalizaciones de Apache Beam que usan la transformación RunInference.
Usar GPUs en una canalización
En este cuaderno se muestra cómo ejecutar la inferencia de aprendizaje automático mediante vLLM y GPUs. vLLM es una biblioteca para la inferencia y el servicio de LLMs.
Otros recursos
Patrones de referencia
Enlaces a código de muestra y guías de referencia técnica para casos prácticos habituales de Dataflow.
Flujo de procesamiento de streaming de comercio electrónico
En este tutorial, crearás una canalización que transforma datos de comercio electrónico de Pub/Sub y los envía a BigQuery y Bigtable.
Cargas de trabajo de HPC altamente paralelas
Con Dataflow, puedes ejecutar cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la gestión de tu flujo de trabajo.