Casos de uso de Dataflow

Dataflow está diseñado para admitir canalizaciones de transmisión y por lotes a gran escala. Dataflow se basa en el framework de código abierto Apache Beam.

En esta página, se proporcionan vínculos a instructivos y ejemplos de casos de uso para ayudarte a comenzar.

Traslado de datos

En este instructivo, se muestra cómo ejecutar una plantilla de Dataflow que lee datos del servicio administrado para Apache Kafka y escribe los registros en una tabla de BigQuery.
En este instructivo, se muestra cómo ejecutar una plantilla de Dataflow que lee mensajes codificados en JSON desde Pub/Sub y los escribe en una tabla de BigQuery.

Dataflow ML

En este notebook, se muestra cómo usar modelos de AA en canalizaciones de Apache Beam que usan la transformación RunInference.
En este notebook, se muestra cómo ejecutar la inferencia de aprendizaje automático con vLLM y GPUs. vLLM es una biblioteca para la inferencia y la entrega de LLM.

Otros recursos

Vínculos a muestras de código y guías de referencia técnicas para casos de uso comunes de Dataflow
En este instructivo, crearás una canalización que transforma los datos de comercio electrónico de Pub/Sub y los envía a BigQuery y Bigtable.
Con Dataflow, puedes ejecutar cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la administración de tu flujo de trabajo.