Casos de uso de Dataflow
Dataflow está diseñado para admitir canalizaciones de transmisión y por lotes a gran escala. Dataflow se basa en el framework de código abierto Apache Beam.
En esta página, se proporcionan vínculos a instructivos y ejemplos de casos de uso para ayudarte a comenzar.
Traslado de datos
Procesa datos de Kafka a BigQuery
En este instructivo, se muestra cómo ejecutar una plantilla de Dataflow que lee datos del servicio administrado para Apache Kafka y escribe los registros en una tabla de BigQuery.
Procesa datos de Pub/Sub a BigQuery
En este instructivo, se muestra cómo ejecutar una plantilla de Dataflow que lee mensajes codificados en JSON desde Pub/Sub y los escribe en una tabla de BigQuery.
Dataflow ML
Usa RunInference y Embeddings
En este notebook, se muestra cómo usar modelos de AA en canalizaciones de Apache Beam que usan la transformación RunInference.
Usa GPUs en tu canalización
En este notebook, se muestra cómo ejecutar la inferencia de aprendizaje automático con vLLM y GPUs. vLLM es una biblioteca para la inferencia y la entrega de LLM.
Otros recursos
Patrones de referencia
Vínculos a muestras de código y guías de referencia técnicas para casos de uso comunes de Dataflow
Canalización de transmisión de comercio electrónico
En este instructivo, crearás una canalización que transforma los datos de comercio electrónico de Pub/Sub y los envía a BigQuery y Bigtable.
Cargas de trabajo altamente paralelas de HPC
Con Dataflow, puedes ejecutar cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la administración de tu flujo de trabajo.