Documentación de Dataflow

Dataflow es un servicio administrado que ejecuta una amplia variedad de patrones de procesamiento de datos. La documentación que se ofrece en este sitio muestra cómo implementar las canalizaciones de procesamiento de datos por lotes y de transmisión mediante Dataflow, y también incluyen instrucciones sobre el uso de las características del servicio.

El SDK de Apache Beam es un modelo de programación de código abierto que te permite desarrollar canalizaciones de transmisión y por lotes. Puedes crear tus canalizaciones con un programa de Apache Beam y, luego, ejecutarlas en el servicio de Dataflow. La documentación de Apache Beam proporciona información conceptual detallada y material de referencia sobre el modelo de programación de Apache Beam, los SDK y otros ejecutores.

Para conocer los conceptos básicos de Apache Beam, consulta el Recorrido de Beam y Beam Playground. El repositorio de guía de soluciones de Dataflow también proporciona canalizaciones listas para usar e independientes, y los casos de uso más comunes de Dataflow.

Apache, Apache Beam, Beam, el logotipo de Beam y la mascota de luciérnaga de Beam son marcas registradas de The Apache Software Foundation en los Estados Unidos o en otros países.

Recursos de documentación

Encuentra guías de inicio rápido y otras guías, revisa las referencias clave y obtén ayuda con problemas habituales.

Guías

Referencia

Recursos

Explora la capacitación de autoaprendizaje de Google Cloud Skills Boost, casos de uso, arquitecturas de referencia y muestras de código con ejemplos de cómo usar y conectar los servicios de Google Cloud.

Ejecuta cargas de trabajo de HPC altamente paralelas

Con Dataflow, puedes ejecutar tus cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la administración de tu flujo de trabajo.

Transmisión

Ejecuta la inferencia con Dataflow ML

Dataflow ML le permite usar Dataflow para implementar y administrar canalizaciones de aprendizaje automático (AA) completas. Usa modelos de AA para realizar inferencias locales y remotas con canalizaciones por lotes y de transmisión. Usa herramientas de procesamiento de datos a fin de preparar tus datos para el entrenamiento de modelos y para procesar los resultados de los modelos.

AA Transmisión

Crea una canalización de transmisión de comercio electrónico

Compila una aplicación de ejemplo de comercio electrónico de extremo a extremo que transmita datos de una tienda web a BigQuery y Bigtable. En la aplicación de muestra, se ilustran casos de uso comunes y prácticas recomendadas para implementar las estadísticas de datos de transmisión y la inteligencia artificial (IA) en tiempo real.

comercio electrónico Transmisión