Cargas de trabajo altamente paralelas de HPC de Dataflow

Cuando trabajes con computación en red de gran volumen, usa Dataflow para ejecutar cargas de trabajo altamente paralelas de HPC en un sistema completamente administrado. Con Dataflow, puedes ejecutar tus cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la administración de tu flujo de trabajo. Los datos permanecen en un sistema para el procesamiento previo y posterior, y el procesamiento de tareas. Dataflow administra de forma automática las necesidades de rendimiento, escalabilidad, disponibilidad y seguridad.
Sigue este instructivo para ver un ejemplo de extremo a extremo de una canalización altamente paralela de HPC que usa contenedores personalizados con bibliotecas de C++.
Obtén información sobre las prácticas recomendadas que debes tener en cuenta cuando diseñes tu canalización altamente paralela de HPC.

Recursos

El uso de GPU en los trabajos de Dataflow puede acelerar las tareas de procesamiento de imágenes y de aprendizaje automático.
HSBC usó un flujo de trabajo de HPC muy paralelo de Dataflow para aumentar la capacidad y la velocidad de cálculo, a la vez que redujo los costos.
El ejemplo de canalización altamente paralela de HPC de Dataflow y el código fuente correspondiente están disponibles en GitHub.