Cargas de trabajo altamente paralelas de HPC de Dataflow

Si trabajas con computación de cuadrícula de gran volumen, usa Dataflow para ejecutar cargas de trabajo de HPC altamente paralelas en un sistema totalmente gestionado. Con Dataflow, puedes ejecutar tus cargas de trabajo altamente paralelas en una sola canalización, lo que mejora la eficiencia y facilita la gestión de tu flujo de trabajo. Los datos permanecen en un sistema tanto para el preprocesamiento como para el posprocesamiento y el procesamiento de tareas. Dataflow gestiona automáticamente las necesidades de rendimiento, escalabilidad, disponibilidad y seguridad.
Sigue este tutorial para ver un ejemplo completo de una canalización de HPC altamente paralela que usa contenedores personalizados con bibliotecas de C++.
Consulta las prácticas recomendadas que debes tener en cuenta al diseñar tu canalización altamente paralela de HPC.

Recursos

Usar GPUs en tareas de Dataflow puede acelerar las tareas de procesamiento de imágenes y de aprendizaje automático.
HSBC usó un flujo de trabajo de computación de alto rendimiento de Dataflow altamente paralelo para aumentar la capacidad y la velocidad de cálculo, así como para reducir los costes.
El ejemplo de la canalización altamente paralela de Dataflow HPC y el código fuente correspondiente están disponibles en GitHub.