Charges de travail Dataflow HPC hautement parallèles

Lorsque vous travaillez avec d'importants calculs en grille, utilisez Dataflow pour exécuter des charges de travail HPC hautement parallèles dans un système entièrement géré. Avec Dataflow, vous pouvez exécuter vos charges de travail hautement parallèles dans un seul pipeline, ce qui améliore l'efficacité et facilite la gestion de votre workflow. Les données restent dans un même système à la fois pour les étapes de pré et de post-traitement, et pour le traitement des tâches. Dataflow gère automatiquement les besoins en termes de performances, d'évolutivité, de disponibilité et de sécurité.
Suivez ce tutoriel pour voir un exemple de bout en bout d'un pipeline HPC hautement parallèle utilisant des conteneurs personnalisés avec des bibliothèques C++.
Découvrez les bonnes pratiques à adopter lors de la conception de votre pipeline HPC hautement parallèle.

Ressources

L'utilisation de GPU dans les jobs Dataflow peut accélérer les tâches de traitement d'image et de machine learning.
HSBC a utilisé un workflow HPC hautement parallèle de Dataflow pour augmenter la capacité de calcul et la vitesse tout en réduisant les coûts.
L'exemple de pipeline Dataflow HPC hautement parallèle et le code source correspondant sont disponibles sur GitHub.