Charges de travail Dataflow HPC hautement parallèles
Lorsque vous travaillez avec d'importants calculs en grille, utilisez Dataflow pour exécuter des charges de travail HPC hautement parallèles dans un système entièrement géré. Avec Dataflow, vous pouvez exécuter vos charges de travail hautement parallèles dans un seul pipeline, ce qui améliore l'efficacité et facilite la gestion de votre workflow. Les données restent dans un même système à la fois pour les étapes de pré et de post-traitement, et pour le traitement des tâches. Dataflow gère automatiquement les besoins en termes de performances, d'évolutivité, de disponibilité et de sécurité.
Tutoriel sur les conteneurs personnalisés
Suivez ce tutoriel pour voir un exemple de bout en bout d'un pipeline HPC hautement parallèle utilisant des conteneurs personnalisés avec des bibliothèques C++.
Bonnes pratiques de HPC hautement parallèle
Découvrez les bonnes pratiques à adopter lors de la conception de votre pipeline HPC hautement parallèle.
Ressources
Utiliser les GPU
L'utilisation de GPU dans les jobs Dataflow peut accélérer les tâches de traitement d'image et de machine learning.
Étude de cas
HSBC a utilisé un workflow HPC hautement parallèle de Dataflow pour augmenter la capacité de calcul et la vitesse tout en réduisant les coûts.
Afficher les exemples sur GitHub
L'exemple de pipeline Dataflow HPC hautement parallèle et le code source correspondant sont disponibles sur GitHub.