Qu'est-ce que le calcul hautes performances?

Le calcul hautes performances se compose de trois composants principaux:

• Calcul
• Réseau
• Stockage

En termes simples, les nœuds (calcul) du système HPC sont connectés à d'autres nœuds pour exécuter simultanément des algorithmes et des logiciels. Ils sont ensuite connectés (réseau) à des serveurs de données (stockage) pour capturer le résultat. Les projets HPC étant généralement volumineux et complexes, les nœuds du système doivent généralement échanger les résultats de leurs calculs entre eux, ce qui signifie qu'ils ont besoin de disques rapides, d'une mémoire à haut débit, ainsi que d'une mise en réseau à faible latence et à haut débit entre les nœuds et les systèmes de stockage. 

Le HPC peut généralement être divisé en deux types de conception généraux : l'informatique en cluster et l'informatique distribuée.

L'informatique parallèle est réalisée avec un ensemble d'ordinateurs (clusters) fonctionnant ensemble, tels qu'un groupe de serveurs connectés situés à proximité les uns des autres, physiquement et dans la topologie du réseau, afin de minimiser la latence entre les nœuds.

Le modèle informatique distribué relie la puissance de calcul de plusieurs ordinateurs dans un réseau qui se trouve soit à un seul endroit (souvent sur site), soit réparti sur plusieurs emplacements, et cela peut inclure du matériel sur site et des ressources cloud.

En outre, les clusters HPC peuvent faire la distinction entre les modèles matériels homogènes et hétérogènes. Dans les clusters homogènes, toutes les machines ont des performances et une configuration similaires, et sont souvent considérées comme identiques et interchangeables. Dans les clusters hétérogènes, il existe un ensemble de matériel présentant différentes caractéristiques (nombre élevé de cœurs de processeur, accélération par GPU, etc.). Le système est mieux exploité lorsque des nœuds se voient attribuer des tâches, afin de tirer le meilleur parti de leurs avantages.

Dans un environnement HPC, les charges de travail se déclinent généralement en deux types différents: faiblement couplé et étroitement couplé.

Les charges de travail faiblement couplées (souvent appelées tâches parallèles ou à haut débit) sont des tâches indépendantes qui peuvent être exécutées simultanément sur le système. Les tâches peuvent partager un espace de stockage commun, mais elles ne dépendent pas du contexte et n'ont donc pas besoin de communiquer les résultats entre elles au fur et à mesure qu'elles sont terminées. Un exemple de charge de travail faiblement couplée serait le rendu d'images générées par ordinateur (CGI) dans un long métrage, où chaque image de la vidéo est rendue indépendamment des autres images, bien qu'elles partagent les mêmes données d'entrée (arrière-plans et modèles 3D, par exemple).

Les charges de travail étroitement couplées consistent en de nombreux petits processus, chacun géré par différents nœuds d'un cluster, qui dépendent les uns des autres pour mener à bien la tâche globale. Les charges de travail étroitement couplées nécessitent généralement une mise en réseau à faible latence entre les nœuds, ainsi qu'un accès rapide à la mémoire et au stockage partagés. La communication inter-processus pour ces charges de travail est gérée par une interface de transmission de messages (MPI, Message Passing Interface), à l'aide de logiciels tels qu'OpenMPI et Intel MPI. Les prévisions météorologiques sont un exemple de charge de travail à couplage fort. Elles impliquent une simulation physique de systèmes dynamiques et interdépendants impliquant la température, le vent, la pression, les précipitations, etc. Ici, chaque nœud de cluster peut calculer des solutions partielles à différents facteurs météorologiques, contribuant ainsi à la prévision globale.

Le HPC peut être effectué sur site avec un équipement dédié, dans le cloud ou dans un environnement hybride.

Le HPC dans le cloud offre les avantages de la flexibilité et de l'évolutivité sans avoir à acheter ni à entretenir des superordinateurs dédiés coûteux. Le HPC dans le cloud fournit toute l'infrastructure nécessaire pour effectuer des tâches importantes et complexes telles que le stockage de données, les solutions de mise en réseau, les ressources de calcul spécialisées, la sécurité et les applications d'intelligence artificielle. Les charges de travail peuvent être exécutées à la demande, ce qui signifie que les entreprises peuvent économiser du temps sur les équipements et le temps sur les cycles informatiques, en n'utilisant que les ressources dont elles ont besoin, quand elles en ont besoin. 

Voici quelques éléments à prendre en compte lorsque vous choisissez d'exécuter le HPC dans le cloud:

Latence et bande passante : avec la quantité de données exécutées dans les charges de travail HPC, les fournisseurs de services cloud doivent fournir des fonctionnalités réseau robustes (> 100 Go/s) avec une faible latence.

Performances: le HPC dans le cloud fonctionne mieux avec les fournisseurs qui mettent constamment à jour les systèmes pour optimiser les performances, en particulier dans les processeurs informatiques, les solutions de stockage et les capacités de mise en réseau.

Durabilité: le HPC est une forme de calcul utilisant beaucoup de ressources, qui nécessite beaucoup plus d'électricité que les charges de travail normales. Les ordinateurs hautes performances sur site peuvent coûter des millions de dollars par an en énergie. Les clouds publics qui donnent la priorité aux énergies renouvelables, comme Google Cloud, peuvent atténuer l'impact du HPC sur l'énergie.

Stockage: compte tenu de la taille de la plupart des tâches HPC, le stockage de données évolutif est un facteur important à prendre en compte lors de l'exécution de charges de travail HPC. Les fournisseurs de services cloud capables de stocker et de gérer facilement de grandes quantités de données (par exemple, via Cloud Storage Filestore High Scale ou DDN EXAScaler) ont un avantage sur le HPC.

Sécurité: un fournisseur de services cloud disposant d'une infrastructure mondiale gérée de manière privée garantit que les données et les applications sont moins exposées à l'Internet public. Les réseaux de cloud privé virtuel (VPC) permettent la connectivité entre les nœuds et peuvent configurer des pare-feu pour les applications HPC. Les fonctionnalités d'informatique confidentielle permettent le chiffrement en cours d'utilisation, ainsi que le chiffrement au repos et en cours de transfert.

Rapidité et performances

Le calcul hautes performances permet de traiter les données et les tâches beaucoup plus rapidement qu'avec un seul serveur ou ordinateur. Les tâches pouvant prendre des semaines ou des mois sur un système informatique standard peuvent prendre des heures en calcul hautes performances.

Flexibilité et efficacité

Le HPC dans le cloud permet de faire évoluer les charges de travail à la hausse ou à la baisse en fonction des besoins. Avec une connexion Internet robuste, le HPC est accessible partout dans le monde. 

Économies

Grâce à la rapidité, à la flexibilité et à l'efficacité du HPC dans le cloud, les entreprises peuvent économiser du temps et de l'argent sur les ressources informatiques et les heures de travail.

Tolérance aux pannes

Si un nœud d'un cluster HPC tombe en panne, le système est suffisamment résilient pour que le reste du système ne tombe pas en panne. Compte tenu des tâches volumineuses et complexes effectuées par le HPC, la tolérance aux pannes est un avantage majeur.

R&D accélérée

Le HPC offre un avantage aux entreprises qui effectuent des recherches et des développements en accélérant les résultats de projets utilisant beaucoup de données, tels que la modélisation de produits pharmaceutiques, la conception de nouvelles machines et pièces, ou la simulation d'expériences pour réduire les tests physiques.

Coût initial

Les coûts initiaux des clusters HPC et des superordinateurs sur site sont élevés. Le HPC sur site serait hors de portée pour la plupart des entreprises si l'on tient compte du coût de l'équipement, de la main-d'œuvre, des logiciels et de la configuration.

Consommation énergétique

Les coûts énergétiques liés à l'installation de superordinateurs sur site peuvent être élevés. Pour les entreprises soucieuses de l'environnement et des coûts, la consommation d'énergie du HPC peut être durable en exécutant le HPC sur le cloud le plus propre au monde.

Maintenance

Le HPC fonctionne de manière optimale avec du matériel et des logiciels optimisés de dernière génération. La mise à jour d'un cluster HPC ou d'un superordinateur sur site pour garantir des performances optimales peut rapidement devenir une dépense importante et récurrente.

L'écosystème moderne est inondé de données et d'outils utilisant beaucoup de ressources de calcul pour les analyser. Le HPC permet aux entreprises et aux organisations de traiter toutes ces données en temps opportun, afin d'alimenter de nouvelles perspectives, des innovations et des découvertes scientifiques. Cela permet aux entreprises de prévoir des scénarios commerciaux, de prévoir les fluctuations des marchés et de faire des recommandations. Le domaine médical, quant à lui, est en train de se transformer grâce à un accès facile au HPC dans le cloud, ce qui permet de modéliser d'éventuelles épidémies, de décoder le génome des cellules cancéreuses et de comprendre l'évolution des maladies.

Pour résumer, le HPC accélère les progrès scientifiques, technologiques et commerciaux, ce qui aide l'humanité à façonner un avenir plus prospère.