Afin de simplifier l'utilisation de Google Cloud pour les workflows CAE, nous avons assemblé les composants cloud adaptés aux exigences des charges de travail CAE utilisant beaucoup de ressources de calcul. Plus précisément, notre solution CAE s'articule autour des familles de VM H3 et C3 de Google Cloud, et s'appuie sur la dernière plate-forme Intel Xeon. Ces familles de VM fournissent une bande passante mémoire élevée pour un ratio mémoire/flop équilibré, idéalement adapté aux CAE. Cette solution est adaptée aux applications MPI à couplage fort, ainsi qu'aux charges de travail exigeantes en mémoire, avec jusqu'à 16 Go par cœur. Elle inclut diverses options de stockage répondant à un large éventail d'exigences d'E/S. Pour la gestion des ressources, elle prend en charge les planificateurs tels que Slurm de SchedMD et PBS Professional d'Altair. 

Le schéma d'architecture suivant illustre la solution :

Lorsque vous exécutez des charges de travail CAE dans le cloud, vous devez prendre en compte un certain nombre de facteurs, y compris :

• Compatibilité : assurez-vous que la compatibilité des applications CAE avec l'environnement HPC dans le cloud a été testée.
• Sélection de VM : choisissez le type de VM qui exécute les logiciels d'éditeurs indépendants de manière optimale. De nombreuses charges de travail CAE se prêtent aux architectures de calcul avec une grande quantité de bande passante mémoire et un ratio global de bande passante flops:memory équilibré.
• Évolutivité : n'oubliez pas que les charges de travail CAE plus importantes peuvent nécessiter de s'exécuter sur plusieurs VM, ce qui nécessite la prise en charge de MPI et des déploiements denses des VM.
• Débit : évaluez le nombre de charges de travail à exécuter simultanément et envisagez des modèles de planification avec autoscaling pouvant augmenter ou réduire les ressources cloud en fonction de la demande.
• Coût : les packages logiciels d'éditeurs indépendants pour les applications CAE sont souvent sous licence "par cœur". Il s'agit d'un facteur important dans le coût total qui peut influencer le choix du type de VM.
• Utilisation/Consommation : le cloud offre une élasticité que l'installation sur site ne peut pas offrir, étudiez le bon équilibre entre l'utilisation à la demande et l'engagement d'utilisation, ou même les VM Spot.
• Facilité d'utilisation : assurez-vous que la solution cloud HPC que vous choisissez est facile à utiliser et à gérer.

Dans le cadre de la solution CAE de Google Cloud, nous avons développé une architecture et un plan de référence d'outils d'excellence à usage général, que vous pouvez facilement utiliser avec le kit HPC Cloud de Google pour fournir l'architecture CAE dans Google Cloud. Nous avons vérifié la compatibilité et les performances de plusieurs applications d'éditeurs indépendants de premier plan, y compris les suivantes : 

• Ansys Fluent 
• Ansys Mechanical 
• Ansys LS-DYNA 
• Siemens Simcenter STAR-CCM+ 
• Altair Radioss
• OpenFOAM

Consultez la section sur les benchmarks ci-dessous pour connaître les performances de ces packages logiciels.

Le plan d'architecture de référence de CAE à usage général permet aux utilisateurs de créer instantanément un environnement cloud compatible avec un large éventail d'applications et de workflows CAE. Il s'agit d'une bonne option pour les utilisateurs qui souhaitent être libres de choisir leur logiciel CAE et qui souhaitent gérer leur propre environnement HPC. Il sert également de point de départ pour les intégrateurs de systèmes et s'appuie sur les bonnes pratiques de Google pour exécuter des simulations CAE sur Google Cloud.

Google Cloud propose également un certain nombre de plans spécifiques aux applications pour les logiciels CAE populaires. Ces plans sont préconfigurés pour fournir des performances optimales pour le logiciel CAE spécifique. Les logiciels avec des plans spécifiques incluent :

• Ansys Fluent
• Siemens SimCenter STAR-CCM+
• OpenFOAM

Les plans spécifiques à l'application sont une bonne option pour les utilisateurs qui souhaitent commencer à utiliser l'outil CAE rapidement et facilement. Les plans fournissent un environnement préconfiguré qui est optimisé pour le logiciel CAE spécifique, de sorte que les utilisateurs n'ont pas à se soucier eux-mêmes de la configuration de l'environnement.

Google Cloud s'associe à plusieurs fournisseurs HPC-as-a-Service, tels que TotalCAE, Rescale, Parallel Works, Eviden Nimbix, Penguin Computing et NAG, ainsi qu'à des fournisseurs d'éditeurs de solutions indépendants de CAE tels qu'Altair. Ces fournisseurs proposent diverses solutions HPC gérées pour CAE, y compris des environnements logiciels CAE préconfigurés, une assistance pour des applications CAE spécifiques et des services de conseil spécialisés. Ces offres constituent une bonne option pour les utilisateurs qui souhaitent bénéficier d'une solution HPC gérée pour la CAE. Les fournisseurs proposent une variété de services, y compris des environnements logiciels CAE préconfigurés, une assistance pour des applications CAE spécifiques et des services de conseil spécialisés.

Bien que la solution CAE soit basée sur Google Compute Engine, il est également possible de la développer sur d'autres frameworks de calcul, tels que Google Kubernetes Engine ou Google Batch. Kubernetes Engine est un service Kubernetes géré qui peut être utilisé pour exécuter des charges de travail CAE dans un environnement conteneurisé. Kubernetes Engine est un bon choix pour les charges de travail CAE qui nécessitent évolutivité et portabilité. Google Batch est un service géré permettant d'exécuter des tâches par lot. Batch est un bon choix pour les charges de travail CAE qui ne sont pas conteneurisées et ne nécessitent pas beaucoup de personnalisation ni de réglage.

Pour en savoir plus sur la conception d'environnements HPC, consultez notre guide technique Utiliser des clusters pour le calcul technique à grande échelle dans le cloud, qui couvre l'étendue des options en matière d'infrastructure (calcul, réseau, stockage), logiciels système (programmeurs, stockage) et considérations architecturales.

Il existe un certain nombre de bonnes pratiques que vous pouvez suivre pour optimiser les performances de vos charges de travail CAE sur Google Cloud. Par exemple, vous pouvez utiliser des stratégies de placement pour garantir que vos charges de travail sont placées sur des ressources de calcul proches les unes des autres, ce qui peut réduire la latence et améliorer les performances. Vous pouvez également utiliser le kit Cloud HPC pour optimiser vos charges de travail.

Notre guide "Bonnes pratiques pour exécuter des charges de travail HPC" explique comment améliorer les performances MPI. Open MPI et Intel MPI ont été réglés et optimisés pour les performances de Google Cloud, en partenariat avec les ingénieurs réseau HPC de Google Cloud.

Google Cloud propose une large gamme de types de machines, chacun avec des configurations de processeur, de GPU et de mémoire différentes. Choisir le type de machine adapté à votre charge de travail peut avoir un impact significatif sur les performances et les coûts. Par exemple, la VM H3 est idéale pour les applications CAE sous licence par cœur, en raison du ratio bande passante mémoire/cœur élevé. Avec un débit de 4 Go par cœur, la VM H3 offre suffisamment de mémoire pour diverses charges de travail. Pour les charges de travail particulièrement exigeantes en mémoire, telles que la mécanique structurelle, la VM C3, avec sa configuration haute capacité de mémoire, fournit 16 Go/cœur.

Google Cloud propose plusieurs options de stockage, chacune avec des caractéristiques de performances et de coûts différentes. Choisir la bonne option de stockage pour votre charge de travail peut avoir un impact significatif sur les performances et les coûts. Il existe également plusieurs types de stockage dans un environnement HPC à envisager.

Les environnements HPC standards hébergent au moins deux types de stockage ayant des besoins différents : un stockage personnel et un espace de stockage temporaire. Le choix du type de stockage pour chacun d'eux dépend des besoins spécifiques de la charge de travail HPC. Par exemple, une charge de travail qui génère une grande quantité de données entièrement nouvelles peut nécessiter une solution de stockage temporaire hautes performances. De même, une charge de travail qui accède simultanément à des données communes sur plusieurs nœuds de calcul peut nécessiter un système de fichiers parallèle. Le choix du type de stockage pour une charge de travail HPC spécifique dépend de ses besoins spécifiques.

En plus du stockage personnel et du stockage temporaire, les environnements HPC peuvent utiliser d'autres types de stockage, comme le stockage Archive, qui permet de stocker des données rarement consultées. Cloud Storage offre la solution la plus économique pour le stockage Archive.

Stockage personnel

Le stockage personnel est généralement utilisé pour stocker des fichiers utilisateur partagés, principalement dans le répertoire "/home", tels que les configurations, les scripts et les données de post-traitement. Cet espace de stockage sera installé au même endroit dans le cluster pour permettre un accès commun à cet espace de noms. Le stockage personnel est généralement persistant. Le stockage personnel est généralement basé sur le protocole NFS.

Dans un environnement HPC Google Cloud, le stockage personnel peut être fourni par des services Google tels que Filestore ou par des offres partenaires comme NetApp.

• Google Cloud Filestore est un service de stockage de fichiers entièrement géré qui fournit un accès aux données hautes performances et à faible latence. Filestore est un bon choix pour stocker des données de stockage personnel fréquemment consultées.
• NetApp Cloud Volumes Service est un service de stockage de fichiers entièrement géré qui fournit un accès aux données hautes performances et à faible latence. NetApp Cloud Volumes Service est un excellent choix pour stocker des données de stockage personnel fréquemment consultées.

Stockage temporaire

Le stockage temporaire est généralement utilisé pour stocker des fichiers temporaires, tels que des résultats intermédiaires et des données de sortie de simulation. Ceux-ci peuvent être partagés ou non entre différents nœuds de l'environnement HPC. Le stockage temporaire n'est généralement pas persistant. Le stockage temporaire repose généralement sur des systèmes de stockage plus performants que le stockage personnel, tels qu'un stockage Flash local ou des systèmes de fichiers parallèles.

Dans un environnement HPC Google Cloud, le stockage temporaire peut être fourni par des services Google tels que Persistent Disk, un disque SSD local, Cloud Filestore ou Parallelstore, ou par des offres partenaires comme NetApp, DDN EXAScaler, Sycomp et Weka.

• Google Cloud Persistent Disk est un service de stockage de blocs qui fournit un accès aux données hautes performances et à faible latence. Persistent Disk permet de créer un répertoire de travail pour chaque utilisateur d'un cluster HPC.
• Le disque SSD local Google Cloud est une option de stockage SSD local disponible sur certains types de machines Compute Engine. Le disque SSD local peut être utilisé pour créer un répertoire temporaire pour chaque utilisateur d'un cluster HPC.
• Google Cloud Filestore est un service de stockage de fichiers NFS entièrement géré qui fournit un accès aux données hautes performances et à faible latence. Filestore permet de créer un répertoire de travail pour chaque utilisateur d'un cluster HPC.
• Google Cloud Parallelstore est un système de fichiers parallèles hautes performances, optimisé pour les charges de travail HPC. Parallelstore peut être utilisé pour créer un répertoire test pour chaque utilisateur sur un cluster HPC.
• NetApp Cloud Volumes Service est un service de stockage de fichiers entièrement géré qui fournit un accès aux données hautes performances et à faible latence. NetApp Cloud Volumes Service permet de créer un répertoire temporaire pour chaque utilisateur d'un cluster HPC.
• DDN EXAScaler Cloud est un système de fichiers parallèles hautes performances optimisé pour les charges de travail HPC. Vous pouvez utiliser DDN EXAScaler Cloud pour créer un ou plusieurs répertoires temporaires sur un cluster HPC.
• WekaIO Matrix est un système de fichiers parallèles hautes performances optimisé pour les charges de travail HPC. La matrice WekaIO peut être utilisée pour créer un répertoire temporaire pour chaque utilisateur d'un cluster HPC.

Spot VM

Les VM Spot permettent d'exécuter des charges de travail CAE de manière économique. Les VM Spot sont disponibles à prix réduit, mais peuvent être arrêtées à tout moment avec un court préavis. Les VM Spot offrent jusqu'à 91% de réduction sur le coût d'une instance standard et offrent le type de fonctionnalités attendues par les utilisateurs HPC, comme les GPU et les SSD locaux. 

Si votre workflow peut tolérer le risque d'interruption (préemption), il est recommandé de tester le modèle Spot si l'application peut s'exécuter dans un délai relativement court (moins de quatre heures). Nos clients ont constaté que les économies pouvant atteindre 90% par rapport à la tarification à la demande leur permettent de tolérer des interruptions mineures.

Notez que certains types de VM, tels que H3, ne sont pas compatibles avec Spot.

AirShaper est une plate-forme aérodynamique en ligne qui permet aux concepteurs et aux ingénieurs d'exécuter des simulations de flux d'air de manière entièrement automatisée. Les utilisateurs sans expérience en aérodynamique peuvent ainsi obtenir des résultats fiables et améliorer leur conception.

AirShaper a migré ses charges de travail HPC Computational Fluid Dynamics (CFD) vers la nouvelle famille de VM C2D à partir d'une ancienne plate-forme de VM, ce qui lui a permis de gagner du temps de simulation et le coût par exécution de la charge de travail par rapport à son environnement cloud précédent, et d'améliorer considérablement ses délais de résultats par rapport à la version de l'environnement sur site.

"Chez AirShaper, nous proposons des simulations CFD à coût fixe. Des cœurs de plus en plus rapides entraînent généralement un coût global plus élevé, en partie en raison de problèmes de scaling. Mais avec les VM H3, nous pouvons réduire de moitié les temps de simulation tout en réduisant également le coût global."

Wouter Remmerie, PDG, Airshaper

Altair est une entreprise technologique internationale qui fournit des logiciels et des solutions cloud dans les domaines du développement de produits, du calcul hautes performances (HPC, High Performance Computing) et de l'analyse de données. Les ingénieurs, les scientifiques et les analystes de données utilisent le logiciel Altair pour résoudre des problèmes complexes dans de nombreux secteurs, y compris l'automobile, l'aérospatiale, l'industrie et l'énergie.

Altair est un partenaire Google Cloud, et ses logiciels sont disponibles sur Google Cloud. Le logiciel d'Altair est optimisé pour Google Cloud et peut être utilisé pour bénéficier des performances, de l'évolutivité et de la flexibilité de Google Cloud. Altair s'engage à aider ses clients à atteindre leurs objectifs HPC et propose une large gamme de solutions logicielles pour le HPC. L'une d'elles est Radioss, un outil d'analyse des éléments finis. Grâce à la nouvelle VM H3, Altair a pu démontrer des améliorations significatives dans l'environnement d'exécution basé sur le cloud de Radioss.

"Chez Altair, nous sommes ravis que les premiers tests indiquent une réduction de l'exécution de simulation jusqu'à trois fois supérieure pour les charges de travail Radioss exécutées sur les H3 par rapport aux C2. Ces environnements d'exécution beaucoup plus rapides sur Google Cloud vont nous aider à accroître la productivité des ingénieurs chez nos clients communs."

- Eric Lequiniou, vice-président senior, Radioss Development and Altair Solver

TotalCAE est l'un des principaux fournisseurs de solutions HPC gérées pour les applications scientifiques et d'ingénierie. Les solutions de TotalCAE sont conçues pour être faciles à utiliser et pour aider les clients à obtenir des résultats plus rapidement, à réduire leurs coûts et à améliorer leur productivité. Les solutions de TotalCAE sont utilisées par des clients du monde entier pour résoudre des problèmes techniques et scientifiques complexes. Par exemple, les solutions de TotalCAE sont utilisées pour concevoir et simuler des avions, des voitures et d'autres véhicules, pour analyser les performances des bâtiments et des ponts et pour développer de nouveaux médicaments et thérapies.

TotalCAE est un partenaire de Google Cloud, et ses solutions sont compatibles avec Google Cloud. Les solutions de TotalCAE sont optimisées pour Google Cloud et permettent de bénéficier des performances, de l'évolutivité et de la flexibilité de Google Cloud. En utilisant l'infrastructure HPC de Google Cloud, TotalCAE a pu offrir à ses clients de meilleures performances à moindre coût. 

"Avec les instances Google Cloud H3, nous avons enregistré une amélioration des performances par cœur allant jusqu'à 25% pour les charges de travail CAE, pour un coût de travail 50% inférieur à celui du C2. TotalCAE a ainsi pu offrir à ses clients un rapport prix/performances 2,5 fois supérieur et une évolutivité pour les charges de travail CAE sur Google Cloud".

Rodney Mach, PDG, TotalCAE