
Accélérez l'entraînement et l'inférence HPC et d'IA avec le système de fichiers parallèle hautes performances de Google, conforme à POSIX.
Fonctionnalités
L'entraînement de grands modèles de deep learning nécessite des ensembles de données volumineux. Managed Lustre, basé sur DDN EXAScaler, répartit l'accès aux données, ce qui réduit les temps d'entraînement et permet d'obtenir des insights plus rapidement, avec plus de justesse, et de gérer des projets d'IA complexes. Son évolutivité est conçue pour que les performances suivent le rythme de la croissance des données, ce qui évite les goulots d'étranglement de stockage. Regardez la présentation d'Omdia sur Managed Lustre en cliquant ici.
L'IA agentique continue de générer de grandes fenêtres de contexte, ce qui peut poser un problème de stockage pour vous offrir une expérience responsive lorsque vous interagissez avec les grands modèles de langage. Les grandes fenêtres de contexte augmentent la sensibilité à la latence, car la mémoire locale des accélérateurs est souvent épuisée, ce qui oblige le modèle à accéder au stockage externe.
Le véritable coût de l'IA ne se limite pas au stockage. Il dépend également des ressources de calcul inutilisées. Managed Lustre permet de diffuser les données à haut débit et à faible latence, ce qui est indispensable pour exploiter pleinement vos ressources les plus coûteuses. En optimisant la distribution des données et en accélérant la gestion des points de contrôle, vous améliorez considérablement l'utilisation des accélérateurs, ce qui réduit les frais généraux et améliore les performances par dollar investi.
Favoriser l'innovation dans tous les secteurs
| Secteurs |
|---|
IA et ML Évitez la pénurie de données et entraînez des modèles de fondation à grande échelle. En dissociant le calcul et le stockage, Managed Lustre augmente le débit d'inférence des LLM grâce à la mise en cache externe clé-valeur en moins d'une milliseconde, ce qui permet de saturer complètement vos accélérateurs les plus coûteux. Découvrez l'IA chez Google Cloud. |
Santé et sciences de la vie Faire progresser l'innovation révolutionnaire vers de nouveaux traitements. Fournissez les IOPS extrêmes nécessaires pour accélérer la découverte de médicaments, analyser le séquençage génomique complexe et alimenter les suites d'imagerie médicale basées sur l'IA afin de réduire considérablement le délai d'obtention d'insights pour les chercheurs et les cliniciens. Découvrez les solutions pour le secteur de la santé et des sciences de la vie de Google Cloud. |
Vision artificielle, robotique et véhicules autonomes Accélérer le pipeline des véhicules définis par logiciel. Permettez aux innovateurs d'ingérer sans effort des pétaoctets de données de télémétrie de capteurs, tout en stimulant la recherche et le développement grâce à un stockage à latence nulle pour les simulations d'aérodynamique, de sécurité et d'optimisation thermique. Découvrez les solutions pour l'automobile de Google Cloud. |
Marchés financiers Exécutez des charges de travail qui exigent une précision inférieure à la milliseconde. Qu'il s'agisse d'exécuter des analyses de risque quantitatives complexes et des simulations de marché en temps réel pour les services financiers, ou d'accélérer le rendu d'effets spéciaux haute résolution et les workflows de post-production pour les studios de médias internationaux. Découvrez les solutions pour les marchés financiers et les services financiers de Google Cloud. |
Multimédia et divertissement Respectez les délais de production grâce à des performances de stockage sans compromis. Offrez à vos studios le débit très élevé nécessaire pour un montage vidéo haute résolution fluide, un rendu d'effets spéciaux en temps réel et des workflows de post-production accélérés. Découvrez les solutions pour les médias et le divertissement de Google Cloud. |
IA et ML
Évitez la pénurie de données et entraînez des modèles de fondation à grande échelle. En dissociant le calcul et le stockage, Managed Lustre augmente le débit d'inférence des LLM grâce à la mise en cache externe clé-valeur en moins d'une milliseconde, ce qui permet de saturer complètement vos accélérateurs les plus coûteux.
Découvrez l'IA chez Google Cloud.
Santé et sciences de la vie
Faire progresser l'innovation révolutionnaire vers de nouveaux traitements. Fournissez les IOPS extrêmes nécessaires pour accélérer la découverte de médicaments, analyser le séquençage génomique complexe et alimenter les suites d'imagerie médicale basées sur l'IA afin de réduire considérablement le délai d'obtention d'insights pour les chercheurs et les cliniciens.
Découvrez les solutions pour le secteur de la santé et des sciences de la vie de Google Cloud.
Vision artificielle, robotique et véhicules autonomes
Accélérer le pipeline des véhicules définis par logiciel. Permettez aux innovateurs d'ingérer sans effort des pétaoctets de données de télémétrie de capteurs, tout en stimulant la recherche et le développement grâce à un stockage à latence nulle pour les simulations d'aérodynamique, de sécurité et d'optimisation thermique.
Découvrez les solutions pour l'automobile de Google Cloud.
Marchés financiers
Exécutez des charges de travail qui exigent une précision inférieure à la milliseconde. Qu'il s'agisse d'exécuter des analyses de risque quantitatives complexes et des simulations de marché en temps réel pour les services financiers, ou d'accélérer le rendu d'effets spéciaux haute résolution et les workflows de post-production pour les studios de médias internationaux.
Découvrez les solutions pour les marchés financiers et les services financiers de Google Cloud.
Multimédia et divertissement
Respectez les délais de production grâce à des performances de stockage sans compromis. Offrez à vos studios le débit très élevé nécessaire pour un montage vidéo haute résolution fluide, un rendu d'effets spéciaux en temps réel et des workflows de post-production accélérés.
Découvrez les solutions pour les médias et le divertissement de Google Cloud.
Tarification
| Tarification de Managed Lustre | La tarification de Managed Lustre est principalement basée sur l'emplacement et le niveau de service. |
|---|---|
| Niveau de service | Tarifs |
1 000 Mo/s/Tio Idéal pour les charges de travail hautes performances comme l'entraînement d'IA/de ML, où le débit est essentiel | À partir de 0,60 $ par Gio et par mois |
500 Mo/s/Tio Idéal pour l'équilibre avec la haute performance : Excellent pour les charges de travail IA/ML exigeantes, pour les applications HPC complexes, et pour l'analyse intensive en données qui nécessite un débit conséquent mais peut bénéficier d'un rapport prix/performances plus équilibré. | À partir de 0,34 $ par Gio et par mois |
250 Mo/s/Tio Idéal pour le HPC à usage général et l'IA à débit intensif : convient à un large éventail de charges de travail HPC, d'inférence d'IA/de ML, de prétraitement des données et d'applications nécessitant des performances nettement supérieures à celles des NFS traditionnels, à un prix abordable. | À partir de 0,21 $ par Gio et par mois |
125 Mo/s/Tio Idéal pour les charges de travail axées sur la capacité nécessitant un accès parallèle : conçu pour les scénarios où de grandes capacités et un accès au système de fichiers parallèle sont essentiels. Convient aux tâches parallèles moins dépendantes des E/S. | À partir de 0,145 $ par Gio et par mois |
Découvrez les tarifs de Google Cloud. Afficher le détail des tarifs
Tarification de Managed Lustre
La tarification de Managed Lustre est principalement basée sur l'emplacement et le niveau de service.
1 000 Mo/s/Tio
Idéal pour les charges de travail hautes performances comme l'entraînement d'IA/de ML, où le débit est essentiel
À partir de 0,60 $ par Gio et par mois
500 Mo/s/Tio
Idéal pour l'équilibre avec la haute performance : Excellent pour les charges de travail IA/ML exigeantes, pour les applications HPC complexes, et pour l'analyse intensive en données qui nécessite un débit conséquent mais peut bénéficier d'un rapport prix/performances plus équilibré.
À partir de 0,34 $ par Gio et par mois
250 Mo/s/Tio
Idéal pour le HPC à usage général et l'IA à débit intensif : convient à un large éventail de charges de travail HPC, d'inférence d'IA/de ML, de prétraitement des données et d'applications nécessitant des performances nettement supérieures à celles des NFS traditionnels, à un prix abordable.
À partir de 0,21 $ par Gio et par mois
125 Mo/s/Tio
Idéal pour les charges de travail axées sur la capacité nécessitant un accès parallèle : conçu pour les scénarios où de grandes capacités et un accès au système de fichiers parallèle sont essentiels. Convient aux tâches parallèles moins dépendantes des E/S.
À partir de 0,145 $ par Gio et par mois
Découvrez les tarifs de Google Cloud. Afficher le détail des tarifs
Cas d'utilisation métier
Découvrez les témoignages de nos clients Managed Lustre
"Notre capacité à aider les entreprises à identifier et à bloquer les deepfakes audio, vidéo et image dépend entièrement de nos modèles. Managed Lustre est essentiel pour entraîner efficacement nos modèles avec nos ensembles de données dynamiques. Il sature complètement nos GPU et il est six fois plus rapide que les autres solutions de stockage que nous avons évaluées."
Regardez leur témoignage ici.
—Zohaib Ahmed, CEO de Resemble AI
"Managed Lustre nous permet de multiplier par trois le scaling de l'entraînement des modèles d'IA pour AFEELA Intelligent Drive par rapport à d'autres solutions Google Cloud."
—Motoi Kataoka, responsable senior, plate-forme d'analyse de données et d'IA, Sony Honda Mobility Inc.
"En intégrant Managed Lustre à VTC (clusters d'entraînement Vertex), Salesforce AI Research a éliminé les goulots d'étranglement habituels liés à l'intégration, ce qui nous a permis de nous lancer immédiatement dans la charge de travail d'inférence. Ce stockage à haut débit et à faible latence permet de saturer complètement nos GPU B200, ce qui se traduit par un gain de performances considérable dans l'inférence avec les grands modèles de langage par rapport au H200. Pour nos clients, cela se traduit directement par des agents IA plus rapides et plus réactifs, capables de gérer des raisonnements complexes avec une latence bien inférieure à celle des modèles précédents."
—Lavanya Karanam, Principal Software Engineer, Salesforce
"La migration vers Google Cloud a fondamentalement changé le rythme de mes recherches. Mon travail consiste à entraîner des réseaux de neurones à grande échelle sur d'énormes ensembles de données, y compris l'intégralité du Common Corpus, que l'équipe chargée des clusters a importé et rendu directement accessible pour moi. Je n'aurais pas pu obtenir l'ensemble de données complet avec les infrastructures auxquelles j'avais accès. Avec Managed Lustre, l'ingestion, qui ralentissait auparavant mon pipeline, s'effectue désormais en quelques secondes. Mes GPU sont utilisés de façon constante et je passe beaucoup moins de temps à attendre dans la file d'attente. Résultat : un délai d'obtention des insights nettement plus court pour chacun des tests que je lance."
—Christopher J. Lynch, Ph.D., Professeur assistant de recherche, Virginia Modeling, Analysis & Simulation Center (VMASC), Université Old Dominion
Optimiser les charges de travail GKE avec Managed Lustre
Guide sur l'utilisation du pilote CSI Managed Lustre avec Google Kubernetes Engine (GKE) pour provisionner de manière transparente un stockage hautes performances pour les charges de travail conteneurisées d'IA, de ML et de HPC. Consulter le blog
Accélérer l'IA et le HPC avec Managed Lustre
Présentation de la façon dont Managed Lustre simplifie le déploiement de systèmes de fichiers parallèles pour les charges de travail de calcul hautes performances. Consulter le blog
Cache de paires clé/valeur externe avec Managed Lustre
Présentation détaillée de l'utilisation de Lustre pour décharger les caches clé-valeur pour l'inférence avec les grands modèles de langage (LLM), ce qui réduit la surcharge de mémoire sur les TPU/GPU. Consulter le blog



