stockage

Google Cloud Managed Lustre

Système de fichiers parallèle hautes performances

Accélérez l'entraînement et l'inférence HPC et d'IA avec le système de fichiers parallèle hautes performances de Google, conforme à POSIX.

Fonctionnalités

Performances et évolutivité pour les charges de travail d'IA et de ML

L'entraînement de grands modèles de deep learning nécessite des ensembles de données volumineux. Managed Lustre, basé sur DDN EXAScaler, répartit l'accès aux données, ce qui réduit les temps d'entraînement et permet d'obtenir des insights plus rapidement, avec plus de justesse, et de gérer des projets d'IA complexes. Son évolutivité est conçue pour que les performances suivent le rythme de la croissance des données, ce qui évite les goulots d'étranglement de stockage. Regardez la présentation d'Omdia sur Managed Lustre en cliquant ici.

Accélérer l'inférence IA avec le cache clé-valeur

L'IA agentique continue de générer de grandes fenêtres de contexte, ce qui peut poser un problème de stockage pour vous offrir une expérience responsive lorsque vous interagissez avec les grands modèles de langage. Les grandes fenêtres de contexte augmentent la sensibilité à la latence, car la mémoire locale des accélérateurs est souvent épuisée, ce qui oblige le modèle à accéder au stockage externe.

Maximisez la saturation des GPU et le ROI du calcul

Le véritable coût de l'IA ne se limite pas au stockage. Il dépend également des ressources de calcul inutilisées. Managed Lustre permet de diffuser les données à haut débit et à faible latence, ce qui est indispensable pour exploiter pleinement vos ressources les plus coûteuses. En optimisant la distribution des données et en accélérant la gestion des points de contrôle, vous améliorez considérablement l'utilisation des accélérateurs, ce qui réduit les frais généraux et améliore les performances par dollar investi.

Favoriser l'innovation dans tous les secteurs

Secteurs

IA et ML

Évitez la pénurie de données et entraînez des modèles de fondation à grande échelle. En dissociant le calcul et le stockage, Managed Lustre augmente le débit d'inférence des LLM grâce à la mise en cache externe clé-valeur en moins d'une milliseconde, ce qui permet de saturer complètement vos accélérateurs les plus coûteux.

Découvrez l'IA chez Google Cloud.

Santé et sciences de la vie

Faire progresser l'innovation révolutionnaire vers de nouveaux traitements. Fournissez les IOPS extrêmes nécessaires pour accélérer la découverte de médicaments, analyser le séquençage génomique complexe et alimenter les suites d'imagerie médicale basées sur l'IA afin de réduire considérablement le délai d'obtention d'insights pour les chercheurs et les cliniciens.

Découvrez les solutions pour le secteur de la santé et des sciences de la vie de Google Cloud.

Vision artificielle, robotique et véhicules autonomes

Accélérer le pipeline des véhicules définis par logiciel. Permettez aux innovateurs d'ingérer sans effort des pétaoctets de données de télémétrie de capteurs, tout en stimulant la recherche et le développement grâce à un stockage à latence nulle pour les simulations d'aérodynamique, de sécurité et d'optimisation thermique.

Découvrez les solutions pour l'automobile de Google Cloud.

Marchés financiers

Exécutez des charges de travail qui exigent une précision inférieure à la milliseconde. Qu'il s'agisse d'exécuter des analyses de risque quantitatives complexes et des simulations de marché en temps réel pour les services financiers, ou d'accélérer le rendu d'effets spéciaux haute résolution et les workflows de post-production pour les studios de médias internationaux.

Découvrez les solutions pour les marchés financiers et les services financiers de Google Cloud.

Multimédia et divertissement

Respectez les délais de production grâce à des performances de stockage sans compromis. Offrez à vos studios le débit très élevé nécessaire pour un montage vidéo haute résolution fluide, un rendu d'effets spéciaux en temps réel et des workflows de post-production accélérés.

Découvrez les solutions pour les médias et le divertissement de Google Cloud.

IA et ML

Évitez la pénurie de données et entraînez des modèles de fondation à grande échelle. En dissociant le calcul et le stockage, Managed Lustre augmente le débit d'inférence des LLM grâce à la mise en cache externe clé-valeur en moins d'une milliseconde, ce qui permet de saturer complètement vos accélérateurs les plus coûteux.

Découvrez l'IA chez Google Cloud.

Santé et sciences de la vie

Faire progresser l'innovation révolutionnaire vers de nouveaux traitements. Fournissez les IOPS extrêmes nécessaires pour accélérer la découverte de médicaments, analyser le séquençage génomique complexe et alimenter les suites d'imagerie médicale basées sur l'IA afin de réduire considérablement le délai d'obtention d'insights pour les chercheurs et les cliniciens.

Découvrez les solutions pour le secteur de la santé et des sciences de la vie de Google Cloud.

Vision artificielle, robotique et véhicules autonomes

Accélérer le pipeline des véhicules définis par logiciel. Permettez aux innovateurs d'ingérer sans effort des pétaoctets de données de télémétrie de capteurs, tout en stimulant la recherche et le développement grâce à un stockage à latence nulle pour les simulations d'aérodynamique, de sécurité et d'optimisation thermique.

Découvrez les solutions pour l'automobile de Google Cloud.

Marchés financiers

Exécutez des charges de travail qui exigent une précision inférieure à la milliseconde. Qu'il s'agisse d'exécuter des analyses de risque quantitatives complexes et des simulations de marché en temps réel pour les services financiers, ou d'accélérer le rendu d'effets spéciaux haute résolution et les workflows de post-production pour les studios de médias internationaux.

Découvrez les solutions pour les marchés financiers et les services financiers de Google Cloud.

Multimédia et divertissement

Respectez les délais de production grâce à des performances de stockage sans compromis. Offrez à vos studios le débit très élevé nécessaire pour un montage vidéo haute résolution fluide, un rendu d'effets spéciaux en temps réel et des workflows de post-production accélérés.

Découvrez les solutions pour les médias et le divertissement de Google Cloud.

Fonctionnement

Stockage hautes performances pour l'IA. Provisionnez et faites évoluer instantanément le HPC cloud à la demande avec Google Cloud Managed Lustre, optimisé par DDN EXAScaler.

Utilisations courantes

Se lancer

  1. Créer une instance Managed Lustre : déployez votre instance Managed Lustre en quelques clics.
  2. Ingérer et connecter : hydratez facilement votre système de fichiers Lustre géré avec des données provenant directement de Google Cloud Storage.
  3. Traiter à grande échelle : transmettez des ensembles de données massifs à des clusters d'entraînement Vertex (VTC) ou à GKE avec une latence ultra-faible.
  4. Accélérer : transmettez des données à haut débit directement à du matériel de nouvelle génération, ce qui permet aux GPU de fonctionner à leur capacité maximale.
    1. Créer une instance Managed Lustre : déployez votre instance Managed Lustre en quelques clics.
    2. Ingérer et connecter : hydratez facilement votre système de fichiers Lustre géré avec des données provenant directement de Google Cloud Storage.
    3. Traiter à grande échelle : transmettez des ensembles de données massifs à des clusters d'entraînement Vertex (VTC) ou à GKE avec une latence ultra-faible.
    4. Accélérer : transmettez des données à haut débit directement à du matériel de nouvelle génération, ce qui permet aux GPU de fonctionner à leur capacité maximale.

      Tarification

      Tarification de Managed LustreLa tarification de Managed Lustre est principalement basée sur l'emplacement et le niveau de service.
      Niveau de serviceTarifs

      1 000 Mo/s/Tio

      Idéal pour les charges de travail hautes performances comme l'entraînement d'IA/de ML, où le débit est essentiel

      À partir de 0,60 $ par Gio et par mois

      500 Mo/s/Tio

      Idéal pour l'équilibre avec la haute performance : Excellent pour les charges de travail IA/ML exigeantes, pour les applications HPC complexes, et pour l'analyse intensive en données qui nécessite un débit conséquent mais peut bénéficier d'un rapport prix/performances plus équilibré.

      À partir de 0,34 $ par Gio et par mois

      250 Mo/s/Tio

      Idéal pour le HPC à usage général et l'IA à débit intensif : convient à un large éventail de charges de travail HPC, d'inférence d'IA/de ML, de prétraitement des données et d'applications nécessitant des performances nettement supérieures à celles des NFS traditionnels, à un prix abordable.


      À partir de 0,21 $ par Gio et par mois

      125 Mo/s/Tio

      Idéal pour les charges de travail axées sur la capacité nécessitant un accès parallèle : conçu pour les scénarios où de grandes capacités et un accès au système de fichiers parallèle sont essentiels. Convient aux tâches parallèles moins dépendantes des E/S.

      À partir de 0,145 $ par Gio et par mois

      Découvrez les tarifs de Google Cloud. Afficher le détail des tarifs

      Tarification de Managed Lustre

      La tarification de Managed Lustre est principalement basée sur l'emplacement et le niveau de service.

      1 000 Mo/s/Tio

      Idéal pour les charges de travail hautes performances comme l'entraînement d'IA/de ML, où le débit est essentiel

      Tarifs

      À partir de 0,60 $ par Gio et par mois

      500 Mo/s/Tio

      Idéal pour l'équilibre avec la haute performance : Excellent pour les charges de travail IA/ML exigeantes, pour les applications HPC complexes, et pour l'analyse intensive en données qui nécessite un débit conséquent mais peut bénéficier d'un rapport prix/performances plus équilibré.

      Tarifs

      À partir de 0,34 $ par Gio et par mois

      250 Mo/s/Tio

      Idéal pour le HPC à usage général et l'IA à débit intensif : convient à un large éventail de charges de travail HPC, d'inférence d'IA/de ML, de prétraitement des données et d'applications nécessitant des performances nettement supérieures à celles des NFS traditionnels, à un prix abordable.


      Tarifs

      À partir de 0,21 $ par Gio et par mois

      125 Mo/s/Tio

      Idéal pour les charges de travail axées sur la capacité nécessitant un accès parallèle : conçu pour les scénarios où de grandes capacités et un accès au système de fichiers parallèle sont essentiels. Convient aux tâches parallèles moins dépendantes des E/S.

      Tarifs

      À partir de 0,145 $ par Gio et par mois

      Découvrez les tarifs de Google Cloud. Afficher le détail des tarifs

      Simulateur de coût

      Estimez vos coûts mensuels pour les produits Google Cloud.

      Devis personnalisé

      Contactez notre équipe commerciale pour obtenir un devis personnalisé pour votre entreprise.

      Commencer votre démonstration de faisabilité

      Premiers pas avec Managed Lustre

      Consultez les détails techniques

      Découvrir Managed Lustre sur Google Cloud

      Commencez à créer votre application d'IA avec Vertex AI

      Découvrez AI Hypercomputer, l'architecture de calcul intensif intégrée de Google

      Cas d'utilisation métier

      Découvrez les témoignages de nos clients Managed Lustre


      "Notre capacité à aider les entreprises à identifier et à bloquer les deepfakes audio, vidéo et image dépend entièrement de nos modèles. Managed Lustre est essentiel pour entraîner efficacement nos modèles avec nos ensembles de données dynamiques. Il sature complètement nos GPU et il est six fois plus rapide que les autres solutions de stockage que nous avons évaluées."

      Regardez leur témoignage ici.

      Zohaib Ahmed, CEO de Resemble AI

      "Managed Lustre nous permet de multiplier par trois le scaling de l'entraînement des modèles d'IA pour AFEELA Intelligent Drive par rapport à d'autres solutions Google Cloud."

      Motoi Kataoka, responsable senior, plate-forme d'analyse de données et d'IA, Sony Honda Mobility Inc.

      "En intégrant Managed Lustre à VTC (clusters d'entraînement Vertex), Salesforce AI Research a éliminé les goulots d'étranglement habituels liés à l'intégration, ce qui nous a permis de nous lancer immédiatement dans la charge de travail d'inférence. Ce stockage à haut débit et à faible latence permet de saturer complètement nos GPU B200, ce qui se traduit par un gain de performances considérable dans l'inférence avec les grands modèles de langage par rapport au H200. Pour nos clients, cela se traduit directement par des agents IA plus rapides et plus réactifs, capables de gérer des raisonnements complexes avec une latence bien inférieure à celle des modèles précédents."

      Lavanya Karanam, Principal Software Engineer, Salesforce

      "La migration vers Google Cloud a fondamentalement changé le rythme de mes recherches. Mon travail consiste à entraîner des réseaux de neurones à grande échelle sur d'énormes ensembles de données, y compris l'intégralité du Common Corpus, que l'équipe chargée des clusters a importé et rendu directement accessible pour moi. Je n'aurais pas pu obtenir l'ensemble de données complet avec les infrastructures auxquelles j'avais accès. Avec Managed Lustre, l'ingestion, qui ralentissait auparavant mon pipeline, s'effectue désormais en quelques secondes. Mes GPU sont utilisés de façon constante et je passe beaucoup moins de temps à attendre dans la file d'attente. Résultat : un délai d'obtention des insights nettement plus court pour chacun des tests que je lance."

      Christopher J. Lynch, Ph.D., Professeur assistant de recherche, Virginia Modeling, Analysis & Simulation Center (VMASC), Université Old Dominion


      Optimiser les charges de travail GKE avec Managed Lustre

      Guide sur l'utilisation du pilote CSI Managed Lustre avec Google Kubernetes Engine (GKE) pour provisionner de manière transparente un stockage hautes performances pour les charges de travail conteneurisées d'IA, de ML et de HPC. Consulter le blog 

      Accélérer l'IA et le HPC avec Managed Lustre

      Présentation de la façon dont Managed Lustre simplifie le déploiement de systèmes de fichiers parallèles pour les charges de travail de calcul hautes performances. Consulter le blog

      Cache de paires clé/valeur externe avec Managed Lustre

      Présentation détaillée de l'utilisation de Lustre pour décharger les caches clé-valeur pour l'inférence avec les grands modèles de langage (LLM), ce qui réduit la surcharge de mémoire sur les TPU/GPU. Consulter le blog

      • Logo Resemble AI
      • Sony Honda Mobility
      • Logo Salesforce
      • Université Old Dominion (ODU)
      Google Cloud