Google Cloud Managed Lustre
Sistema de archivos paralelos de alto rendimiento
Agiliza el entrenamiento y el servicio de la IA y de HPC con el sistema de archivos paralelo de Google, compatible con POSIX, que ofrece el mayor rendimiento.
Características
Rendimiento y escalabilidad para cargas de trabajo de IA y aprendizaje automático
Para entrenar modelos de aprendizaje profundo de gran tamaño, se necesitan conjuntos de datos enormes. Managed Lustre, basado en DDN EXAScaler, distribuye el acceso a los datos, lo que reduce los tiempos de entrenamiento y permite obtener información valiosa más rápidamente, mejorar la precisión y gestionar proyectos de IA complejos. Su escalabilidad garantiza que el rendimiento se mantenga al ritmo del crecimiento de los datos, evitando los cuellos de botella en el almacenamiento.
Agiliza la inferencia de IA con la caché de clave-valor
La IA de agentes sigue impulsando las ventanas de contexto grandes, lo que puede suponer un reto de almacenamiento a la hora de ofrecer al usuario final una experiencia ágil al interactuar con los LLMs. Las ventanas de contexto grandes aumentan la sensibilidad a la latencia, ya que la memoria local de los aceleradores suele agotarse, lo que obliga al modelo a acceder al almacenamiento externo. Managed Lustre, que ofrece tiempos de respuesta inferiores a 1 ms, puede mejorar tu CTP hasta un 35 % y aumentar el rendimiento general de la inferencia.
Maximiza el rendimiento por dólar de tus recursos de almacenamiento y computación
Optimiza el uso de recursos distribuyendo los datos y las tareas de procesamiento de forma eficiente. Mejora la utilización de las GPUs y las TPUs, así como las lecturas y escrituras de puntos de control, lo que conlleva una reducción de los costes de almacenamiento y computación, y una mejora general de la eficiencia de los costes.
Cómo funciona
La configuración y la operación de la infraestructura de HPC on-premise es costosa y requiere un mantenimiento continuo. Además, la infraestructura on-premise no suele poder escalarse rápidamente para adaptarse a los cambios en la demanda. Planificar, adquirir, desplegar y retirar el hardware on-premise lleva mucho tiempo, lo que retrasa la incorporación de recursos de HPC o la utilización de la capacidad. En la nube, puedes aprovisionar de forma eficiente una infraestructura de HPC que utiliza la tecnología más reciente y puedes escalar tu capacidad bajo demanda. Los científicos, investigadores y analistas pueden acceder rápidamente a más capacidad de HPC para sus proyectos cuando la necesiten.
La configuración y la operación de la infraestructura de HPC on-premise es costosa y requiere un mantenimiento continuo. Además, la infraestructura on-premise no suele poder escalarse rápidamente para adaptarse a los cambios en la demanda. Planificar, adquirir, desplegar y retirar el hardware on-premise lleva mucho tiempo, lo que retrasa la incorporación de recursos de HPC o la utilización de la capacidad. En la nube, puedes aprovisionar de forma eficiente una infraestructura de HPC que utiliza la tecnología más reciente y puedes escalar tu capacidad bajo demanda. Los científicos, investigadores y analistas pueden acceder rápidamente a más capacidad de HPC para sus proyectos cuando la necesiten.
Usos habituales
Cargas de trabajo de inteligencia artificial (IA) o de aprendizaje automático (ML)
Managed Lustre acelera las aplicaciones de IA y aprendizaje automático
Los sistemas de archivos paralelos aceleran significativamente el entrenamiento e inferencia de la IA al proporcionar un acceso de alta capacidad y baja latencia a conjuntos de datos masivos. Estos sistemas distribuyen los datos en varios nodos de almacenamiento, lo que permite que numerosas unidades de procesamiento o GPUs accedan a ellos de forma simultánea. Este acceso en paralelo elimina los cuellos de botella que se producen con los sistemas de archivos tradicionales, lo que permite que los modelos de IA ingieran y procesen rápidamente las enormes cantidades de datos que se necesitan para el entrenamiento.
Recursos de formación
Managed Lustre acelera las aplicaciones de IA y aprendizaje automático
Los sistemas de archivos paralelos aceleran significativamente el entrenamiento e inferencia de la IA al proporcionar un acceso de alta capacidad y baja latencia a conjuntos de datos masivos. Estos sistemas distribuyen los datos en varios nodos de almacenamiento, lo que permite que numerosas unidades de procesamiento o GPUs accedan a ellos de forma simultánea. Este acceso en paralelo elimina los cuellos de botella que se producen con los sistemas de archivos tradicionales, lo que permite que los modelos de IA ingieran y procesen rápidamente las enormes cantidades de datos que se necesitan para el entrenamiento.
Computación de alto rendimiento (HPC)
Las aplicaciones de HPC requieren una infraestructura de almacenamiento sólida
Los sistemas de archivos paralelos son fundamentales para la computación de alto rendimiento (HPC). En las previsiones meteorológicas, se encargan de gestionar una gran cantidad de datos meteorológicos para hacer predicciones precisas. Los ingenieros los usan para hacer simulaciones complejas de dinámica de fluidos, lo que mejora el diseño de aviones y automóviles. Las instituciones financieras procesan grandes conjuntos de datos financieros para agilizar las evaluaciones de riesgos y las predicciones del mercado. Estos sistemas ofrecen el alto rendimiento y la baja latencia necesarios para las cargas de trabajo que requieren muchos datos, lo que permite realizar análisis más rápidos y eficientes en aplicaciones de HPC esenciales.
Recursos de formación
Las aplicaciones de HPC requieren una infraestructura de almacenamiento sólida
Los sistemas de archivos paralelos son fundamentales para la computación de alto rendimiento (HPC). En las previsiones meteorológicas, se encargan de gestionar una gran cantidad de datos meteorológicos para hacer predicciones precisas. Los ingenieros los usan para hacer simulaciones complejas de dinámica de fluidos, lo que mejora el diseño de aviones y automóviles. Las instituciones financieras procesan grandes conjuntos de datos financieros para agilizar las evaluaciones de riesgos y las predicciones del mercado. Estos sistemas ofrecen el alto rendimiento y la baja latencia necesarios para las cargas de trabajo que requieren muchos datos, lo que permite realizar análisis más rápidos y eficientes en aplicaciones de HPC esenciales.
Precios
| Precios de Managed Lustre | Los precios de Managed Lustre se basan principalmente en la ubicación y el nivel de servicio. |
|---|---|
| Nivel de servicio | Precios |
1000 MB/s/TiB Ideal para cargas de trabajo de alto rendimiento, como el entrenamiento de IA o de aprendizaje automático, en las que el rendimiento es fundamental. | Desde 0,60 USD/GiB al mes |
500 MB/s/TiB Ideal para un equilibrio de alto rendimiento: excelente para cargas de trabajo exigentes de IA o aprendizaje automático, aplicaciones complejas de HPC y analíticas que requieren muchos datos y un rendimiento considerable, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada. | Desde 0,34 USD/GiB al mes |
250 MB/s/TiB Ideal para HPC de uso general e IA con uso intensivo de rendimiento: adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA o aprendizaje automático, preprocesamiento de datos y aplicaciones que necesitan un rendimiento significativamente mejor que el de NFS tradicional, a un precio rentable. | Desde 0,21 USD/GiB al mes |
125 MB/s/TiB Ideal para cargas de trabajo centradas en la capacidad con necesidades de acceso paralelo: diseñado para situaciones en las que la capacidad y el acceso al sistema de archivos paralelos son fundamentales. Es una buena opción para tareas paralelas que no dependan tanto de las operaciones de E/S. | Desde 0,145 USD/GiB al mes |
Más información sobre los precios de Google Cloud Ver toda la información sobre los precios.
Precios de Managed Lustre
Los precios de Managed Lustre se basan principalmente en la ubicación y el nivel de servicio.
1000 MB/s/TiB
Ideal para cargas de trabajo de alto rendimiento, como el entrenamiento de IA o de aprendizaje automático, en las que el rendimiento es fundamental.
Desde 0,60 USD/GiB al mes
500 MB/s/TiB
Ideal para un equilibrio de alto rendimiento: excelente para cargas de trabajo exigentes de IA o aprendizaje automático, aplicaciones complejas de HPC y analíticas que requieren muchos datos y un rendimiento considerable, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada.
Desde 0,34 USD/GiB al mes
250 MB/s/TiB
Ideal para HPC de uso general e IA con uso intensivo de rendimiento: adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA o aprendizaje automático, preprocesamiento de datos y aplicaciones que necesitan un rendimiento significativamente mejor que el de NFS tradicional, a un precio rentable.
Desde 0,21 USD/GiB al mes
125 MB/s/TiB
Ideal para cargas de trabajo centradas en la capacidad con necesidades de acceso paralelo: diseñado para situaciones en las que la capacidad y el acceso al sistema de archivos paralelos son fundamentales. Es una buena opción para tareas paralelas que no dependan tanto de las operaciones de E/S.
Desde 0,145 USD/GiB al mes
Más información sobre los precios de Google Cloud Ver toda la información sobre los precios.
Caso de negocio
Aprende de los clientes de Managed Lustre
Por qué Resemble AI elige Managed Lustre para ejecutar cargas de trabajo de alto rendimiento
Zohaib Ahmed, CEO de Resemble AI
"Nuestra capacidad para ayudar a las empresas a identificar y bloquear audios, vídeos e imágenes de deepfakes depende de la calidad de nuestros modelos. Managed Lustre es fundamental para que nuestros modelos se entrenen correctamente con nuestros conjuntos de datos dinámicos. Satura por completo nuestras GPUs y es 6 veces más rápido que las otras soluciones de almacenamiento que hemos evaluado".
