Google Cloud Managed Lustre
Sistema de archivos paralelos de alto rendimiento
Acelera el entrenamiento y la entrega de IA y HPC con el sistema de archivos paralelos de Google con mayor rendimiento y que cumplen con POSIX.
Funciones
Rendimiento y escalamiento para cargas de trabajo de IA/AA
Entrenar modelos de aprendizaje profundo grandes requiere conjuntos de datos masivos. Managed Lustre, basado en DDN EXAScaler, distribuye el acceso a los datos, lo que reduce los tiempos de entrenamiento y permite obtener estadísticas más rápidas, una mejor precisión y el manejo de proyectos de IA complejos. Su escalabilidad garantiza que el rendimiento se mantenga al ritmo del crecimiento de los datos, lo que evita los cuellos de botella en el almacenamiento.
Acelera la inferencia de la IA con el caché de KV
La IA de agentes sigue impulsando las grandes ventanas de contexto, lo que puede plantear un desafío de almacenamiento para proporcionar al usuario final una experiencia responsiva a medida que interactúa con los LLM. Las ventanas de contexto grandes aumentan la sensibilidad a la latencia, ya que la memoria local de los aceleradores suele agotarse, lo que requiere que el modelo acceda al almacenamiento externo. Managed Lustre, que ofrece tiempos de respuesta inferiores a un milisegundo, puede mejorar tu TCO hasta un 35% y optimizar la capacidad de procesamiento general de la inferencia.
Maximiza el rendimiento por dólar para los recursos de almacenamiento y procesamiento
Para optimizar el uso de los recursos, distribuye los datos y las tareas de procesamiento de forma eficiente. Mejora la utilización de GPU/TPU, las lecturas y escrituras de puntos de control, lo que lleva a una reducción de los costos de almacenamiento, costos de procesamiento más bajos y una mejora general de la eficiencia de los costos.
Cómo funciona
Configurar y operar la infraestructura de HPC de forma local es costoso y la infraestructura requiere un mantenimiento continuo. Además, la infraestructura local, por lo general, no se puede escalar rápidamente para que coincida con los cambios en la demanda. La planificación, la adquisición, la implementación y el retiro de hardware local requieren un tiempo considerable, lo que da como resultado una adición retrasada de recursos de HPC o una capacidad con poco uso. En la nube, puedes aprovisionar de manera eficiente una infraestructura de HPC que use la tecnología más reciente y escalar tu capacidad a pedido. Los científicos, los investigadores y los analistas pueden acceder con rapidez a la capacidad adicional de HPC para sus proyectos cuando la necesitan.
Configurar y operar la infraestructura de HPC de forma local es costoso y la infraestructura requiere un mantenimiento continuo. Además, la infraestructura local, por lo general, no se puede escalar rápidamente para que coincida con los cambios en la demanda. La planificación, la adquisición, la implementación y el retiro de hardware local requieren un tiempo considerable, lo que da como resultado una adición retrasada de recursos de HPC o una capacidad con poco uso. En la nube, puedes aprovisionar de manera eficiente una infraestructura de HPC que use la tecnología más reciente y escalar tu capacidad a pedido. Los científicos, los investigadores y los analistas pueden acceder con rapidez a la capacidad adicional de HPC para sus proyectos cuando la necesitan.
Usos comunes
Cargas de trabajo de inteligencia artificial (IA) o aprendizaje automático (AA)
Managed Lustre acelera las aplicaciones de IA y AA
Los sistemas de archivos paralelos aceleran significativamente el entrenamiento y la inferencia de la IA; para ello, proporcionan acceso de alta capacidad de procesamiento y baja latencia a conjuntos de datos masivos. Estos sistemas distribuyen los datos en varios nodos de almacenamiento, lo que permite el acceso simultáneo de numerosas unidades de procesamiento o GPU. Este acceso paralelo elimina los cuellos de botella que se producen con los sistemas de archivos tradicionales, lo que permite que los modelos de IA transfieran y procesen rápidamente las grandes cantidades de datos que se requieren para el entrenamiento.
Recursos de aprendizaje
Managed Lustre acelera las aplicaciones de IA y AA
Los sistemas de archivos paralelos aceleran significativamente el entrenamiento y la inferencia de la IA; para ello, proporcionan acceso de alta capacidad de procesamiento y baja latencia a conjuntos de datos masivos. Estos sistemas distribuyen los datos en varios nodos de almacenamiento, lo que permite el acceso simultáneo de numerosas unidades de procesamiento o GPU. Este acceso paralelo elimina los cuellos de botella que se producen con los sistemas de archivos tradicionales, lo que permite que los modelos de IA transfieran y procesen rápidamente las grandes cantidades de datos que se requieren para el entrenamiento.
Computación de alto rendimiento (HPC)
Las aplicaciones de HPC requieren una infraestructura de almacenamiento sólida
Los sistemas de archivos paralelos son fundamentales para la computación de alto rendimiento (HPC). En la previsión del tiempo, manejan datos meteorológicos masivos para realizar predicciones precisas. Los ingenieros los usan para realizar simulaciones complejas de dinámica de fluidos, lo que mejora el diseño de aeronaves y vehículos. Las instituciones financieras aceleran las evaluaciones de riesgos y las predicciones del mercado; para ello, procesan grandes cantidades de conjuntos de datos financieros. Estos sistemas proporcionan la alta capacidad de procesamiento y la baja latencia necesarias para las cargas de trabajo que consumen muchos datos, lo que permite un análisis más rápido y eficiente en las aplicaciones de HPC fundamentales.
Recursos de aprendizaje
Las aplicaciones de HPC requieren una infraestructura de almacenamiento sólida
Los sistemas de archivos paralelos son fundamentales para la computación de alto rendimiento (HPC). En la previsión del tiempo, manejan datos meteorológicos masivos para realizar predicciones precisas. Los ingenieros los usan para realizar simulaciones complejas de dinámica de fluidos, lo que mejora el diseño de aeronaves y vehículos. Las instituciones financieras aceleran las evaluaciones de riesgos y las predicciones del mercado; para ello, procesan grandes cantidades de conjuntos de datos financieros. Estos sistemas proporcionan la alta capacidad de procesamiento y la baja latencia necesarias para las cargas de trabajo que consumen muchos datos, lo que permite un análisis más rápido y eficiente en las aplicaciones de HPC fundamentales.
Precios
| Precios de Managed Lustre | Los precios de Managed Lustre se basan principalmente en la ubicación y el nivel de servicio. |
|---|---|
| Nivel de servicio | Precios |
1,000 MB/s/TiB Ideal para cargas de trabajo de alto rendimiento, como el entrenamiento de IA/AA, en las que la capacidad de procesamiento es fundamental. | Desde $0.60 por GiB al mes |
500 MB/s/TiB Ideal para un equilibrio de alto rendimiento: Excelente para cargas de trabajo exigentes de IA/AA, aplicaciones complejas de HPC y análisis con uso intensivo de datos que requieren una capacidad de procesamiento importante, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada. | Desde $0.34 por GiB al mes |
250 MB/s/TiB Ideal para HPC de uso general y para IA con uso intensivo de capacidad de procesamiento: Adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA/AA, preprocesamiento de datos y aplicaciones que necesitan un rendimiento significativamente mejor que el NFS tradicional, a un precio rentable. | Desde $0.21 por GiB al mes |
125 MB/s/TiB Ideal para cargas de trabajo enfocadas en la capacidad con necesidades de acceso paralelo: Diseñado para situaciones en las que son clave las grandes capacidades y el acceso paralelo al sistema de archivos. Es bueno para tareas paralelas con menos E/S. | Desde $0.145 por GiB al mes |
Obtén más información sobre los precios de Google Cloud. Revisa todos los detalles de precios.
Precios de Managed Lustre
Los precios de Managed Lustre se basan principalmente en la ubicación y el nivel de servicio.
1,000 MB/s/TiB
Ideal para cargas de trabajo de alto rendimiento, como el entrenamiento de IA/AA, en las que la capacidad de procesamiento es fundamental.
Desde $0.60 por GiB al mes
500 MB/s/TiB
Ideal para un equilibrio de alto rendimiento: Excelente para cargas de trabajo exigentes de IA/AA, aplicaciones complejas de HPC y análisis con uso intensivo de datos que requieren una capacidad de procesamiento importante, pero que pueden beneficiarse de una relación precio-rendimiento más equilibrada.
Desde $0.34 por GiB al mes
250 MB/s/TiB
Ideal para HPC de uso general y para IA con uso intensivo de capacidad de procesamiento: Adecuado para una amplia gama de cargas de trabajo de HPC, inferencia de IA/AA, preprocesamiento de datos y aplicaciones que necesitan un rendimiento significativamente mejor que el NFS tradicional, a un precio rentable.
Desde $0.21 por GiB al mes
125 MB/s/TiB
Ideal para cargas de trabajo enfocadas en la capacidad con necesidades de acceso paralelo: Diseñado para situaciones en las que son clave las grandes capacidades y el acceso paralelo al sistema de archivos. Es bueno para tareas paralelas con menos E/S.
Desde $0.145 por GiB al mes
Obtén más información sobre los precios de Google Cloud. Revisa todos los detalles de precios.
Caso empresarial
Aprende de los clientes de Managed Lustre
Por qué Resemble AI elige Managed Lustre para ejecutar cargas de trabajo de alto rendimiento
Zohaib Ahmed, director general de Resemble AI
“Nuestra capacidad para ayudar a las empresas a identificar y bloquear audios, imágenes y videos deepfake depende de la calidad de nuestros modelos. Managed Lustre es fundamental para el entrenamiento exitoso de nuestros modelos con nuestros conjuntos de datos dinámicos. Satura por completo nuestras GPU y es 6 veces más rápido que las otras soluciones de almacenamiento que evaluamos”.
