功能
训练大型深度学习模型需要大量数据集。基于 DDN EXAScaler 的 Managed Lustre 可分散数据访问,缩短训练时间,实现更快的洞察、更高的准确性,并处理复杂的 AI 项目。其可伸缩性确保性能跟上不断增长的数据,避免存储瓶颈。
智能体 AI 将继续推动大上下文窗口的发展,这可能会带来存储方面的挑战,因为在最终用户与 LLM 交互时,需要提供迅捷的体验。由于加速器上的本地内存常常会耗尽,需要模型访问外部存储空间,因此大上下文窗口会增加延迟敏感程度。Managed Lustre 可实现亚毫秒级的响应时间,将总拥有成本降低多达 35%,并提高整体推理吞吐量。
通过高效地分配数据和处理任务,优化资源利用。提高 GPU/TPU 利用率、优化检查点读写,从而降低存储费用、计算费用,并全面提高成本效益。
常见用途
价格
| Managed Lustre 价格 | Managed Lustre 的价格主要取决于位置和服务等级。 |
|---|---|
| 服务等级 | 价格 |
1,000 MB/秒/TiB 最适合吞吐量至关重要的高性能工作负载(例如 AI/机器学习训练)。 | 每月每 GiB 低至 $0.60 |
500 MB/秒/TiB 最适合追求高性能与性价比平衡:非常适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。 | 每月每 GiB 低至 $0.34 |
250 MB/秒/TiB 最适合通用 HPC 和吞吐量密集型 AI:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。 | 每月每 GiB 低至 $0.21 |
125 MB/秒/TiB 最适合需要并行访问且注重容量的工作负载:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。 | 每月每 GiB 低至 $0.145 |
详细了解 Google Cloud 价格。查看所有价格详情。
Managed Lustre 价格
Managed Lustre 的价格主要取决于位置和服务等级。
1,000 MB/秒/TiB
最适合吞吐量至关重要的高性能工作负载(例如 AI/机器学习训练)。
每月每 GiB 低至 $0.60
500 MB/秒/TiB
最适合追求高性能与性价比平衡:非常适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。
每月每 GiB 低至 $0.34
250 MB/秒/TiB
最适合通用 HPC 和吞吐量密集型 AI:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。
每月每 GiB 低至 $0.21
125 MB/秒/TiB
最适合需要并行访问且注重容量的工作负载:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。
每月每 GiB 低至 $0.145
详细了解 Google Cloud 价格。查看所有价格详情。
业务用例
向 Managed Lustre 客户学习经验
Resemble AI 选择使用 Managed Lustre 运行高性能工作负载的原因
Resemble AI 首席执行官 Zohaib Ahmed
“我们帮助公司识别和阻止深度伪造音频、视频和图片的能力取决于我们的模型。Managed Lustre 对于我们使用动态数据集顺利训练模型至关重要。它可以充分利用我们的 GPU,且速度比我们评估的其他存储解决方案快 6 倍。”