儲存空間

Google Cloud Managed Lustre

高效能平行處理檔案系統

Managed Lustre 是 Google 的平行處理檔案系統,具備最高效能且符合 POSIX 標準,可加快 HPC、AI 訓練和服務提供速度。

功能

具備優異的效能和擴充能力,可支援 AI/機器學習工作負載

想訓練大型深度學習模型,就需要大量資料集。Managed Lustre 以 DDN EXAScaler 為基礎,將資料分散至多個存取位置,進而縮短訓練時間,提高深入分析速度和準確率,可以處理複雜的 AI 專案。這個系統具備優異的擴充能力,可以隨著資料量增加提高效能,避免出現儲存空間瓶頸。歡迎按這裡觀看 Omdia 的 Managed Lustre 總覽。

運用 KV 快取加快 AI 推論速度

代理式 AI 持續推動大型脈絡窗口,這可能會帶來儲存空間方面的挑戰,您需要在使用者與大型語言模型互動時快速回應。脈絡窗口越大,就越易受延遲影響,因為加速器上的本機記憶體通常會耗盡,導致模型必須存取外部儲存空間。

盡可能提高 GPU 飽和度和運算投資報酬率

AI 的真正成本不只是儲存空間,還有閒置的運算資源。Managed Lustre 提供高處理量和低延遲的資料推送服務,可確保最昂貴的資產充分發揮效用。透過最佳化資料分配和提高快速查核點機制速度,您能大幅提升加速器使用率,進而降低管理負擔,讓投入的每一分錢都獲得更優異的效能。

在不同產業推動創新

產業

AI 和機器學習

解決資料不足問題,大規模訓練基礎模型。Managed Lustre 將運算資源與儲存空間分離,大幅提高 LLM 推論處理量,能在 1 毫秒以內快取外部 KV,確保最昂貴的加速器完整發揮效能。

歡迎探索 Google Cloud AI 解決方案

醫療照護與生命科學

推動突破性創新,研發新療法。Managed Lustre 提供極高的 IOPS,可加速藥物研發、分析複雜的基因體定序,並支援 AI 醫學影像套件,大幅縮短研究人員和臨床醫師取得洞察的時間。

歡迎探索 Google Cloud 醫療照護與生命科學解決方案

機器視覺、機器人和自駕車

加速軟體定義車輛的研發流程。有了 Managed Lustre,創新者將能輕鬆擷取 PB 規模的感應器遙測資料,並透過零延遲儲存空間,輔助空氣動力學、安全防護和熱能最佳化的模擬工作,大幅提高研發工程師的工作效率。

歡迎探索 Google Cloud 汽車業解決方案

資本市場

執行要求小於 1 毫秒精確度的工作負載,例如:金融服務業可執行複雜的量化風險分析和即時市場模擬,全球媒體工作室則能加速高解析度 VFX 算繪和後製工作流程。

歡迎探索 Google Cloud 資本市場解決方案金融服務解決方案

媒體娛樂

如期完成製作,不必擔心儲存空間效能受影響。工作室可實現極高處理量,順暢編輯高解析度影片、即時算繪 VFX,並加快後製工作流程。

歡迎探索 Google Cloud 媒體娛樂業解決方案

AI 和機器學習

解決資料不足問題,大規模訓練基礎模型。Managed Lustre 將運算資源與儲存空間分離,大幅提高 LLM 推論處理量,能在 1 毫秒以內快取外部 KV,確保最昂貴的加速器完整發揮效能。

歡迎探索 Google Cloud AI 解決方案

醫療照護與生命科學

推動突破性創新,研發新療法。Managed Lustre 提供極高的 IOPS,可加速藥物研發、分析複雜的基因體定序,並支援 AI 醫學影像套件,大幅縮短研究人員和臨床醫師取得洞察的時間。

歡迎探索 Google Cloud 醫療照護與生命科學解決方案

機器視覺、機器人和自駕車

加速軟體定義車輛的研發流程。有了 Managed Lustre,創新者將能輕鬆擷取 PB 規模的感應器遙測資料,並透過零延遲儲存空間,輔助空氣動力學、安全防護和熱能最佳化的模擬工作,大幅提高研發工程師的工作效率。

歡迎探索 Google Cloud 汽車業解決方案

資本市場

執行要求小於 1 毫秒精確度的工作負載,例如:金融服務業可執行複雜的量化風險分析和即時市場模擬,全球媒體工作室則能加速高解析度 VFX 算繪和後製工作流程。

歡迎探索 Google Cloud 資本市場解決方案金融服務解決方案

媒體娛樂

如期完成製作,不必擔心儲存空間效能受影響。工作室可實現極高處理量,順暢編輯高解析度影片、即時算繪 VFX,並加快後製工作流程。

歡迎探索 Google Cloud 媒體娛樂業解決方案

運作方式

適用於 AI 的高效能儲存空間。Google Cloud Managed Lustre 以 DDN EXAScaler 為基礎,可立即視需求佈建及擴充雲端 HPC。

常見用途

開始使用

  1. 建立 Managed Lustre 執行個體:只要按幾下滑鼠,即可部署 Managed Lustre 執行個體。
  2. 擷取及連結:直接從 Google Cloud Storage 擷取資料,輕鬆為 Managed Lustre 檔案系統補充資料。
  3. 大規模處理:以超低延遲時間,將大量資料集傳輸到 Vertex 訓練叢集 (VTC) 或 GKE
  4. 加速:將高處理量資料直接提供給新一代硬體,確保 GPU 以最高使用率運作。
    1. 建立 Managed Lustre 執行個體:只要按幾下滑鼠,即可部署 Managed Lustre 執行個體。
    2. 擷取及連結:直接從 Google Cloud Storage 擷取資料,輕鬆為 Managed Lustre 檔案系統補充資料。
    3. 大規模處理:以超低延遲時間,將大量資料集傳輸到 Vertex 訓練叢集 (VTC) 或 GKE
    4. 加速:將高處理量資料直接提供給新一代硬體,確保 GPU 以最高使用率運作。

      定價

      Managed Lustre 定價Managed Lustre 的定價主要取決於位置和服務等級。
      服務水準定價

      1,000 MB/秒/TiB

      最適合重視處理量、需要 AI/機器學習訓練的高效能工作負載。

      每月每 GiB $0.60 美元起

      500 MB/秒/TiB

      最適合兼顧高效能與成本效益:如要執行處理量高的嚴苛 AI/機器學習工作負載、複雜的 HPC 應用程式和資料密集型分析工作,同時兼顧成本效益,這是最理想的選擇。

      每月每 GiB $0.34 美元起

      250 MB/秒/TiB

      最適合一般用途 HPC 和處理量密集型 AI:適用於多種 HPC 工作負載、AI/機器學習推論、資料前置處理,以及效能需求遠高於傳統 NFS 的應用程式,而且價格實惠。


      每月每 GiB $0.21 美元起

      125 MB/秒/TiB

      最適合有平行存取需求的大容量工作負載:可以滿足大容量和平行檔案系統存取需求。適合 I/O 限制較少的平行處理工作。

      每月每 GiB $0.145 美元起

      瞭解 Google Cloud 定價。查看所有定價詳細資料

      Managed Lustre 定價

      Managed Lustre 的定價主要取決於位置和服務等級。

      1,000 MB/秒/TiB

      最適合重視處理量、需要 AI/機器學習訓練的高效能工作負載。

      定價

      每月每 GiB $0.60 美元起

      500 MB/秒/TiB

      最適合兼顧高效能與成本效益:如要執行處理量高的嚴苛 AI/機器學習工作負載、複雜的 HPC 應用程式和資料密集型分析工作,同時兼顧成本效益,這是最理想的選擇。

      定價

      每月每 GiB $0.34 美元起

      250 MB/秒/TiB

      最適合一般用途 HPC 和處理量密集型 AI:適用於多種 HPC 工作負載、AI/機器學習推論、資料前置處理,以及效能需求遠高於傳統 NFS 的應用程式,而且價格實惠。


      定價

      每月每 GiB $0.21 美元起

      125 MB/秒/TiB

      最適合有平行存取需求的大容量工作負載:可以滿足大容量和平行檔案系統存取需求。適合 I/O 限制較少的平行處理工作。

      定價

      每月每 GiB $0.145 美元起

      瞭解 Google Cloud 定價。查看所有定價詳細資料

      Pricing Calculator

      估算 Google Cloud 產品的每月費用。

      客製化報價

      貴組織如需索取客製化的報價,請與我們的銷售團隊聯絡。

      開始驗證概念

      開始使用 Managed Lustre

      深入瞭解技術細節

      探索 Google Cloud 的 Managed Lustre

      開始使用 Vertex AI 建構 AI 應用程式

      探索 Google 的整合式超級電腦架構:AI Hypercomputer

      企業案例

      Managed Lustre 客戶經驗分享


      「我們能否確實協助公司辨識並封鎖深偽音訊、影片和圖片,取決於模型品質。在我們使用動態資料集,成功訓練模型方面,Managed Lustre 至關重要。這個系統可以完整發揮 GPU 的效能,速度比我們評估的其他儲存空間解決方案快 6 倍。」

      點此觀看他們的成功案例。

      - Resemble AI 執行長 Zohaib Ahmed

      「相較於其他 Google Cloud 解決方案,Managed Lustre 可將 AFEELA Intelligent Drive 的 AI 模型訓練規模擴大 3 倍。」

      - Sony Honda Mobility Inc. 的 AI 與資料分析平台部門資深經理 Motoi Kataoka

      「Salesforce AI Research 將 Managed Lustre 與 VTC (Vertex 訓練叢集) 整合,消除了常見的初始使用瓶頸,讓我們能立即開始執行推論工作負載。這個儲存空間的處理量高、延遲時間短,可以完整發揮 B200 GPU 的效能,大幅提高大型語言模型的推論效能,更勝 H200。對我們的客戶來說,這代表 AI 代理的回應速度更快、內容更豐富,能以遠低於以往的延遲時間處理複雜的推論作業。」

      - Salesforce 資深軟體工程師 Lavanya Karanam

      「改用 Google Cloud 後,我的研究速度大幅提升。我負責使用龐大的資料集訓練大規模類神經網路,包括由叢集團隊上傳、開放我直接透過叢集存取的完整 Common Corpus。如果沒有任何基礎架構的實際存取權,我根本無法取得完整的資料集。有了 Managed Lustre,以前經常出現瓶頸的擷取作業現在只要幾秒就能完成,GPU 也穩定使用中,等待佇列的時間大幅減少。現在每次進行實驗時,我都能更快取得洞察結果。」

      - 維吉尼亞州 Old Dominion University 建模、分析與模擬中心 (VMASC) 研究助理教授 Christopher J. Lynch 博士


      使用 Managed Lustre 擴充 GKE 工作負載

      這份指南說明如何搭配使用 Managed Lustre CSI 驅動程式與 Google Kubernetes Engine (GKE),為容器化 AI、機器學習和 HPC 工作負載順暢佈建高效能儲存空間。閱讀網誌

      運用 Managed Lustre 加快 AI 和 HPC 作業速度

      概略瞭解 Managed Lustre 如何簡化高效能運算工作負載的平行檔案系統部署工作。閱讀網誌

      採用 Managed Lustre 的外部 KV 快取

      深入瞭解如何使用 Lustre 消除大型語言模型 (LLM) 推論工作的 KV 快取,減少 TPU/GPU 的記憶體負擔。閱讀網誌

      • Resemble AI 標誌
      • Sony Honda Mobility
      • Salesforce 標誌
      • Old Dominion University (ODU)
      Google Cloud