HPC 工作負載適用的平行檔案系統

Last reviewed 2025-05-19 UTC

本文將介紹 Google Cloud 中適用於高效能運算 (HPC) 工作負載的儲存空間選項，並說明何時應使用平行檔案系統處理 HPC 工作負載。在平行檔案系統中，多個用戶端會使用平行 I/O 路徑，存取儲存在多個網路儲存節點中的共用資料。

本文件適用於架構師和管理員，他們負責設計、佈建及管理儲存空間，以供資料密集型 HPC 工作負載使用。本文假設您已瞭解網路檔案系統 (NFS)、平行檔案系統、POSIX，以及 HPC 應用程式的儲存空間需求。

什麼是 HPC？

HPC 系統會匯總多個運算資源，快速解決大型運算問題。HPC 可推動醫療保健、生命科學、媒體、娛樂、金融服務和能源等產業的研究與創新。研究人員、科學家和分析師會使用 HPC 系統進行實驗、執行模擬，以及評估原型。地震處理、基因體定序、媒體算繪和氣候模型等 HPC 工作負載，會以越來越高的資料速率產生及存取大量資料，且延遲時間越來越短。高效能儲存空間和資料管理是 HPC 基礎架構的重要建構區塊。

Google Cloud中的 HPC 工作負載儲存空間選項

on-premises 環境的 HPC 基礎架構設置及運作成本高昂，且需要持續維護。此外，on-premises 基礎架構通常無法迅速配合需求變化調度資源。具體來看，on-premises 硬體的規劃、採購、部署及停用程序曠日廢時，因此難以及時加入或充分運用 HPC 資源。不過在雲端，組織能以高效率佈建採用最新技術的 HPC 基礎架構，並依需求調整容量。

Google Cloud 和技術合作夥伴提供經濟實惠、彈性且可擴充的儲存空間選項，方便您在雲端部署 HPC 基礎架構，並擴增內部部署 HPC 基礎架構。這樣一來，科學家、研究人員和分析師就能在需要時，立即取得額外的 HPC 容量來執行專案。

如要在 Google Cloud中部署 HPC 工作負載，您可以根據工作負載的需求，選擇下列儲存服務和產品：

工作負載類型 建議使用的儲存空間服務和產品
需要低延遲存取資料，但不需要極端 I/O 存取共用資料集，且用戶端之間資料共用有限的工作負載。 使用 NFS 儲存空間。選擇下列其中一個選項：
產生複雜、相互依存且大規模 I/O 的工作負載，例如使用訊息傳遞介面 (MPI) 進行可靠處理序間通訊的緊耦合 HPC 應用程式。 使用平行檔案系統。選擇下列其中一個選項：
如要進一步瞭解平行檔案系統可支援的工作負載需求，請參閱「平行檔案系統的使用時機」。

平行檔案系統的使用時機

在並行檔案系統中，多個用戶端會使用並行 I/O 路徑，在多個網路儲存節點中儲存及存取共用資料。平行檔案系統非常適合緊密耦合的 HPC 工作負載，例如資料密集型人工智慧 (AI) 工作負載，以及使用 SAS 應用程式的分析工作負載。如果延遲時間對 HPC 工作負載至關重要，且工作負載符合下列任一需求，建議使用 Managed Lustre 等平行檔案系統：

  • 緊密結合的資料處理：天氣模型和地震勘探等 HPC 工作負載需要使用多個相互依存的工作，在多部伺服器上同時執行，才能重複處理資料。這些程序通常會使用 MPI 定期交換資料，並使用檢查點從故障中快速復原。平行檔案系統可讓相互依存的用戶端透過低延遲網路，同時儲存及存取大量共用資料。
  • 支援 POSIX I/O API 和語意：Managed Lustre 等平行處理檔案系統非常適合需要 POSIX API 和語意的工作負載。檔案系統的 API 和語意是獨立的功能。舉例來說，NFS 支援 POSIX API，應用程式就是透過這個 API，使用 open()、read() 和 write() 等函式讀取及寫入資料。但 NFS 協調不同用戶端之間資料存取的方式，與 POSIX 語意協調機器上不同執行緒之間資料存取的方式不同。舉例來說，NFS 不支援用戶端之間的 POSIX 讀後寫入快取一致性，而是依賴 NFSv3 中的弱一致性，以及 NFSv4 中的接近開啟的一致性。
  • PB 級容量：平行檔案系統可擴充至單一檔案系統命名空間中的多個 PB 級容量。NetApp Volumes 最多支援 1 PB，而 Filestore 區域和可用區級別的檔案系統最多支援 100 TiB。Cloud Storage 提供低成本且可靠的容量，可自動調整資源配置，但可能無法滿足 HPC 工作負載的資料共用語意和低延遲需求。
  • 低延遲和高頻寬：如果 HPC 工作負載需要高速存取超大型檔案或數百萬個小型檔案，平行檔案系統的效能強於 NFS 和物件儲存空間。平行檔案系統提供的延遲時間低於毫秒，遠低於物件儲存空間，這可能會影響最大 IOPS。此外，平行檔案系統支援的頻寬上限遠高於 NFS 系統，後者可能會使 VM 的 NIC 達到飽和。
  • 極致用戶端 擴充：NFS 儲存空間可支援數千個用戶端。平行檔案系統可擴充，支援超過 10,000 個用戶端同時存取共用資料，且無論用戶端數量多少，都能提供高輸送量。

緊耦合 HPC 應用程式範例

本節將說明緊密耦合 HPC 應用程式的範例，這類應用程式需要平行檔案系統提供的低延遲和高處理量儲存空間。

採用 AI 技術的分子模擬

藥物研究是耗費大量資金和資料的過程。現代藥物研究機構仰賴 AI 技術，以降低研發成本、有效擴大規模，並加速科學研究。舉例來說，研究人員會使用 AI 輔助應用程式模擬藥物中分子之間的互動，並預測藥物中化合物變化的影響。這些應用程式會在強大的平行化 GPU 處理器上執行，載入、整理及分析大量資料，以快速完成模擬作業。平行檔案系統可提供儲存空間 IOPS 和總處理量，有助於盡可能提升 AI 應用程式的效能。

使用 SAS 應用程式分析信用風險

抵押貸款機構和投資銀行等金融服務機構，需要持續分析及監控客戶和投資組合的信用評等。舉例來說，大型抵押貸款機構每天都會蒐集數千名潛在客戶的風險相關資料。信用分析師團隊會使用分析應用程式，共同審查每位客戶資料的不同部分，例如收入、信用記錄和消費模式。這項分析的洞察資料有助於信用分析師準確及時地提出放款建議。

為加速及擴大規模分析大型資料集，金融服務機構會使用網格運算平台，例如 SAS Grid Manager。平行檔案系統 (例如 Managed Lustre) 支援多執行緒 SAS 應用程式的高處理量和低延遲儲存空間需求。

天氣預報

為了預測特定地理區域的天氣模式，氣象學家會將該區域劃分成數個格點，並在每個格點部署地面雷達和氣象氣球等監測裝置。這些裝置會定期觀察及測量大氣狀況，裝置會持續將資料串流至 HPC 叢集中執行的天氣預報應用程式。

天氣預測應用程式會使用數學模型處理串流資料，這些模型是根據所測量天氣參數之間已知的物理關係建立。系統會使用個別工作處理區域中每個儲存格的資料。應用程式收到新的測量結果時，每個工作都會針對所屬儲存格的最新資料進行疊代，並與該區域其他儲存格的工作交換輸出內容。為了可靠地預測天氣模式，應用程式需要儲存及分享數 TB 的資料，這些資料是由數千個平行執行的作業產生及存取。

飛機設計的 CFD

計算流體力學 (CFD) 涉及使用數學模型、物理定律和計算邏輯，模擬氣體或液體在移動物體周圍的行為。飛機工程師設計機身時，會考量空氣動力學等因素。CFD 可讓設計人員在投入時間和金錢打造昂貴的原型之前，快速模擬設計變更對空氣動力學的影響。分析每次模擬執行的結果後，設計師會針對機身各個組件的體積和形狀等屬性進行最佳化，然後重新模擬空氣動力學。CFD 可讓飛機設計師協同作業，快速模擬數百項設計變更的影響。

如要有效率地完成設計模擬，CFD 應用程式需要以毫秒以下的速度存取共用資料，並以高達 100 GBps 的速度儲存大量資料。

平行檔案系統選項總覽

本節概略介紹Google Cloud 中可用的平行檔案系統選項。

Google Cloud Managed Lustre

Managed Lustre 是 Google 管理的服務，可為緊密耦合的 HPC 工作負載提供高總處理量和低延遲的儲存空間。平行處理檔案系統提供高處理量、低延遲的大量資料集存取機制，可大幅加快高效能運算工作負載和 AI 訓練與推論速度。如要瞭解如何使用 Managed Lustre 處理 AI 和機器學習工作負載，請參閱「在 Google Cloud中設計 AI 和機器學習工作負載的儲存空間」。代管 Lustre 會將資料分散至多個儲存節點，讓多個 VM 能同時存取。這種平行存取機制可消除傳統檔案系統的瓶頸，讓工作負載快速擷取並處理所需的大量資料。

DDN Infinia

如需進階 AI 資料協調功能，可以使用 Google Cloud Marketplace 提供的 DDN Infinia。Infinia 提供以 AI 為主的資料智慧解決方案，可針對推論、訓練和即時分析進行最佳化。可實現超快速資料擷取、豐富的中繼資料索引，以及與 TensorFlow 和 PyTorch 等 AI 架構的無縫整合。

DDN Infinia 的主要功能如下：

  • 高效能：提供不到 1 毫秒的延遲時間，以及每秒數 TB 的輸送量。
  • 可擴充性：支援從 TB 擴充至 EB，單一部署作業最多可容納 10 萬個以上的 GPU，以及 100 萬個同時連線的用戶端。
  • 多租戶架構，服務品質 (QoS) 可預測：為多個租戶提供安全、隔離的環境，並提供可預測的 QoS，確保工作負載效能一致。
  • 統一資料存取：透過內建的多重通訊協定支援 (包括與 Amazon S3 相容、CSI 和 Cinder)，與現有應用程式和工作流程順暢整合。
  • 進階安全性：內建加密功能、容錯網域感知清除編碼，以及有助於確保資料保護和法規遵循的快照。

Sycomp Intelligent Data Storage Platform

Sycomp Intelligent Data Storage Platform 可在 Google Cloud Marketplace 中取得，讓您在 Google Cloud中執行高效能運算 (HPC)、AI 和機器學習，以及大數據工作負載。使用 Sycomp Storage，您可以同時從數千部 VM 存取資料、自動管理儲存空間層級來降低成本，以及在地端或 Google Cloud執行應用程式。Sycomp Storage 部署快速，並支援透過 NFS 和 IBM Storage Scale 用戶端存取資料。

IBM Storage Scale 是一種平行檔案系統，可協助安全管理大量 (PB 級) 資料。Sycomp Storage Scale 是一個平行檔案系統，非常適合 HPC、AI、機器學習、大數據，以及其他需要符合 POSIX 規範共用檔案系統的應用程式。Sycomp Storage 具備可調整的儲存空間容量和效能擴充功能，可支援小型到大型的 HPC、AI 和 ML 工作負載。

在 Google Cloud中部署叢集後，您可以決定如何使用叢集。選擇要只在雲端中使用叢集，還是以混合模式使用，方法是連線至現有的內部部署 IBM Storage Scale 叢集、第三方 NFS NAS 解決方案或其他物件式儲存解決方案。

貢獻者

作者：Kumar Dhanagopal | 跨產品解決方案開發人員

其他貢獻者：