Compute Engine 上的檔案伺服器

檔案伺服器又稱為「儲存檔案伺服器」,可讓應用程式讀取及更新跨機器共用的檔案。有些檔案解決方案採用垂直擴充,由連結至單一 VM 的儲存空間組成;有些解決方案則是採用水平擴充,由連結至儲存空間的 VM 叢集組成,其中的虛擬機器會向應用程式顯示單一檔案系統命名空間。

雖然部分檔案系統會使用原生的 POSIX 用戶端,但許多檔案伺服器則是採用通訊協定,讓用戶端機器能夠掛接檔案系統並存取檔案,如同這些檔案託管在本機上一般。最常用來匯出檔案共用區的通訊協定是適用於 Linux 的網路檔案系統 (NFS),以及適用於 Windows 的網路檔案分享系統 (CIFS) 或伺服器訊息區塊 (SMB)。

本解決方案說明適用於共用檔案的下列選項:

Compute Engine 永久磁碟

代管檔案伺服器解決方案:

GCP Marketplace 中受支援的檔案伺服器解決方案:

來自合作夥伴的受支援檔案伺服器解決方案:

Google 多年來不斷發展網路堆疊,使所有 Google Cloud Platform (GCP) 服務皆具備優異效能和可預測性。Google 透過 Jupiter Fabric 建構了一個強大、可擴充且穩定的網路堆疊,能在不影響您工作負載的情況下與時俱進。隨著 Google 內部不斷改善及增強其網路功能,您的檔案共用解決方案也受惠於提升的效能。如需進一步瞭解 Jupiter Fabric,請參閱說明其發展的 2015 報告

GCP 可讓您指定自訂 VM 類型,協助您充分獲得投資帶來的效益。選擇檔案伺服器的大小時,您可以挑選恰當的記憶體和 CPU 組合,以便讓檔案伺服器發揮最佳效能,避免使用過量的額度。

此外,您必須慎重選擇合適的 Compute Engine 永久磁碟容量和 vCPU 的數量,以確保檔案伺服器的儲存裝置能獲得所需的儲存頻寬、IOPS 和網路頻寬。一部 VM 的每個 vCPU 最高可接收每秒 2 GB 的網路總處理量。如需瞭解如何調整永久磁碟,請參閱最佳化永久磁碟和本機 SSD 的效能

提醒您,Cloud Storage 可讓您以低成本獲得高水準的備援功能,因此也很適合用來儲存 PB 規模的資料。不過 Cloud Storage 的效能剖析資料和 API 與本文討論的檔案伺服器並不相同。

檔案伺服器選項摘要

下表大致列出了永久磁碟的功能以及檔案伺服器選項:

檔案伺服器解決方案 最佳資料集 總處理量 代管支援 匯出通訊協定 可用性高 混合
Cloud Filestore 1 TB 到 63.9 TB 100 MB/秒到 1.2 GB/秒 Google 全代管服務 NFSv3
NetApp Cloud Volumes 1 TB 到 1 PB 每秒數十至數百 GB Google 和 NetApp 全代管服務 NFSv3
Elastifile 數十 TB 至 > 1 PB 每秒數十至數百 GB Elastifile NFSv3
Quobyte 數十 TB 至 > 1 PB 每秒數百至數千 GB Quobyte 原生 Linux 和 Windows 用戶端、Amazon S3、HDFS、NFSv4/3、SMB
Avere 數十至數百 TB 每秒數十至數百 GB Avere NFSv3、SMB2
唯讀 PD < 64 TB 每秒 180 至 1200 MB 直接連結
單一節點檔案伺服器 < 64 TB 最多每秒 16 GB NFSv3、SMB3
Panzura 數十 TB 至 > 1 PB 每秒數十至數百 GB Panzura NFSv3、NFSv4、SMB1、SMB2、SMB3

Compute Engine 永久磁碟

如果您的資料僅需供單一 VM 存取或不會隨時間而變更,則可使用 Compute Engine 的永久磁碟,不需使用檔案伺服器。您可以將永久磁碟格式化為 Ext4 或 XFS 之類的檔案系統,並以讀取/寫入或唯讀模式連結磁碟區。這表示您可以先將一個磁碟區連結至執行個體、載入您需要的資料,接著將磁碟區做為唯讀磁碟同時連結至數百個虛擬機器。並非所有應用實例都適合使用唯讀永久磁碟,但相較於採用檔案伺服器,唯讀永久磁碟可大幅降低作業的複雜度。

「永久磁碟」提供一致的效能。如果所有連結至執行個體的磁碟皆為相同大小 (且 SSD 永久磁碟的 vCPU 數量相同),則這些磁碟的效能特性會一模一樣。因此在實際工作環境中使用永久磁碟前,您不需要預先暖機或測試永久磁碟。

您可以很容易確定永久磁碟的費用,因為在佈建磁碟區後,您就不需要考慮 I/O 費用。永久磁碟也能即時調整大小,讓您可以在開始時使用低成本和低容量磁碟區,無須啟動其他執行個體或磁碟就能擴充您的容量。

如果您的主要需求在於總容量的大小,可使用費用低廉的標準永久磁碟。如果想要獲得最佳效能並具備持久可用的特性,則可使用 SSD 永久磁碟。

如果您使用暫時資料,而且需要低於毫秒的延遲時間和較高的每秒 I/O 作業數 (IOPS),則可利用高達 3 TB 的本機 SSD 來獲得極致效能。本機 SSD 允許最高大約 700k 的 IOPS,速度與 DDR2 RAM 類似,且不會耗盡執行個體分配到的網路容量。

如需比較 Compute Engine 執行個體適用的磁碟類型,請參閱區塊儲存空間說明文件

選擇檔案伺服器解決方案時的考量事項

選擇檔案伺服器解決方案時,您必須在管理能力、成本、效能和擴充性之間做出取捨。如果您有詳細定義的工作負載,就能更輕鬆地做出決定,然而實際情況往往並非如此。由於工作負載會隨時間調整,或有很大的變動幅度,因此以較高的費用來換取靈活性和彈性會是周全的做法,可將原有的解決方案逐步發展成您專屬的解決方案。另一方面,如果您的工作負載是暫時性且常見的,則可建立專門的檔案伺服器架構,以便針對立即的儲存需求輕鬆刪除和重新建構。

您首先要做的其中一項決定是,要為代管檔案伺服器服務付費、為包含產品支援的檔案伺服器解決方案付費,還是為不受支援的解決方案付費。

  • 由於 Google 或合作夥伴會處理所有作業,因此代管檔案伺服器服務最容易操作。這些檔案伺服器服務甚至可能會像其他大多數 GCP 服務一樣,提供可用性相關的服務水準協議。
  • 非代管但受支援的解決方案可提供額外的彈性。合作夥伴可協助解決任何問題,但檔案伺服器的日常作業仍由使用者負責。
  • 不受支援的解決方案需要花費最多心力來部署和維護,將所有問題都留給使用者處理。這類解決方案不在本文的討論範圍內。

下一個決定則需要釐清檔案伺服器的耐用性和可用性需求。大多數檔案伺服器解決方案均為區域型解決方案,在區域發生故障時,預設無法提供保護。因此,請務必思考是否需要災難復原解決方案,以在區域發生故障時提供保護。再者,您也必須瞭解應用程式的耐用性與可用性需求。例如,與檔案伺服器解決方案軟體的設定一樣,您在部署時所選擇的本機 SSD 或永久磁碟會產生重大影響。因此,每個解決方案均需謹慎規劃才能達到高耐用性、可用性,甚至在發生區域性和地區性故障時獲得保護。

最後,請考慮您需要存取資料的位置 (也就是區域、地區和內部部署資料中心)。由於只有部分解決方案允許混合型內部部署和雲端內存取,因此存取資料的運算設備位置會影響檔案伺服器解決方案的選擇。

代管檔案伺服器解決方案

Cloud Filestore

Cloud Filestore 是 Google 的全代管網路連接儲存裝置 (NAS) 解決方案。

您可以在 Compute Engine VM 上輕鬆掛接 Cloud Filestore 檔案共用區。Cloud Filestore 與 Google Kubernetes Engine 的緊密整合則可讓您的容器能參照相同的共用資料。

Cloud Filestore 提供兩種效能層級:「標準」與「進階」,這兩種層級都能提供一致的效能和可預測的費用。

如需詳細資料,請查看下列連結:

NetApp Cloud Volumes

Google Cloud Platform 適用的 NetApp Cloud Volumes Service 是整合在 GCP 主控台中的一項全代管雲端原生儲存服務,具備完善的帳單功能和 Google 支援。

這項服務可讓您將永久的共用儲存空間快速掛接到您的運算執行個體。這個儲存空間具備健全的資料保護功能 (快照與副本),能夠在低延遲時間的條件下為您的應用程式提供高總處理量。這項服務可使用企業級架構為循序和隨機工作負載提供高效能,且可擴充到成百上千個運算執行個體中。您可在幾秒鐘內使用自動節省空間的快照佈建及保護大小範圍介於 1 TB 到 100 TB 之間的磁碟區。GCP 主控台中有指令可讓您將建立的磁碟區掛接到運算執行個體,如此可進一步增強使用者體驗。

NetApp Cloud Volumes Services 的架構

您不需要重寫應用程式,因為 Cloud Volumes 提供了符合 POSIX 規範的共用區,各種檔案型工作負載都需要此類共用區,其中包含網路和互動式多媒體內容,可在石油與天然氣、EDA 和媒體娛樂等諸多產業中使用。

Google Cloud Platform 適用的 Cloud Volumes Service 有標準級、進階級和最高級三種服務等級,您可視需求予以變更,藉此提供與您的工作負載相符的適當效能,而不影響工作負載的可用性。NetApp 也可協助您在內部部署和 Google Cloud Platform 適用的 Cloud Volumes Service 之間同步處理資料。

如需詳細資料,請查看下列連結:

Elastifile

Elastifile 可簡化 GCP 及混合式雲端的企業儲存空間和資料管理。Elastifile 能讓您以成本效益和高效能兼具的方式平行存取全域資料,並透過智慧型物件分層保持由可動態擴充的分散式檔案系統提供的嚴格一致性。使用 Elastifile 可讓現有的 NFS 應用程式和 NAS 工作流程無須重構就能在雲端執行,而且保有企業資料服務的優勢 (高可用性、壓縮功能、簡化資料、複製功能等)。Elastifile 也能與 Google Kubernetes Engine 原生整合,針對容器化的工作負載提供流暢的資料保存、轉移和共用。

您只要按下一個按鈕,即可部署及擴充 Elastifile。此工具可讓您依據需求輕鬆建立及擴展檔案系統基礎架構,確保儲存空間效能和容量一律能夠符合動態工作流程的需求。當 Elastifile 叢集擴展時,中繼資料和 I/O 效能也會呈現線性增長。您能透過這項資源調度功能來增強及加速各種資料密集的工作流程,包含高效能運算、數據分析、跨網站資料匯總、開發運作等。因此,Elastifile 非常適合用於以資料為中心的產業,像是生命科學、電子設計自動化 (EDA)、石油與天然氣、金融服務和媒體娛樂產業等。

Elastifile 的 CloudConnect 功能可以在任何 POSIX 檔案系統和 Cloud Storage 之間進行精細的雙向資料轉移作業。CloudConnect 會確保資料在傳輸前先經過壓縮及簡化,而且僅會在初始資料同步處理完成後才會傳送變更,因此可最佳化效能並將成本降至最低。將 CloudConnect 用於混合式雲端部署時,您可以從任何內部部署 NFS 檔案系統中,有效率地將資料載入 Cloud Storage,以符合成本效益的方式將資料帶入 GCP。在 GCP 中使用 CloudConnect 時,可於 Elastifile 檔案系統和 Cloud Storage 之間採用具備最佳成本優勢的資料分層。

Elastifile 資料儲存和管理的圖片

如需詳細資料,請查看下列連結:

GCP Marketplace 中受支援的檔案伺服器解決方案

Panzura

Panzura 是在雲端管理非結構化資料的翹楚。媒體娛樂、基因體學、生命科學、醫療保健、石油天然氣及金融服務等領域企業皆不約而同地選擇 Panzura Freedom NAS 來整合資料,成為 Google Cloud Platform (GCP) 中的單一資訊來源,不會犧牲效能,也不需要重寫應用程式。藉由將非結構化資料 (NFS、SMB 和 Object) 整合至 GCP,您可以存取所有資料、協同處理這些資料,以及分析和控管資料,以符合法令規定。

Panzura CloudFS 是 Freedom 系列的基礎產品,是專為雲端打造的向外擴充的分散式檔案系統,整合了多個智慧檔案服務,以 26 項專利為後盾。Freedom 產品系列能讓您以具成本效益的方式滿足這些用途:雲端遷移、全球協作,以及搜尋與分析。

Panzura Freedom 搭配 GCP 可讓 IT 領導者:

  • 在不重寫、變更工作流程或犧牲效能的情況下,將上千個舊版應用程式遷移至 GCP。
  • 將資料整合成單一資訊來源,消除備份及次要儲存空間的複本數據蔓延現象。
  • 針對大規模專案進行全球協作,以提高生產力及縮短上市時間。
  • 將您的舊版 NAS 現代化,同時縮減 70% 的成本以及 90% 的資料中心檔案基礎架構。
  • 將舊版磁帶資料解除凍結,進行進階的資料分析和機器學習。

瞭解詳情:

Quobyte

Quobyte 是可在雲端和內部部署環境執行、與 POSIX 相容的平行分散式檔案系統,可提供 PB 規模的儲存空間和數百萬的 IOPS。該公司是由先前任職 Google 的工程師創立,並利用深厚的雲端技術知識設計及架構 Quobyte 檔案系統。

Quobyte 客戶可在嚴苛的大規模實際工作環境中使用 Quobyte,應用產業包括生命科學金融服務、航空工程、廣播與數位製作、電子設計自動化 (EDA)、傳統的高效能運算 (HPC) 研究專案等。

Quobyte 原生支援所有 Linux、Windows 和 NFS 應用程式。無論是採用雲端還是內部部署,現有應用程式、全新實作的應用程式以及開發人員均可於相同的環境中工作。針對需要優於 NFS 的保證或非針對分散式設定而設計的應用程式,Quobyte 提供選用的快取一致性。此外,Quobyte 是可支援多位客戶同時高速讀取及寫入的平行式檔案系統,而 HPC 應用程式可妥善運用這項優勢。

Quobyte 為分散式檔案系統,可隨節點數量線性擴充 IOPS 和總處理量,避免叢集或單一檔案伺服器解決方案的效能瓶頸。Quobyte 透過其原生用戶端軟體,為上千個 Linux 和 Windows 用戶端虛擬機器 (VM) 或容器化應用程式提供高 IOPS、低延遲時間及每秒數 GB 的總處理量。這個原生用戶端能直接與所有儲存空間 VM 通訊,甚至可以讀取多個資料備用資源,以免 NFS 閘道發生其他延遲或遇到效能瓶頸。

您可以在幾分鐘內在 Compute Engine 上建立及擴充 Quobyte 叢集,讓管理員在雲端執行整個工作負載,或是透過爆發功能處理工作負載尖峰。您可以先使用單一儲存空間 VM,再隨時加入額外容量和 VM;如果不再需要資源,也可以透過動態方式縮減部署規模。

Compute Engine 上的 Quobyte 叢集採用標準 Linux VM。互動式安裝程式可讓您快速輕鬆地進行設定,而資料則是儲存於連結的 HDD 或 SSD 永久磁碟。您可以在單一安裝中同時使用這兩種類型,例如做為不同的效能層級來使用。磁碟區鏡像功能可以依地理位置複製災難復原 (DR) 磁碟區複本,以在遠端地區進行唯讀存取作業。

Quobyte 內建監控和自動化功能,可讓您輕鬆地維護由數百個儲存空間 VM 組成的叢集。您只要按一下即可新增或移除 VM 和磁碟,並在一分鐘內馬上使用新資源。內建的即時分析功能也有助於識別使用最多儲存空間的客戶,以及應用程式的存取模式。

您可以透過下列網址直接獲得 Quobyte 免費試用 45 天的授權:www.quobyte.com/get-quobyte

Quobyte 檔案系統圖片

Quobyte 可讓數千個用戶端直接與所有儲存空間 VM 通訊,並且不會遇到任何效能瓶頸。透過在不同的可用區域或內部部署叢集間使用選用的磁碟區鏡像功能,即可以非同步的方式在多個網站之間複製磁碟區以進行唯讀資料存取,如災難復原等措施。

來自合作夥伴的受支援檔案伺服器解決方案

Avere vFXT

Avere Systems 可針對需要最高讀取效能的工作負載提供領先業界的解決方案。您可以透過 Avere 以雲端為基礎的 vFXT 叢集式雲端檔案系統,為使用者提供 PB 規模的儲存空間和數百萬的 IOPS。

Avere vFXT 圖表

Avere vFXT 不僅做為檔案伺服器使用,也可做為讀取/寫入快取,將使用中的資料集放置在離您最近的運算叢集,僅對現有工作流程進行最小幅度的變更。有了 Avere,您能將 Cloud Storage 做為備份儲存庫來獲得成本效益,並能妥善運用 Compute Engine 的效能、擴充性和以秒計費模式。

此外,Avere 也可讓您充分運用目前內部部署的佔用空間。除了將 GCP 與 vFXT 搭配使用外,您還可利用 Avere 的內部部署 FXT 系列,將舊裝置的儲存空間與儲存陣列整合成具有單一命名空間的擴充式檔案伺服器。

如果您考慮將內部部署儲存佔用空間移轉到其他位置,則可利用 Avere 的 FlashCloud 技術,在不造成用戶端停機的情況下遷移到 Cloud Storage。如果您發現自己在短時間內需要大量的儲存空間,則可透過 Cloud Storage 使用爆發功能在雲端環境中處理工作負載。您可根據自己的需求使用任意規模的儲存空間和運算效能,取消佈建後也不需再繼續支付費用。

Avere 會使用 SSD 和 RAM 等快速的本機裝置,儘可能將目前使用中的資料集快取至您的運算裝置。您可透過 vFXT 來使用全域備援功能及 Cloud Storage 大規模資源調度功能,讓使用者感受到資料彷彿位於其本機運算叢集的體驗。

如要啟動 Avere 並做為檔案伺服器解決方案來執行,請直接洽詢 Avere。如需進一步瞭解 Avere,請參閱 Google Cloud Platform 整合總覽

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
解決方案