關於 Hyperdisk ML


本文說明 Hyperdisk ML 的功能。在所有 Google Cloud Hyperdisk 類型中,Hyperdisk ML 的輸送量最高。Google 建議使用 Hyperdisk ML 處理機器學習工作負載,以及需要高讀取輸送量的不變動資料集工作負載。高輸送量的 Hyperdisk ML 可加快資料載入速度、縮短加速器閒置時間,並降低運算成本。

對於大型推論、訓練和 HPC 工作負載,您可以在唯讀模式下,將單一 Hyperdisk ML 磁碟區附加至多個運算執行個體。

單一 Hyperdisk ML 磁碟區的輸送量上限為 1,200,000 MiB/s。您無法佈建 IOPS 級別,但每佈建 1 MiB/s 的總處理量,就會有 16 個 IOPS,最多可達 19,200,000 個 IOPS。

如要進一步瞭解 Hyperdisk 和其他 Hyperdisk 類型,請參閱「關於 Hyperdisk」。

如要建立 Hyperdisk ML 磁碟區,請參閱「建立 Hyperdisk 磁碟區」。

用途

Hyperdisk ML 適用於下列用途:

  • HPC 工作負載
  • 機器學習
  • 加速器最佳化工作負載

支援機器系列

您可以在下列機器系列中使用 Hyperdisk ML:

關於佈建的效能

建立 Hyperdisk 磁碟區時,您不必佈建效能。如果您未佈建效能,Compute Engine 會使用預設值建立磁碟區,您稍後可以修改這些值。如要瞭解預設值,請參閱「預設 IOPS 和輸送量值」。

如果您知道效能需求,可以在建立 Hyperdisk ML 磁碟區時,指定 IOPS 和處理量限制,並在建立磁碟區後變更佈建的值。如未指定大小,就無法指定 IOPS 或處理量層級。

大小和效能限制

下列限制適用於可為 Hyperdisk ML 磁碟區指定的大小、輸送量和 IOPS 值。

  • 大小:介於 4 GiB 至 64 TiB 之間。預設大小為 100 GiB。

  • 處理量:介於 400 MiB/秒至 1,200,000 MiB/秒之間。最低和最高處理量都有各自的限制,取決於磁碟區大小,如下所示:

    • 最低總處理量:如果磁碟區大小介於 4 到 3,341 GiB 之間,最小值為 400 MiB/s。如果磁碟區大小為 3,342 GiB 以上,最小值會因大小而異,介於 401 到 7,680 MiB/s 之間。

    • 最大總處理量:如果磁碟區大小為 750 GiB 以上,最大值為 1,200,000 MiB/s。如果磁碟區大小為 749 GiB 以下,最大值取決於大小,範圍介於 6,400 到 1,200,000 MiB/s 之間。

    如需範例,請參閱「佈建輸送量限制」。

  • IOPS:您無法為 Hyperdisk ML 磁碟區指定 IOPS 上限。而是取決於佈建的輸送量。每個 Hyperdisk ML 磁碟區的佈建 IOPS 為每 MiB/s 輸送量 16 IOPS,最高可達 19,200,000 IOPS。

已佈建處理量的限制

下表列出常見磁碟區大小的佈建輸送量限制。如果未列出大小,請使用下列公式計算允許的值,其中 x 是磁碟區的大小 (以 GiB 為單位):

  • 可設定的最低總處理量:MAX (400, 0.12x)
  • 可設定的處理量上限:MIN (1,200,000, 1600x)
大小 總處理量下限 總處理量上限
4 400 6,400
10 400 16,000
50 400 80,000
64 400 102,400
100 400 160,000
300 400 480,000
500 400 800,000
1,000 400 1200000
5,000 600 1200000
25,000 3,000 1200000
64,000 7,680 1200000

預設大小、IOPS 和處理量值

建立 Hyperdisk ML 磁碟區時,如未指定大小或處理量值,Compute Engine 會指派預設值。

Hyperdisk ML 磁碟區的預設大小為 100 GiB。

預設 IOPS 和輸送量是根據下列公式計算得出。

  • 預設輸送量:MAX (24x, 400) MiB/s,其中 x 是磁碟區的大小 (以 GiB 為單位)。
  • 預設 IOPS:16t,其中 t 是預設總處理量。您無法直接設定 IOPS 級別。

變更佈建的效能或大小

每 4 小時可變更一次佈建大小,每 6 小時可變更一次輸送量。 如需修改大小或效能的操作說明,請參閱「修改 Hyperdisk 磁碟區」。

附加至執行個體時的效能限制

本節列出 Hyperdisk ML 的效能限制。單一 Hyperdisk ML 磁碟區的輸送量上限為 1,200,000 MiB/s。您無法佈建 IOPS 級別,但每佈建 1 MiB/s 的總處理量,就會有 16 個 IOPS,最多可達 19,200,000 個 IOPS。

本節列出 Hyperdisk ML 磁碟區在各個支援的執行個體中可達到的最高效能。Hyperdisk ML 磁碟區連線至執行個體時的效能,不得超過執行個體機型的限制。無論各磁碟區的佈建效能為何,附加至相同執行個體的所有 Hyperdisk ML 磁碟區都會共用效能限制。

需要多個執行個體才能達到佈建效能的案例

Hyperdisk ML 磁碟區的佈建輸送量會由磁碟區連結的每個執行個體共用,上限為下表列出的機型。如果 Hyperdisk ML 磁碟區佈建的效能高於執行個體的效能上限,則磁碟區必須連結至多個執行個體,才能達到佈建的效能。a3-ultragpu-8 個執行個體的處理量上限為 4,000 MiB/秒。

舉例來說,假設您佈建的 Hyperdisk ML 磁碟區輸送量為 500,000 MiB/s,並想將磁碟區連結至 a3-ultragpu-8 個執行個體。單一 a3-ultragpu-8 執行個體的處理量不得超過 4,000 MiB/秒。因此,如要達到磁碟區的佈建輸送量,您必須將磁碟區連結至至少 125 個 (500,000/4,000) a3-ultragpu-8 執行個體。另一方面,如果是 a2-highgpu-1g 機器類型,則需要 272 個執行個體。

執行個體機型 IOPS 上限 最大總處理量 (MiB/秒)
a2-*-1g 28,800 1,800
a2-*-2g 38,400 2,400
a2-*-4g 38,400 2,400
a2-*-8g 38,400 2,400
a2-megagpu-16g 38,400 2,400
a3-*-1g 28,800 1,800
a3-*-2g 38,400 2,400
a3-*-4g 38,400 2,400
a3-*-8g (唯讀模式)1 64,000 4,000
a3-*-8g (讀取/寫入模式)1 38,400 2,400
c3-*-4 6,400 400
c3-*-8 12,800 800
c3-*-22 28,800 1,800
c3-*-44 38,400 2,400
c3-*-88 38,400 2,400
c3-*-176 38,400 2,400
c3-*-192 38,400 2,400
c3d-*-4 6,400 400
c3d-*-8 12,800 800
c3d-*-16 19,200 1,200
c3d-*-30 19,200 1,200
c3d-*-60 38,400 2,400
c3d-*-90 38,400 2,400
c3d-*-180 38,400 2,400
c3d-*-360 38,400 2,400
ct6e-standard-1t 19,200 1,200
ct6e-standard-4t 28,800 1,800
ct6e-standard-8t 28,800 1,800
g2-standard-4 12,800 800
g2-standard-8 19,200 1,200
g2-standard-12 28,800 1,800
g2-standard-16 38,400 2,400
g2-standard-24 38,400 2,400
g2-standard-32 38,400 2,400
g2-standard-48 38,400 2,400
g2-standard-96 38,400 2,400

1 對於 a3-*-8g 執行個體,效能取決於 Hyperdisk ML 磁碟區是以唯讀或讀寫模式連結至執行個體。

Hyperdisk ML 適用區域

Hyperdisk ML 適用於下列區域和可用區:

區域 可用區域
臺灣彰化縣:asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
日本東京—asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
韓國首爾 - asia-northeast3 asia-northeast3-a
asia-northeast3-b
新加坡裕廊西 - asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
印度孟買—asia-south1 asia-south1-b
asia-south1-c
比利時聖吉斯蘭—europe-west1 europe-west1-b
europe-west1-c
英國倫敦 europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
荷蘭埃姆斯港 - europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
瑞士蘇黎世 - europe-west6 europe-west6-b
europe-west6-c
以色列特拉維夫 me-west1 me-west1-b
me-west1-c
愛荷華州康索布魯夫 - us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
美國南卡羅來納州蒙克斯科納 - us-east1 us-east1-b
us-east1-c
us-east1-d
美國維吉尼亞州阿什本 - us-east4 us-east4-a
us-east4-b
us-east4-c
俄亥俄州哥倫布市 - us-east5 us-east5-a
us-east5-b
us-east5-c
德州達拉斯 - us-south1 us-south1-a
美國奧勒岡州達勒斯 - us-west1 us-west1-a
us-west1-b
us-west1-c
猶他州鹽湖城 - us-west3 us-west3-b
內華達州拉斯維加斯—us-west4 us-west4-a
us-west4-b
us-west4-c

Hyperdisk ML 磁碟區的災害防護

您可以透過標準快照備份 Hyperdisk ML 磁碟區。 快照會在特定時間點備份 Hyperdisk ML 磁碟區的資料。

跨可用區複製

您無法將 Hyperdisk ML 磁碟區複製到其他可用區。如要在同一個地區內的其他區域複製資料,必須使用 Hyperdisk Balanced High Availability 磁碟區。

在 VM 之間共用 Hyperdisk ML 磁碟區

對於加速器最佳化的機器學習工作負載,您可以將相同的 Hyperdisk ML 磁碟區掛接至多個執行個體。這樣一來,多個 VM 就能同時以唯讀模式存取單一磁碟區。與使用多個含有相同資料的磁碟相比,這種做法更具成本效益。

在 VM 之間共用磁碟不會產生額外費用。 將處於唯讀模式的磁碟連接多個 VM,不會影響磁碟效能。每個 VM 仍可達到 VM 機器系列的最大磁碟效能。

執行個體之間共用 Hyperdisk ML 的限制

  • Hyperdisk ML 磁碟區不支援多重寫入模式;如果磁碟區處於唯讀模式,您可以在多個執行個體之間共用 Hyperdisk ML 磁碟區。
  • Hyperdisk ML 磁碟區無法以唯讀模式連接至單一執行個體。
  • 如果以唯讀模式共用 Hyperdisk ML 磁碟區,就無法重新啟用磁碟的寫入存取權。
  • 每隔 30 秒,您最多可以將 Hyperdisk ML 磁碟區連結至 100 個執行個體。
  • 如果是 Hyperdisk ML 磁碟區,執行個體數量上限取決於
  • 佈建大小,如下所示:
    • 容量上限為 256 GiB 的磁碟區: 2,500 個執行個體
    • 容量介於 257 GiB 至 1 TiB 的磁碟區: 600 個執行個體
    • 容量介於 1.001 TiB 和 2 TiB 之間的磁碟區: 300 個執行個體
    • 容量介於 2.001 TiB 至 16 TiB 的磁碟區: 128 個執行個體
    • 容量達 16.001 TiB 以上的磁碟區: 30 個執行個體

如果磁碟區連結超過 20 個 VM,則每個 VM 必須至少佈建 100 MiB/s 的輸送量。舉例來說,如果您將磁碟掛接到 500 個 VM,則必須佈建總處理量至少 50,000 MiB/s 的磁碟區。

詳情請參閱「Hyperdisk 的唯讀模式」。

定價

系統會按照 Hyperdisk ML 磁碟區的總佈建大小和輸送量計費,直到您刪除這些項目為止。即使磁碟區未連結至任何執行個體,或是執行個體已暫停或停止,仍會產生費用。詳情請參閱「磁碟定價」。

限制

  • Hyperdisk ML 磁碟區屬於區域資源,只能從建立磁碟區的區域存取。
  • 您無法從 Hyperdisk 磁碟區建立機器映像檔
  • 您無法從 Hyperdisk ML 磁碟區建立即時快照。
  • 您無法將 Hyperdisk ML 做為開機磁碟。
  • 您無法透過快照或磁碟映像檔,以讀寫單一模式建立 Hyperdisk ML 磁碟。您必須以 read-only-many 模式建立磁碟。
  • Hyperdisk ML 磁碟區的大小每 4 小時可變更一次, 輸送量則每 6 小時可變更一次。

後續步驟

將 Hyperdisk ML 磁碟區新增至 VM