本文說明 Hyperdisk ML 的功能。在所有 Google Cloud Hyperdisk 類型中,Hyperdisk ML 的輸送量最高。Google 建議使用 Hyperdisk ML 處理機器學習工作負載,以及需要高讀取輸送量的不變動資料集工作負載。高輸送量的 Hyperdisk ML 可加快資料載入速度、縮短加速器閒置時間,並降低運算成本。
對於大型推論、訓練和 HPC 工作負載,您可以在唯讀模式下,將單一 Hyperdisk ML 磁碟區附加至多個運算執行個體。
單一 Hyperdisk ML 磁碟區的輸送量上限為 1,200,000 MiB/s。您無法佈建 IOPS 級別,但每佈建 1 MiB/s 的總處理量,就會有 16 個 IOPS,最多可達 19,200,000 個 IOPS。
如要進一步瞭解 Hyperdisk 和其他 Hyperdisk 類型,請參閱「關於 Hyperdisk」。
如要建立 Hyperdisk ML 磁碟區,請參閱「建立 Hyperdisk 磁碟區」。
用途
Hyperdisk ML 適用於下列用途:
- HPC 工作負載
- 機器學習
- 加速器最佳化工作負載
支援機器系列
您可以在下列機器系列中使用 Hyperdisk ML:
關於佈建的效能
建立 Hyperdisk 磁碟區時,您不必佈建效能。如果您未佈建效能,Compute Engine 會使用預設值建立磁碟區,您稍後可以修改這些值。如要瞭解預設值,請參閱「預設 IOPS 和輸送量值」。
如果您知道效能需求,可以在建立 Hyperdisk ML 磁碟區時,指定 IOPS 和處理量限制,並在建立磁碟區後變更佈建的值。如未指定大小,就無法指定 IOPS 或處理量層級。
大小和效能限制
下列限制適用於可為 Hyperdisk ML 磁碟區指定的大小、輸送量和 IOPS 值。
大小:介於 4 GiB 至 64 TiB 之間。預設大小為 100 GiB。
處理量:介於 400 MiB/秒至 1,200,000 MiB/秒之間。最低和最高處理量都有各自的限制,取決於磁碟區大小,如下所示:
最低總處理量:如果磁碟區大小介於 4 到 3,341 GiB 之間,最小值為 400 MiB/s。如果磁碟區大小為 3,342 GiB 以上,最小值會因大小而異,介於 401 到 7,680 MiB/s 之間。
最大總處理量:如果磁碟區大小為 750 GiB 以上,最大值為 1,200,000 MiB/s。如果磁碟區大小為 749 GiB 以下,最大值取決於大小,範圍介於 6,400 到 1,200,000 MiB/s 之間。
如需範例,請參閱「佈建輸送量限制」。
IOPS:您無法為 Hyperdisk ML 磁碟區指定 IOPS 上限。而是取決於佈建的輸送量。每個 Hyperdisk ML 磁碟區的佈建 IOPS 為每 MiB/s 輸送量 16 IOPS,最高可達 19,200,000 IOPS。
已佈建處理量的限制
下表列出常見磁碟區大小的佈建輸送量限制。如果未列出大小,請使用下列公式計算允許的值,其中 x
是磁碟區的大小 (以 GiB 為單位):
- 可設定的最低總處理量:
MAX (400, 0.12x)
- 可設定的處理量上限:
MIN (1,200,000, 1600x)
大小 | 總處理量下限 | 總處理量上限 |
---|---|---|
4 | 400 | 6,400 |
10 | 400 | 16,000 |
50 | 400 | 80,000 |
64 | 400 | 102,400 |
100 | 400 | 160,000 |
300 | 400 | 480,000 |
500 | 400 | 800,000 |
1,000 | 400 | 1200000 |
5,000 | 600 | 1200000 |
25,000 | 3,000 | 1200000 |
64,000 | 7,680 | 1200000 |
預設大小、IOPS 和處理量值
建立 Hyperdisk ML 磁碟區時,如未指定大小或處理量值,Compute Engine 會指派預設值。
Hyperdisk ML 磁碟區的預設大小為 100 GiB。
預設 IOPS 和輸送量是根據下列公式計算得出。
- 預設輸送量:
MAX (24x, 400)
MiB/s,其中x
是磁碟區的大小 (以 GiB 為單位)。 - 預設 IOPS:
16t
,其中t
是預設總處理量。您無法直接設定 IOPS 級別。
變更佈建的效能或大小
每 4 小時可變更一次佈建大小,每 6 小時可變更一次輸送量。 如需修改大小或效能的操作說明,請參閱「修改 Hyperdisk 磁碟區」。
附加至執行個體時的效能限制
本節列出 Hyperdisk ML 的效能限制。單一 Hyperdisk ML 磁碟區的輸送量上限為 1,200,000 MiB/s。您無法佈建 IOPS 級別,但每佈建 1 MiB/s 的總處理量,就會有 16 個 IOPS,最多可達 19,200,000 個 IOPS。
本節列出 Hyperdisk ML 磁碟區在各個支援的執行個體中可達到的最高效能。Hyperdisk ML 磁碟區連線至執行個體時的效能,不得超過執行個體機型的限制。無論各磁碟區的佈建效能為何,附加至相同執行個體的所有 Hyperdisk ML 磁碟區都會共用效能限制。
需要多個執行個體才能達到佈建效能的案例
Hyperdisk ML 磁碟區的佈建輸送量會由磁碟區連結的每個執行個體共用,上限為下表列出的機型。如果 Hyperdisk ML 磁碟區佈建的效能高於執行個體的效能上限,則磁碟區必須連結至多個執行個體,才能達到佈建的效能。a3-ultragpu-8
個執行個體的處理量上限為 4,000 MiB/秒。
舉例來說,假設您佈建的 Hyperdisk ML 磁碟區輸送量為 500,000 MiB/s,並想將磁碟區連結至 a3-ultragpu-8
個執行個體。單一 a3-ultragpu-8
執行個體的處理量不得超過 4,000 MiB/秒。因此,如要達到磁碟區的佈建輸送量,您必須將磁碟區連結至至少 125 個 (500,000/4,000) a3-ultragpu-8
執行個體。另一方面,如果是 a2-highgpu-1g
機器類型,則需要 272 個執行個體。
執行個體機型 | IOPS 上限 | 最大總處理量 (MiB/秒) |
---|---|---|
a2-*-1g |
28,800 | 1,800 |
a2-*-2g |
38,400 | 2,400 |
a2-*-4g |
38,400 | 2,400 |
a2-*-8g |
38,400 | 2,400 |
a2-megagpu-16g |
38,400 | 2,400 |
a3-*-1g |
28,800 | 1,800 |
a3-*-2g |
38,400 | 2,400 |
a3-*-4g |
38,400 | 2,400 |
a3-*-8g (唯讀模式)1 |
64,000 | 4,000 |
a3-*-8g (讀取/寫入模式)1 |
38,400 | 2,400 |
c3-*-4 |
6,400 | 400 |
c3-*-8 |
12,800 | 800 |
c3-*-22 |
28,800 | 1,800 |
c3-*-44 |
38,400 | 2,400 |
c3-*-88 |
38,400 | 2,400 |
c3-*-176 |
38,400 | 2,400 |
c3-*-192 |
38,400 | 2,400 |
c3d-*-4 |
6,400 | 400 |
c3d-*-8 |
12,800 | 800 |
c3d-*-16 |
19,200 | 1,200 |
c3d-*-30 |
19,200 | 1,200 |
c3d-*-60 |
38,400 | 2,400 |
c3d-*-90 |
38,400 | 2,400 |
c3d-*-180 |
38,400 | 2,400 |
c3d-*-360 |
38,400 | 2,400 |
ct6e-standard-1t |
19,200 | 1,200 |
ct6e-standard-4t |
28,800 | 1,800 |
ct6e-standard-8t |
28,800 | 1,800 |
g2-standard-4 |
12,800 | 800 |
g2-standard-8 |
19,200 | 1,200 |
g2-standard-12 |
28,800 | 1,800 |
g2-standard-16 |
38,400 | 2,400 |
g2-standard-24 |
38,400 | 2,400 |
g2-standard-32 |
38,400 | 2,400 |
g2-standard-48 |
38,400 | 2,400 |
g2-standard-96 |
38,400 | 2,400 |
1 對於 a3-*-8g
執行個體,效能取決於 Hyperdisk ML 磁碟區是以唯讀或讀寫模式連結至執行個體。
Hyperdisk ML 適用區域
Hyperdisk ML 適用於下列區域和可用區:
區域 | 可用區域 |
---|---|
臺灣彰化縣:asia-east1 |
asia-east1-a |
asia-east1-b |
|
asia-east1-c |
|
日本東京—asia-northeast1 |
asia-northeast1-a |
asia-northeast1-b |
|
asia-northeast1-c |
|
韓國首爾 - asia-northeast3 |
asia-northeast3-a |
asia-northeast3-b |
|
新加坡裕廊西 - asia-southeast1 |
asia-southeast1-a |
asia-southeast1-b |
|
asia-southeast1-c |
|
印度孟買—asia-south1 |
asia-south1-b |
asia-south1-c |
|
比利時聖吉斯蘭—europe-west1 |
europe-west1-b |
europe-west1-c |
|
英國倫敦 europe-west2 |
europe-west2-a |
europe-west2-b |
|
europe-west3-b |
|
荷蘭埃姆斯港 - europe-west4 |
europe-west4-a |
europe-west4-b |
|
europe-west4-c |
|
瑞士蘇黎世 - europe-west6 |
europe-west6-b |
europe-west6-c |
|
以色列特拉維夫 me-west1 |
me-west1-b |
me-west1-c |
|
愛荷華州康索布魯夫 - us-central1 |
us-central1-a |
us-central1-b |
|
us-central1-c |
|
us-central1-f |
|
美國南卡羅來納州蒙克斯科納 - us-east1 |
us-east1-b |
us-east1-c |
|
us-east1-d |
|
美國維吉尼亞州阿什本 - us-east4 |
us-east4-a |
us-east4-b |
|
us-east4-c |
|
俄亥俄州哥倫布市 - us-east5 |
us-east5-a |
us-east5-b |
|
us-east5-c |
|
德州達拉斯 - us-south1 |
us-south1-a |
美國奧勒岡州達勒斯 - us-west1 |
us-west1-a |
us-west1-b |
|
us-west1-c |
|
猶他州鹽湖城 - us-west3 |
us-west3-b |
內華達州拉斯維加斯—us-west4 |
us-west4-a |
us-west4-b |
|
us-west4-c |
Hyperdisk ML 磁碟區的災害防護
您可以透過標準快照備份 Hyperdisk ML 磁碟區。 快照會在特定時間點備份 Hyperdisk ML 磁碟區的資料。
跨可用區複製
您無法將 Hyperdisk ML 磁碟區複製到其他可用區。如要在同一個地區內的其他區域複製資料,必須使用 Hyperdisk Balanced High Availability 磁碟區。
在 VM 之間共用 Hyperdisk ML 磁碟區
對於加速器最佳化的機器學習工作負載,您可以將相同的 Hyperdisk ML 磁碟區掛接至多個執行個體。這樣一來,多個 VM 就能同時以唯讀模式存取單一磁碟區。與使用多個含有相同資料的磁碟相比,這種做法更具成本效益。
在 VM 之間共用磁碟不會產生額外費用。 將處於唯讀模式的磁碟連接多個 VM,不會影響磁碟效能。每個 VM 仍可達到 VM 機器系列的最大磁碟效能。
執行個體之間共用 Hyperdisk ML 的限制
- Hyperdisk ML 磁碟區不支援多重寫入模式;如果磁碟區處於唯讀模式,您可以在多個執行個體之間共用 Hyperdisk ML 磁碟區。
- Hyperdisk ML 磁碟區無法以唯讀模式連接至單一執行個體。
- 如果以唯讀模式共用 Hyperdisk ML 磁碟區,就無法重新啟用磁碟的寫入存取權。
- 每隔 30 秒,您最多可以將 Hyperdisk ML 磁碟區連結至 100 個執行個體。
- 如果是 Hyperdisk ML 磁碟區,執行個體數量上限取決於 佈建大小,如下所示:
- 容量上限為 256 GiB 的磁碟區: 2,500 個執行個體
- 容量介於 257 GiB 至 1 TiB 的磁碟區: 600 個執行個體
- 容量介於 1.001 TiB 和 2 TiB 之間的磁碟區: 300 個執行個體
- 容量介於 2.001 TiB 至 16 TiB 的磁碟區: 128 個執行個體
- 容量達 16.001 TiB 以上的磁碟區: 30 個執行個體
如果磁碟區連結超過 20 個 VM,則每個 VM 必須至少佈建 100 MiB/s 的輸送量。舉例來說,如果您將磁碟掛接到 500 個 VM,則必須佈建總處理量至少 50,000 MiB/s 的磁碟區。
詳情請參閱「Hyperdisk 的唯讀模式」。
定價
系統會按照 Hyperdisk ML 磁碟區的總佈建大小和輸送量計費,直到您刪除這些項目為止。即使磁碟區未連結至任何執行個體,或是執行個體已暫停或停止,仍會產生費用。詳情請參閱「磁碟定價」。
限制
- Hyperdisk ML 磁碟區屬於區域資源,只能從建立磁碟區的區域存取。
- 您無法從 Hyperdisk 磁碟區建立機器映像檔。
- 您無法從 Hyperdisk ML 磁碟區建立即時快照。
- 您無法將 Hyperdisk ML 做為開機磁碟。
- 您無法透過快照或磁碟映像檔,以讀寫單一模式建立 Hyperdisk ML 磁碟。您必須以 read-only-many 模式建立磁碟。
- Hyperdisk ML 磁碟區的大小每 4 小時可變更一次, 輸送量則每 6 小時可變更一次。