Compute Engine 上的 GPU

Compute Engine 提供圖形處理器 (GPU),方便您將 GPU 加入虛擬機器執行個體。您可以使用這些 GPU 加速處理執行個體上的特定工作負載,例如機器學習和資料處理。

如果您有 3D 視覺化、3D 轉譯或虛擬應用程式等需要處理大量圖形的工作負載,則可以建立採用 NVIDIA® GRID® 技術的虛擬工作站。如要瞭解哪些 GPU 適合需要處理大量圖形的應用程式,請參閱適用於圖形工作負載的 GPU 一節。

如需將 GPU 新增至執行個體的操作步驟,請參閱為執行個體新增 GPU 一文。

簡介

Compute Engine 以直通模式為您的執行個體提供 NVIDIA® Tesla® GPU,讓您的虛擬機器執行個體可以直接控制 GPU 和其相關記憶體。

對於運算工作負載,GPU 模型在下列階段中提供使用:

  • NVIDIA® Tesla® T4:nvidia-tesla-t4一般可用

  • NVIDIA® Tesla® V100:nvidia-tesla-v100一般可用

  • NVIDIA® Tesla® P100:nvidia-tesla-p100一般可用

  • NVIDIA® Tesla® P4:nvidia-tesla-p4一般可用

  • NVIDIA® Tesla® K80:nvidia-tesla-k80一般可用

對於圖形工作負載,GPU 模型在下列階段中提供使用:

  • NVIDIA® Tesla® T4 虛擬工作站:nvidia-tesla-t4-vws一般可用
  • NVIDIA® Tesla® P100 虛擬工作站:nvidia-tesla-p100-vws一般可用
  • NVIDIA® Tesla® P4 虛擬工作站:nvidia-tesla-p4-vws一般可用

如要瞭解適用於虛擬工作站的 GPU,請參閱適用於圖形工作負載的 GPU 一節。

您僅能將 GPU 附加至機器類型為預先定義自訂的執行個體。共用核心記憶體最佳化等機器類型則不支援 GPU。

GPU 數量較少的執行個體會有 vCPU 數目上限。一般而言,GPU 數量越多,表示您可以建立 vCPU 較多且記憶體較大的執行個體。

適用於運算工作負載的 GPU

GPU 模型 GPU GPU 記憶體 可用的 vCPU 可用的記憶體 可用區域
NVIDIA® Tesla® T4 1 個 GPU 16 GB GDDR6 1 - 24 個 vCPU 1 - 156 GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d
  • us-west1-a
  • us-west1-b
2 個 GPU 32 GB GDDR6 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 64 GB GDDR6 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P4 1 個 GPU 8 GB GDDR5 1 - 24 個 vCPU 1 - 156 GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
2 個 GPU 16 GB GDDR5 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 32 GB GDDR5 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® V100 1 個 GPU 16 GB HBM2 1 - 12 個 vCPU 1 - 78 GB
  • us-west1-a
  • us-west1-b
  • us-central1-a
  • us-central1-b
  • us-central1-c
  • us-central1-f
  • europe-west4-a
  • europe-west4-b
  • europe-west4-c
  • asia-east1-c
2 個 GPU 32 GB HBM2 1 - 24 個 vCPU 1 - 156 GB
4 個 GPU 64 GB HBM2 1 - 48 個 vCPU 1 - 312 GB
8 個 GPU 128 GB HBM2 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P100 1 個 GPU 16 GB HBM2 1 - 16 個 vCPU 1 - 104 GB
  • us-west1-a
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • europe-west4-a
  • asia-east1-a
  • asia-east1-c
  • australia-southeast1-c
2 個 GPU 32 GB HBM2 1 - 32 個 vCPU 1 - 208 GB
4 個 GPU 64 GB HBM2

1 - 64 個 vCPU
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 96 個 vCPU
(所有其他區域)

1 - 208 GB
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 624 GB
(所有其他區域)

NVIDIA® Tesla® K80 1 個 GPU 12 GB GDDR5 1 - 8 個 vCPU 1 - 52 GB
  • us-west1-b
  • us-central1-a
  • us-central1-c
  • us-east1-c
  • us-east1-d
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-b
2 個 GPU 24 GB GDDR5 1 - 16 個 vCPU 1 - 104 GB
4 個 GPU 48 GB GDDR5 1 - 32 個 vCPU 1 - 208 GB
8 個 GPU 96 GB GDDR5 1 - 64 個 vCPU

1 - 416 GB
(asia-east1-a 和 us-east1-d)

1 - 208 GB
(所有其他區域)

注意事項:
  • 如要進一步瞭解區域,請參閱地區和區域一文。
  • 每一 NVIDIA® K80® 主機板包含兩個 GPU。K80 GPU 的價格是按個別 GPU 計算,而不是按主機板數量。

GPU 裝置可享有與 vCPU 相似的續用折扣。如要瞭解 GPU 裝置每小時和每月的價格,請參閱 GPU 定價頁面

如為多 GPU 工作負載,V100 GPU 會隨附高速 NVLink™ 連線以進行 GPU 之間的通訊。

如要瞭解您的 GPU 如何彼此連結及連結至 CPU,請在執行個體上執行下列指令:

nvidia-smi topo -m

如要瞭解 NVLink 與其相關優點,請參閱 NVIDIA 開發人員網誌

適用於圖形工作負載的 NVIDIA® GRID® GPU

如果您有 3D 視覺化等需要處理大量圖形的工作負載,則可以建立採用 NVIDIA® GRID® 平台的虛擬工作站。

如需 GRID 的相關背景資訊,請參閱 GRID 總覽

當您選用適用於虛擬工作站的 GPU 時,系統會將 NVIDIA GRID 授權新增至您的執行個體。如要支援虛擬工作站上的 GPU,您必須安裝 GPU 驅動程式

建立虛擬工作站後,您可以透過 Teradici® PCoIP 或 VMWare® Horizon View 等遠端桌面通訊協定連線至該工作站。

GPU 模型 GPU GPU 記憶體 可用的 vCPU 可用的記憶體 可用區域
NVIDIA® Tesla® T4 虛擬工作站 1 個 GPU 16 GB GDDR6 1 - 24 個 vCPU 1 - 156 GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d (即將開放使用)
  • us-west1-a
  • us-west1-b
2 個 GPU 32 GB GDDR6 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 64 GB GDDR6 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P4 虛擬工作站 1 個 GPU 8 GB GDDR5 1 - 16 個 vCPU 1 - 192 GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
2 個 GPU 16 GB GDDR5 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 32 GB GDDR5 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P100 虛擬工作站 1 個 GPU 16 GB HBM2 1 - 16 個 vCPU 1 - 104 GB
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-c
  • europe-west4-a
  • australia-southeast1-c
2 個 GPU 32 GB HBM2 1 - 32 個 vCPU 1 - 208 GB
4 個 GPU 64 GB HBM2

1 - 64 個 vCPU
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 96 個 vCPU
(所有其他區域)

1 - 208 GB
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 624 GB
(所有其他區域)

先占執行個體上的 GPU

您可以用較低的 GPU 先占價格將 GPU 新增至先占 VM 執行個體。連接至先占執行個體的 GPU,在運作方式上就如同一般的 GPU,但僅會在執行個體的可用期限內保留。具有 GPU 的先占執行個體,其先占程序與其他所有先占執行個體均相同。

在將 GPU 新增至先占執行個體時,使用的是一般 GPU 配額。如果您的先占 GPU 需要獨立配額,請要求獨立的先占 GPU 配額

在維護作業期間,根據預設會先占具有 GPU 的先占執行個體,且這類執行個體無法自動重新啟動。如要重新建立已先占的執行個體,請使用代管執行個體群組。代管執行個體群組會在 vCPU、記憶體和 GPU 資源可供使用時,重新建立執行個體。

如果您想在執行個體遭到先占前收到警告,或是想將執行個體設定成在維護作業過後自動重新啟動,請使用具有 GPU 的非先占執行個體。針對具有 GPU 的非先占執行個體,Google 會在先占此類執行個體的一小時前預先通知

如果執行個體在其開始執行後的一分鐘內即已先占,則 Compute Engine 不會向您收取 GPU 的使用費用。

如需自動重新啟動非先占執行個體的步驟,請參閱執行個體的更新選項一節。

要瞭解如何建立附加 GPU 的先占執行個體,請參閱建立具有 GPU 的執行個體一節。

以承諾使用折扣預留 GPU

如要在特定區域預留 GPU 資源,請參閱保留區域資源一文。如要享有 GPU 承諾使用折扣定價,需要提前預留。

GPU 比較圖表

查看本節以深入瞭解針對 Compute Engine 上所提供的不同 GPU 類型,在各個要素 (如效能規格、功能可用性,以及理想的工作負載類型等) 最適合的選項。

任一 GPU 類型的可用 CPU 和記憶體上限取決於 GPU 資源執行所在的區域。如需記憶體、CPU 資源及可用地區與區域的詳細資訊,請參閱 GPU 清單

除 P4 GPU 以外,在所有可用地區和區域中執行的 GPU 均支援本機 SSD。P4 GPU 僅在 us-central1-cus-central1-f 區域中支援本機 SSD。

指標 T4 P4 V100 P100 K80
Tensor 核心 320 不適用 640 不適用 不適用
CUDA 核心 2560 2560 5120 3840 2496
最高效能 (TeraFLOPS (TFLOPS)) 雙精度 (FP64) 0.25 TFLOPS1 0.2 TFLOPS1 7.8 TFLOPS 4.7 TFLOPS 1.46 TFLOPS
單精確度 (FP32) 8.1 TFLOPS 5.5 TFLOPS 15.7 TFLOPS 9.3 TFLOPS 4.37 TFLOPS
半精確度 (FP16) 65 TFLOPS2 不適用 125 TFLOPS2 18.7 TFLOPS 不適用
INT8 130 TOPS3 22 TOPS3 63 TOPS3 不適用 不適用
互連網路 NVLink/PCIe PCIe Gen 3x16 PCIe Gen 3x16 NVLink;每秒 300 GB、PCIe Gen 3x16 PCIe Gen 3x16 PCIe Gen 3x16
記憶體與頻寬 16 GB GDDR6;320 GB/s 8 GB GDDR5;192 GB/s 16 GB HBM2;900 GB/s 16 GB HBM2;732 GB/s 12 GB GDDR5;240 GB/s
GRID 遠端工作站支援
最適用 機器學習推論、訓練、遠端視覺化工作站、影片轉碼 遠端視覺化工作站、機器學習推論與影片轉碼 機器學習訓練、推論、HPC 機器學習訓練、推論、HPC、遠端視覺化工作站 機器學習推論、訓練、HPC
定價 如要比較 Compute Engine 提供之不同 GPU 類型和地區的 GPU 定價,請參閱 GPU 定價一文。

1 為了讓 FP64 程式碼正常運作,T4 和 P4 GPU 架構中包含少量的 FP64 硬體單元。

2 透過 Tensor 核心實現此效能。

3 每秒萬億次運算。

限制

具有 GPU 的執行個體有特定限制,因此其行為與其他類型的執行個體不同。

  • 如果您要使用 Tesla K80 GPU 搭配執行個體,則執行個體不能使用 Intel Skylake 或更新的 CPU 平台。

  • 目前只有搭配使用一般用途 N1 機器類型時,才能支援 GPU。

  • GPU 執行個體必須終止,系統才能進行主機維護作業,,但可以在作業完成後自動重新啟動。這些維護作業通常每月一次,但在必要時可能會更頻繁地執行。您必須設定自己的工作負載,以乾淨俐落地處理這些維護作業。特別像是機器學習和高效能運算 (HPC) 等長時間執行的工作負載,必須能因應主機維護作業所造成的中斷。瞭解如何在具有 GPU 的執行個體上處理主機維護作業

  • 為保護 Compute Engine 系統和使用者,新專案有全域 GPU 配額,這會限制您可在任何受支援區域中建立的 GPU 總數。要求 GPU 配額時,您必須為要在各個地區中建立的 GPU 模型要求配額,並依據所有區域中全部類型之 GPU 的總數要求額外的全域配額。

  • 如果執行個體有一或多個 GPU,針對新增至執行個體的每一 GPU,均有 vCPU 數量上限。舉例來說,您的執行個體機器類型中每個 NVIDIA® Tesla® K80 GPU 最多可以有八個 vCPU 和 52 GB 記憶體。如要查看不同 GPU 設定的可用 vCPU 和記憶體範圍,請參閱 GPU 清單

  • 您無法將 GPU 附加至有共用核心機器類型的執行個體。

  • GPU 需要裝置驅動程式才能正常運作。在 Compute Engine 上執行的 NVIDIA GPU 必須使用下列驅動程式版本:

    • Linux 執行個體:

      • NVIDIA 410.79 或更新版本的驅動程式
    • Windows Server 執行個體:

      • NVIDIA 411.98 或更新版本的驅動程式
  • 有特意附加 GPU 模型的執行個體可涵蓋於 Compute Engine 服務水準協議,惟所附加的 GPU 模型必須於執行個體所在的相同地區內,在一個以上的區域中提供使用。Compute Engine 服務水準協議不涵蓋下列區域中的特定 GPU 模型:

    • NVIDIA® Tesla® T4:
      • asia-northeast1-a
      • asia-south1-b
      • asia-southeast1-b
      • southamerica-east1-c
    • NVIDIA® Tesla® V100:
      • asia-east1-c
    • NVIDIA® Tesla® P100:
      • us-west1-b
      • europe-west4-a
    • NVIDIA® Tesla® K80:
      • us-west1-b
      • us-central1-c
  • 位於 europe-west1-d 且具有 NVIDIA® Tesla® P100 GPU 的執行個體無法使用本機 SSD 裝置。

  • Compute Engine 支援每個 GPU 能有 1 位並行使用者的執行作業。

後續步驟