Compute Engine 上的 GPU

Google Compute Engine 提供圖型處理器 (GPU),方便您將 GPU 加入虛擬機器執行個體。您可以使用這些 GPU 加速處理執行個體上的特定工作負載,例如機器學習和資料處理。

如果您有 3D 視覺化、3D 轉譯或虛擬應用程式等需要大量圖形的工作負載,則可建立採用 NVIDIA® GRID® 技術的虛擬工作站。如要瞭解哪些 GPU 適合需要大量圖形的應用程式,請參閱適用於圖形工作負載的 GPU 一節。

如需將 GPU 新增至執行個體的操作步驟,請參閱為執行個體新增 GPU 一文。

簡介

Compute Engine 以直通模式為您的執行個體提供 NVIDIA® Tesla® GPU,讓您的虛擬機器執行個體可以直接控制 GPU 和相關記憶體。

對於運算工作負載,目前可用的 GPU 模型分成下列幾種階段:

  • NVIDIA® Tesla® T4:nvidia-tesla-t4全面開放使用

  • NVIDIA® Tesla® V100:nvidia-tesla-v100全面開放使用

  • NVIDIA® Tesla® P100:nvidia-tesla-p100全面開放使用

  • NVIDIA® Tesla® P4:nvidia-tesla-p4全面開放使用

  • NVIDIA® Tesla® K80:nvidia-tesla-k80全面開放使用

對於圖形工作負載,目前可用的 GPU 模型分成下列幾種階段:

  • NVIDIA® Tesla® T4 虛擬工作站:nvidia-tesla-t4-vws全面開放使用
  • NVIDIA® Tesla® P100 虛擬工作站:nvidia-tesla-p100-vws全面開放使用
  • NVIDIA® Tesla® P4 虛擬工作站:nvidia-tesla-p4-vws全面開放使用

如要瞭解虛擬工作站 GPU,請參閱適用於圖形負載的 GPU 一節。

您僅能將 GPU 附加至機器類型為預先定義自訂的執行個體。共用核心記憶體最佳化等機器類型則不支援 GPU。

GPU 數量較少的執行個體會有 vCPU 數目上限。GPU 數量越多,通常表示您可以建立 vCPU 較多且記憶體較大的執行個體。

適用於計算工作負載的 GPU

GPU 模型 GPU GPU 記憶體 可用的 vCPU 可用的記憶體 可用的區域
NVIDIA® Tesla® T4 1 個 GPU 16 GB GDDR6 1 - 24 個 vCPU 1 - 156 GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d
  • us-west1-a
  • us-west1-b
2 個 GPU 32 GB GDDR6 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 64 GB GDDR6 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P4 1 個 GPU 8 GB GDDR5 1 - 24 個 vCPU 1 - 156 GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
2 個 GPU 16 GB GDDR5 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 32 GB GDDR5 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® V100 1 個 GPU 16 GB HBM2 1 - 12 個 vCPU 1 - 78 GB
  • us-west1-a
  • us-west1-b
  • us-central1-a
  • us-central1-b
  • us-central1-c
  • us-central1-f
  • europe-west4-a
  • europe-west4-b
  • europe-west4-c
  • asia-east1-c
2 個 GPU 32 GB HBM2 1 - 24 個 vCPU 1 - 156 GB
4 個 GPU 64 GB HBM2 1 - 48 個 vCPU 1 - 312 GB
8 個 GPU 128 GB HBM2 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P100 1 個 GPU 16 GB HBM2 1 - 16 個 vCPU 1 - 104 GB
  • us-west1-a
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • europe-west4-a
  • asia-east1-a
  • asia-east1-c
  • australia-southeast1-c
2 個 GPU 32 GB HBM2 1 - 32 個 vCPU 1 - 208 GB
4 個 GPU 64 GB HBM2

1 - 64 個 vCPU
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 96 個 vCPU
(所有其他區域)

1 - 208 GB
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 624 GB
(所有其他區域)

NVIDIA® Tesla® K80 1 個 GPU 12 GB GDDR5 1 - 8 個 vCPU 1 - 52 GB
  • us-west1-b
  • us-central1-a
  • us-central1-c
  • us-east1-c
  • us-east1-d
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-b
2 個 GPU 24 GB GDDR5 1 - 16 個 vCPU 1 - 104 GB
4 個 GPU 48 GB GDDR5 1 - 32 個 vCPU 1 - 208 GB
8 個 GPU 96 GB GDDR5 1 - 64 個 vCPU

1 - 416 GB
(asia-east1-a 和 us-east1-d)

1 - 208 GB
(所有其他區域)

注意:
  • 如要進一步瞭解區域,請參閱地區與區域一文。
  • 每一 NVIDIA® K80® 主機板包含兩個 GPU。K80 GPU 的價格是按個別 GPU 計算,而不是按主機板數量。

GPU 裝置可享有與 vCPU 相似的續用折扣。如要瞭解 GPU 裝置每小時和每月的價格,請參閱 GPU 定價頁面

如為多 GPU 工作負載,V100 GPU 會隨附高速 NVLink™ 連線以進行 GPU 之間的通訊。

如要瞭解您的 GPU 如何彼此連結及連結至 CPU,請在執行個體上執行下列指令:

nvidia-smi topo -m

如要瞭解 NVLink 與其相關優點,請參閱 NVIDIA 開發人員網誌

適用於圖形工作負載的 NVIDIA® GRID® GPU

如果您有 3D 視覺化等需要大量圖形的工作負載,則可建立採用 NVIDIA® GRID® 平台的虛擬工作站。

如需 GRID 的相關背景資訊,請參閱 GRID 總覽

當您選用虛擬工作站 GPU 時,系統會將 NVIDIA GRID 授權新增至您的執行個體。如要支援虛擬工作站上的 GPU,您必須安裝 GPU 驅動程式

建立虛擬工作站後,您可以透過 Teradici® PCoIP 或 VMWare® Horizon View 等遠端桌面通訊協定連線至該工作站。

GPU 模型 GPU GPU 記憶體 可用的 vCPU 可用的記憶體 可用的區域
NVIDIA® Tesla® T4 虛擬工作站 1 個 GPU 16 GB GDDR6 1 - 24 個 vCPU 1 - 156 GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d (即將開放使用)
  • us-west1-a
  • us-west1-b
2 個 GPU 32 GB GDDR6 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 64 GB GDDR6 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P4 虛擬工作站 1 個 GPU 8 GB GDDR5 1 - 16 個 vCPU 1 - 192 GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
2 個 GPU 16 GB GDDR5 1 - 48 個 vCPU 1 - 312 GB
4 個 GPU 32 GB GDDR5 1 - 96 個 vCPU 1 - 624 GB
NVIDIA® Tesla® P100 虛擬工作站 1 個 GPU 16 GB HBM2 1 - 16 個 vCPU 1 - 104 GB
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-c
  • europe-west4-a
  • australia-southeast1-c
2 個 GPU 32 GB HBM2 1 - 32 個 vCPU 1 - 208 GB
4 個 GPU 64 GB HBM2

1 - 64 個 vCPU
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 96 個 vCPU
(所有其他區域)

1 - 208 GB
(us-east1-c、europe-west1-d、europe-west1-b)

1 - 624 GB
(所有其他區域)

先占執行個體上的 GPU

您可以用較低的 GPU 先占價格將 GPU 新增至先占 VM 執行個體。連接至先占執行個體的 GPU,在運作方式上就如同一般的 GPU,但僅會在執行個體的可用期限內保留。具有 GPU 的先占執行個體,其先占程序與其他所有先占執行個體皆相同。

在將 GPU 新增至先占執行個體時,使用的是一般 GPU 配額。如果您的先占 GPU 需要獨立配額,請要求獨立的先占 GPU 配額

在維護作業期間,根據預設會先占具有 GPU 的先占執行個體,且這類執行個體無法自動重新啟動。如要重新建立已先占的執行個體,請使用代管執行個體群組。代管執行個體群組會在 vCPU、記憶體和 GPU 資源可供使用時,重新建立執行個體。

如果想在執行個體遭到先占前收到警告訊息,或是想將執行個體設為在維護作業過後自動重新啟動,請使用具有 GPU 的非先占執行個體。針對具有 GPU 的非先占執行個體,Google 如要先佔具有 GPU 的非先占執行個體,會於一小時前預先通知

如果 GPU 的執行個體在其開始執行後的一分鐘內即已先佔,則 Compute Engine 不會向您收取 GPU 的使用費用。

如需自動重新啟動非先占執行個體的步驟,請參閱執行個體的更新選項一節。

如要瞭解如何建立附加 GPU 的先占執行個體,請參閱建立具有 GPU 的執行個體一節。

以承諾使用折扣保留 GPU

如要在特定區域保留 GPU 資源,請參閱保留區域資源一文。如要享有 GPU 承諾使用折扣定價,需要提前預訂。

GPU 比較圖表

查看本節以深入瞭解 Compute Engine 上所提供之不同 GPU 類型所適合的效能規格、可用功能,以及理想的工作負載類型等要素。

GPU 類型所適用的最大 CPU 和記憶體取決於用來執行 GPU 資源的區域。如要進一步瞭解記憶體、CPU 資源以及可用地區與區域的詳細資訊,請參閱 GPU 清單

除 P4 GPU 以外,所有可用地區和區域中執行的 GPU 均支援本機 SSD。P4 GPU 僅支援 us-central1-c 和 us-central1-f 區域中的本機 SSD。

指標 T4 P4 V100 P100 K80
Tensor 核心 320 不適用 640 不適用 不適用
CUDA 核心 2560 2560 5120 3840 2496
TeraFLOPS (TFLOPS) 的頂尖效能 雙精度 (FP64) 0.25 TFLOPS1 0.2 TFLOPS1 7.8 TFLOPS 4.7 TFLOPS 1.46 TFLOPS
單精度 (FP32) 8.1 TFLOPS 5.5 TFLOPS 15.7 TFLOPS 9.3 TFLOPS 4.37 TFLOPS
半精度 (FP16) 65 TFLOPS2 不適用 125 TFLOPS2 18.7 TFLOPS 不適用
INT8 130 TOPS3 22 TOPS3 63 TOPS3 不適用 不適用
互連網路 NVLink/PCIe PCIe Gen 3x16 PCIe Gen 3x16 NVLink;每秒 300 GB、PCIe Gen 3x16 PCIe Gen 3x16 PCIe Gen 3x16
記憶體;頻寬 16 GB GDDR6;320 GB/s 8 GB GDDR5;192 GB/s 16 GB HBM2;900 GB/s 16 GB HBM2;732 GB/s 12 GB GDDR5;240 GB/s
GRID 遠端工作站支援
最適用於 機器學習推論、訓練、遠端視覺化工作站、影片轉碼 遠端視覺化工作站、機器學習推論與影片轉碼 機器學習訓練、推論、HPC 機器學習訓練、推論、HPC、遠端視覺化工作站 機器學習推論、訓練、HPC
定價 如要比較可在 Compute Engine 上使用的不同 GPU 類型和地區計價方式,請參閱 GPU 定價一節。

1為了讓 FP64 程式碼正常運作,T4 和 P4 GPU 架構中包含少量的 FP64 硬體單元。

2透過 Tensor 核心實現此效能。

3每秒萬億次運算。

限制

具有 GPU 的執行個體有特定限制,因此行為與其他類型的執行個體不同。

  • 如果您要使用 Tesla K80 GPU 搭配執行個體,則執行個體不能使用 Intel Skylake 或之後的 CPU 平台。

  • 目前只有搭配使用一般用途 N1 機器類型時,才能支援 GPU。

  • 系統進行主機維護事件時,GPU 執行個體必須終止,但可以自動重新啟動。這些維護作業通常每月一次,但在必要時可能會更頻繁地執行。您必須設定自己的工作負載,以乾淨俐落地處理這些維護作業。特別像是機器學習和高效能運算 (HPC) 的長時間執行工作負載,必須處理主機維護作業的中斷情形。瞭解如何在具有 GPU 的執行個體上處理主機維護事件

  • 為保護 Compute Engine 系統和使用者,新專案的全域 GPU 配額會限制您可在任何支援區域中建立的 GPU 總數量。要求 GPU 配額時,您必須為要在各個地區中建立的 GPU 模型要求配額,並依據所有區域中各類 GPU 的總數要求額外的全域配額。

  • 具有一或多個 GPU 的執行個體針對每個加入執行個體的 GPU 設有 vCPU 數量上限。舉例來說,您的執行個體機器類型中每個 NVIDIA® Tesla® K80 GPU 最多可以有八個 vCPU 和 52 GB 記憶體。如要查看不同 GPU 設定的可用 vCPU 和記憶體範圍,請參閱 GPU 清單

  • 您無法將 GPU 附加至共用核心機器類型的執行個體。

  • GPU 需要裝置驅動程式以正常運作。Google Compute Engine 上執行的 NVIDIA GPU 必須使用下列驅動程式版本:

    • Linux 執行個體:

      • NVIDIA 410.79 以上版本的驅動程式
    • Windows Server 執行個體:

      • NVIDIA 411.98 或更新的驅動程式
  • 附加特定 GPU 模型的執行個體唯有在執行個體所在地區超過一個區域提供附加的 GPU 模型,才適用 Google Compute Engine 服務水準協議。Google Compute Engine 服務水準協議不適用下列區域的特定 GPU 模型:

    • NVIDIA® Tesla® T4:
      • asia-northeast1-a
      • asia-south1-b
      • asia-southeast1-b
      • southamerica-east1-c
    • NVIDIA® Tesla® V100:
      • asia-east1-c
    • NVIDIA® Tesla® P100:
      • us-west1-b
      • europe-west4-a
    • NVIDIA® Tesla® K80:
      • us-west1-b
      • us-central1-c
  • europe-west1-d 中具有 NVIDIA® Tesla® P100 GPU 的執行個體無法使用本機 SSD 裝置。

  • Compute Engine 支援每個 GPU 能有 1 位並行使用者的執行作業。

後續步驟

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Compute Engine 說明文件