加速器最佳化機器系列

本文介紹加速器最佳化機器系列，這類機器系列提供預先附加 NVIDIA GPU 的虛擬機器 (VM) 執行個體。這些執行個體專為人工智慧 (AI)、機器學習 (ML)、高效能運算 (HPC) 和需要大量繪圖資源的應用程式而設計。

加速器最佳化機器系列適用於下列機器系列：A4X、A4、A3、A2 和 G2。系列中的每個機器類型都連接特定型號和數量的 NVIDIA GPU。您也可以將部分 GPU 型號附加至 N1 一般用途機器類型。

以下各節將根據您的 GPU 工作負載，提供建議的機器系列：

工作負載類型 建議的機器類型
預先訓練模型 A4X、A4、A3 Ultra、A3 Mega、A3 High 和 A2

如要找出最合適的選項，請參閱 AI 超級電腦說明文件中的「預先訓練模型建議」。
微調模型 A4X、A4、A3 Ultra、A3 Mega、A3 High 和 A2

如要找出最合適的選項，請參閱 AI 超級電腦說明文件中的模型微調建議。
提供推論服務 A4X、A4、A3 Ultra、A3 Mega、A3 High、A3 Edge 和 A2

如要找出最合適的選項，請參閱 AI 超級電腦說明文件中的「Recommendations for serving inference」。
需要大量圖形資源的工作負載 G2 和 N1+T4
高效能運算 對於高效能運算工作負載，任何加速器最佳化機器系列都適用。最適合的 GPU 取決於必須卸載至 GPU 的運算量。

詳情請參閱 AI Hypercomputer 說明文件中的「HPC 建議」。

價格與用量方案

消費選項是指取得及使用運算資源的方式。Google Cloud 會根據連接的 GPU、預先定義的 vCPU、記憶體和隨附的本機 SSD (如適用)，針對加速器最佳化機型計費。加速器最佳化執行個體的折扣會因您使用的消耗量選項而異。如要進一步瞭解加速器最佳化執行個體的定價資訊，請參閱 VM 執行個體定價頁面上的「加速器最佳化機器類型系列」一節。

加速器最佳化執行個體的折扣會因您選擇的消耗量選項而異：

  • 隨選：購買依資源計算的承諾使用合約，即可獲得部分資源的承諾使用折扣 (CUD)。不過，透過隨選選項使用的 GPU 和本機 SSD 磁碟不適用於 CUD。如要取得 GPU 和本機 SSD 磁碟的承諾使用折扣，請改用其中一個預訂選項。
  • Spot：Spot VM 會透過 Spot VM 定價自動獲得折扣。
  • 彈性啟動 (搶先版)：使用彈性啟動消耗量選項佈建的執行個體，會透過動態工作負載排程器定價自動獲得折扣。
  • 預留項目：購買依資源計算的承諾使用合約，即可取得加速器最佳化機器類型資源的 CUD。GPU 和本機 SSD 磁碟的承諾方案必須附加這些資源的保留項目。

各機器類型的用量選項

下表摘要列出各機器系列適用的用量選項。如要進一步瞭解如何選擇用量方案，請參閱 AI Hypercomputer 說明文件中的「選擇用量模式」。

機型 隨選 Spot Flex-start (預先發布版) 隨需預留項目 預訂記錄 (預覽) 日曆模式中的預訂記錄 (預覽版) AI Hypercomputer 的未來預訂 (預先發布版)
A4X
A4
A3 Ultra
  • A3 Mega
  • A3 High (8 個 GPU)
  • A3 Edge
少於 8 個 GPU 的 A3 High
A2 Ultra 和 A2 Standard
G2

A4X 機器系列

A4X 機器系列採用以NVIDIA GB200 NVL72 機架式架構為基礎的百京級平台，最多可搭載 140 個 vCPU 和 884 GB 記憶體。這個機器系列經過最佳化調整，適用於需要大量運算和記憶體資源、受網路限制的機器學習訓練，以及 HPC 工作負載。A4X 系列機器只有一種機型。

使用 A4X 機器類型建立的 VM 執行個體提供下列功能：

  • 採用 NVIDIA GB200 Superchip 的 GPU 加速：A4X 執行個體會自動附加 NVIDIA GB200 Superchip。這些超級晶片搭載 NVIDIA B200 GPU，每個 GPU 提供 180 GB 記憶體。A4X 具有兩個插槽，搭載 NVIDIA Grace™ CPU，並採用 Arm® Neoverse™ V2 核心。這些 CPU 會透過快速晶片對晶片 (NVLink-C2C) 通訊，連接至四個 B200 GPU。

  • NVIDIA Grace CPU 平台：A4X 執行個體使用 NVIDIA Grace CPU 平台。 如要進一步瞭解平台，請參閱「CPU 平台」。

  • 業界領先的 NVLink 可擴充性：多節點 NVLink 可在單一網域中擴充至 72 個 GPU。NVIDIA B200 GPU 提供 1800 GBps 的 GPU NVLink 頻寬，每個 GPU 雙向傳輸。在系統中 4 個 GPU 之間採用全對全 NVLink 拓撲，NVLink 總頻寬最高可達 130 TB/s。

  • RoCE 強化型網路：對於 A4X 執行個體，透過融合乙太網路的 RDMA (RoCE) 會結合 NVIDIA ConnectX-7 (CX-7) 網路介面卡 (NIC) 與 Google 的資料中心全方位四向軌道對齊網路，進而提升網路效能。與 A4 執行個體相比，A4X 執行個體採用融合乙太網路的 RDMA (RoCE) 技術，因此叢集中的執行個體之間可達到更高的總處理量。

    CX-7 NIC 在四向導軌對齊的網路拓撲上實體隔離，可讓 A4X 執行個體以 72 個 GPU 為一組進行擴充，在單一無阻斷叢集中擴充至多達數千個 GPU。

  • 網路速度提升：與使用 A3 機型建立的執行個體相比，網路速度最多可提升 4 倍。

  • 資料移轉和復原的虛擬化最佳化：A4X 執行個體的周邊元件互連高速 (PCIe) 拓撲可提供更準確的區域資訊，工作負載可用於最佳化資料移轉。

    GPU 也會公開函式層級重設 (FLR)，以便從故障中順利復原，並支援原子作業，在特定情況下提升並行作業效能。

  • 支援本機 SSD 和 Hyperdisk：系統會自動為 A4X 執行個體新增 12,000 GiB 的本機 SSD。本機 SSD 可做為快速暫存磁碟，或將資料饋送至 GPU，同時避免 I/O 瓶頸。

    如果應用程式對儲存空間效能的要求較高，您可以將最多 512 TiB 的 Hyperdisk 附加至 A4X 執行個體。

  • 密集分配和拓撲感知排程支援：透過 Cluster Director 佈建 A4X 執行個體時，您可以要求密集分配的容量區塊。主機在實體上彼此靠近，以資源區塊的形式佈建，並透過動態 ML 網路架構互連，盡量減少網路躍點，並將延遲時間降到最低。此外，Cluster Director 還會在節點和叢集層級提供拓撲資訊，可用於工作放置。

A4X 機型

A4X 加速器最佳化 機型採用 NVIDIA GB200 Grace Blackwell Superchip (nvidia-gb200)，非常適合用於基礎模型訓練和服務。

A4X 是以 NVIDIA GB200 NVL72 為基礎的百京級平台。每部機器都有兩個插槽，搭載 NVIDIA Grace CPU 和 Arm Neoverse V2 核心。這些 CPU 會透過快速晶片對晶片 (NVLink-C2C) 通訊，連線至四個 NVIDIA B200 Blackwell GPU。

已連結 NVIDIA GB200 Grace Blackwell 超級晶片
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 720

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A4X 限制

  • 您只能透過 A4X 機器類型支援的用量選項要求容量。
  • 使用 A4X 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A4X 機器類型僅適用於特定區域和可用區。
  • 如果執行個體使用 A4X 機器類型，就無法使用 永久磁碟 (區域或可用區)。
  • A4X 機器類型僅適用於 NVIDIA Grace 平台。
  • 您無法將現有執行個體的機器類型變更為 A4X 機器類型。您只能建立新的 A4X 執行個體。使用 A4X 機器類型建立執行個體後，就無法變更機器類型。
  • 您無法在 A4X 機型上執行 Windows 作業系統。
  • A4X 執行個體不支援下列項目：

A4X 執行個體支援的磁碟類型

A4X 執行個體可使用下列區塊儲存空間類型：

  • Hyperdisk Balanced (hyperdisk-balanced)：這是唯一支援開機磁碟的磁碟類型
  • Hyperdisk Extreme (hyperdisk-extreme)
  • 本機 SSD：使用任何 A4X 機器類型建立執行個體時，系統會自動新增本機 SSD
每個執行個體的磁碟數量上限*
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a4x-highgpu-4g 128 128 不適用 不適用 8 32

* Hyperdisk 使用費用會單獨收取，不包含在機器類型定價中。如需磁碟定價，請參閱 Hyperdisk 定價。

磁碟和容量限制

您可以將不同類型的 Hyperdisk 連接至執行個體，但所有磁碟類型的總磁碟容量 (以 TiB 為單位) 不得超過：

  • 搭載少於 32 個 vCPU 的機器類型：所有 Hyperdisk 均為 257 TiB

  • 對於具有 32 個以上 vCPU 的機器類型：所有 Hyperdisk 均為 512 TiB

如要瞭解容量限制的詳細資料，請參閱 Hyperdisk 大小和附加限制。

A4 機器系列

A4 系列機器的機器類型最多可搭載 224 個 vCPU，以及 3,968 GB 的記憶體。對於大多數 GPU 加速工作負載，A4 執行個體提供的效能最高可達前一代 GPU 執行個體類型的 3 倍。建議使用 A4 處理機器學習訓練工作負載，特別是大規模工作負載 (例如數百或數千個 GPU)。A4 系列機器僅提供一種機型。

使用 A4 機器類型建立的 VM 執行個體提供下列功能：

  • 使用 NVIDIA B200 GPU 進行 GPU 加速： NVIDIA B200 GPU 會自動附加至 A4 執行個體， 每個 GPU 提供 180 GB 的 GPU 記憶體。

  • 第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids)：單一核心的長期 Turbo 時鐘頻率最高可達 4.0 GHz。如要進一步瞭解這個處理器，請參閱 CPU 平台。

  • 業界領先的 NVLink 可擴充性：NVIDIA B200 GPU 提供每 GPU 1,800 GBps 的GPU NVLink 頻寬，且為雙向。

    在系統中 8 個 GPU 之間採用全對全 NVLink 拓撲，NVLink 總頻寬最高可達 14.4 TBps。

  • 透過 RoCE 提升網路效能：融合乙太網路的 RDMA (RoCE) 結合 NVIDIA ConnectX-7 網路介面卡 (NIC) 與 Google 資料中心全域四向軌道對齊網路，可提升網路效能。與大多數 A3 執行個體相比，A4 執行個體在叢集中的執行個體之間，透過融合乙太網路的 RDMA (RoCE) 達到更高的輸送量，但執行 A3 Ultra 機器類型的執行個體除外。

  • 網路速度提升：與前一代 A2 執行個體相比，網路速度最高可提升 4 倍。

    如要進一步瞭解網路，請參閱「網路頻寬和 GPU」。

  • 資料移轉和復原的虛擬化最佳化：A4 執行個體的周邊元件互連高速 (PCIe) 拓撲可提供更準確的區域資訊，工作負載可用於最佳化資料移轉。

    GPU 也會公開函式層級重設 (FLR)，以便從故障中順利復原，並支援原子作業，在特定情況下提升並行作業效能。

  • 支援本機 SSD 和 Hyperdisk：系統會自動為 A4 執行個體新增 12,000 GiB 的本機 SSD。本機 SSD 可做為快速暫存磁碟，或將資料饋送至 GPU，同時避免 I/O 瓶頸。

    對於儲存空間效能要求較高的應用程式，您也可以將最多 512 TiB 的 Hyperdisk 磁碟掛接到 A4 執行個體。

  • 密集分配和拓撲感知排程支援：佈建使用 Cluster Director 功能和服務的 A4 執行個體時，您可以要求密集分配的容量區塊。主機電腦會分配到彼此靠近的位置，以資源區塊的形式佈建，並透過動態 ML 網路架構互連，盡量減少網路躍點，達到最低延遲。此外，您還可以在節點和叢集層級取得拓撲資訊，用於工作放置。

A4 機型

A4 加速器最佳化機型連接 NVIDIA B200 Blackwell GPU (nvidia-b200)，非常適合用於基礎模型訓練和服務。

已連結的 NVIDIA Blackwell GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱網路頻寬。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A4 限制

  • 您只能使用 A4 機器類型的支援用量選項來要求容量。
  • 使用 A4 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A4 機器類型僅適用於特定區域和可用區。
  • 如果執行個體使用 A4 機器類型，就無法使用 永久磁碟 (區域或可用區)。
  • A4 機器類型僅適用於 Emerald Rapids CPU 平台。
  • 您無法將現有執行個體的機器類型變更為 A4 機器類型。您只能建立新的 A4 執行個體。使用 A4 機器類型建立執行個體後，就無法變更機器類型。
  • A4 機器類型不支援單一租戶。
  • 您無法在 A4 機器類型上執行 Windows 作業系統。

A4 執行個體支援的磁碟類型

A4 執行個體可使用下列區塊儲存空間類型：

  • Hyperdisk Balanced (hyperdisk-balanced)：這是唯一支援開機磁碟的磁碟類型
  • Hyperdisk Extreme (hyperdisk-extreme)
  • 本機 SSD：使用任何 A4 機器類型建立執行個體時，系統會自動新增本機 SSD
每個執行個體的磁碟數量上限*
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a4-highgpu-8g 128 128 不適用 不適用 8 32

* Hyperdisk 使用費用會單獨收取，不包含在機器類型定價中。如需磁碟定價，請參閱 Hyperdisk 定價。

磁碟和容量限制

如果機器類型支援，您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體，但須遵守下列限制：

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。

  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過：

    • 如果機器類型少於 32 個 vCPU：

      • 所有 Hyperdisk 或所有 Persistent Disk 的總大小為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB

    • 對於具有 32 個以上 vCPU 的機器類型：

      • 所有 Hyperdisk 總共 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料，請參閱 Hyperdisk 大小和附加限制和永久磁碟最大容量。

A3 機器系列

A3 機器系列最多可搭載 224 個 vCPU 和 2,944 GB 記憶體。這個機器系列經過最佳化調整，適合需要大量運算和記憶體資源、受網路限制的機器學習訓練，以及 HPC 工作負載。A3 系列機型包括 A3 Ultra、A3 Mega、A3 High 和 A3 Edge。

使用 A3 機器類型建立的 VM 執行個體提供下列功能：

功能 A3 Ultra A3 Mega、High、Edge
GPU 加速

NVIDIA H200 SXM GPU，每個 GPU 提供 141 GB 的 GPU 記憶體，並提供更大、更快的記憶體，可支援大型語言模型和 HPC 工作負載。

NVIDIA H100 SXM GPU，每個 GPU 提供 80 GB 的 GPU 記憶體，非常適合大型變形架構語言模型、資料庫和 HPC。
Intel Xeon 可擴充處理器

第 5 代 Intel Xeon 可擴充處理器 (Emerald Rapids)，單一核心的長期 Turbo 時鐘頻率最高可達 4.0 GHz。如要進一步瞭解這個處理器，請參閱「CPU 平台」。

第 4 代 Intel Xeon 可擴充處理器 (Sapphire Rapids)，單一核心的持續最高 Turbo 頻率可達 3.3 GHz。如要進一步瞭解這個處理器，請參閱「CPU 平台」。
領先業界的 NVLink 擴充性

NVIDIA H200 GPU 提供 900 GB/s 的單向GPU NVLink 頻寬。

在系統中 8 個 GPU 之間採用全對全 NVLink 拓撲，NVLink 總頻寬最高可達 7.2 TB/s。

NVIDIA H100 GPU 提供 450 GB/s 的單向GPU NVLink 頻寬。

在系統中 8 個 GPU 之間採用全對全 NVLink 拓撲，NVLink 總頻寬最高可達 7.2 TB/s。
強化網路 對於這類機器類型，透過融合乙太網路的 RDMA (RoCE) 可結合 NVIDIA ConnectX-7 網路介面卡 (NIC) 與我們資料中心範圍的四向軌道對齊網路，進而提升網路效能。與其他 A3 機器類型相比，a3-ultragpu-8g 機器類型運用 RDMA over Converged Ethernet (RoCE)，可大幅提升叢集中執行個體之間的處理量。
  • 對於 A3 Mega 機型，GPUDirect-TCPXO 會卸載 TCP 協定，進一步提升 GPUDirect-TCPX 的效能。a3-megagpu-8g 機器類型運用 GPUDirect-TCPXO，網路頻寬是 A3 High 和 A3 Edge 機器類型的兩倍。
  • 對於 A3 Edge 和 A3 High 機器類型，GPUDirect-TCPX 可讓資料封包酬載直接從 GPU 記憶體傳輸至網路介面，進而提升網路效能。與 A2 或 G2 加速器最佳化機器類型相比，這些機器類型運用 GPUDirect-TCPX 技術，可大幅提升叢集中執行個體之間的輸送量。
提升網路速度

與前一代 A2 機器系列相比，網路速度最高可提升 4 倍。

如要進一步瞭解網路，請參閱網路頻寬和 GPU。

與上一代 A2 機器系列相比，網路速度最高可提升 2.5 倍。

如要進一步瞭解網路，請參閱網路頻寬和 GPU。
虛擬化最佳化

A3 執行個體的周邊元件互連高速 (PCIe) 拓撲可提供更準確的區域資訊，工作負載可用於最佳化資料傳輸。

GPU 也會公開函式層級重設 (FLR)，以便從故障中順利復原，並支援原子作業，在特定情況下提升並行作業效能。
支援本機 SSD、永久磁碟和 Hyperdisk

本機 SSD 可做為快速暫存磁碟，或將資料饋送至 GPU，同時避免 I/O 瓶頸。本機 SSD 的連結方式如下：

  • 系統會自動為 A3 Ultra 執行個體新增 12,000 GiB 的本機 SSD。
  • 系統會自動為 A3 Mega、High 和 Edge 執行個體新增 6,000 GiB 的本機 SSD。

此外，您也可以將高達 512 TiB 的永久磁碟和 Hyperdisk 連接至這些系列的機器類型，以供需要更高儲存空間效能的應用程式使用。部分機器類型也支援高達 257 TiB 的永久磁碟。
支援密集配置政策

讓您進一步控管資料中心內執行個體的實際位置。

這可為位於單一可用區的執行個體提供較低的延遲時間和較高的頻寬。

詳情請參閱「 關於密集配置政策」。

A3 Ultra 機型

A3 Ultra 機型連接 NVIDIA H200 SXM GPU (nvidia-h200-141gb)，是 A3 系列中網路效能最高的機型。A3 Ultra 機型非常適合基礎模型訓練和服務。

附加的 NVIDIA H200 GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Ultra 限制

  • 您只能使用 A3 Ultra 機型的支援用量選項要求容量。
  • 使用 A3 Ultra 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A3 Ultra 機型。
  • 如果執行個體使用 A3 Ultra 機器類型，就無法使用 永久磁碟 (區域或可用區)。
  • A3 Ultra 機器類型僅適用於 Emerald Rapids CPU 平台。
  • 您無法將現有執行個體的機器類型變更為 A3 Ultra 機器類型。您只能建立新的 A3-ultra 執行個體。使用 A3 Ultra 機型建立執行個體後，就無法變更機型。
  • A3 Ultra 機型不支援單一租戶。
  • 您無法在 A3 Ultra 機型上執行 Windows 作業系統。

A3 Mega 機型

A3 Mega 機型搭載 NVIDIA H100 SXM GPU，非常適合大型模型訓練和多主機推論。
附加的 NVIDIA H100 GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Mega 限制

  • 您只能透過 A3 Mega 機型支援的用量選項要求容量。
  • 使用 A3 Mega 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A3 Mega 機器類型。
  • 如果執行個體使用 A3 Mega 機型，就無法使用區域永久磁碟。
  • A3 Mega 機器類型僅適用於 Sapphire Rapids CPU 平台。
  • 您無法將現有執行個體的機器類型變更為 A3 Mega 機器類型。您只能建立新的 A3-mega 執行個體。使用 A3 Mega 機器類型建立執行個體後，就無法變更機器類型。
  • A3 Mega 機型不支援單一租戶。
  • 您無法在 A3 Mega 機器類型上執行 Windows 作業系統。

A3 High 機型

A3 High 機型搭載 NVIDIA H100 SXM GPU，非常適合大型模型推論和模型微調。
附加的 NVIDIA H100 GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 High 的限制

  • 您只能透過 A3 High 機型支援的用量選項要求容量。
  • 使用 A3 High 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A3 High 機型。
  • 您無法在採用 A3 High 機型的執行個體上使用區域永久磁碟。
  • A3 High 機型僅適用於 Sapphire Rapids CPU 平台。
  • 您無法將現有執行個體的機器類型變更為 A3 High 機器類型。您只能建立新的 A3 高執行個體。使用 A3 High 機器類型建立執行個體後，就無法變更機器類型。
  • A3 High 機型不支援單一用戶群。
  • 您無法在 A3 High 機型上執行 Windows 作業系統。
  • 如要使用 a3-highgpu-1g、a3-highgpu-2g 和a3-highgpu-4g 機器類型， 您必須使用 Spot VM 或採用動態工作負載排程器 (DWS) 的功能建立執行個體，例如 MIG 中的調整大小要求。如需這兩種方式的詳細操作說明，請參閱下列文章：

A3 Edge 機型

A3 Edge 機型搭載 NVIDIA H100 SXM GPU，專為服務而設計，且僅在特定區域提供。
附加的 NVIDIA H100 GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 實體 NIC 數量 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5
  • 800：適用於 asia-south1 和 northamerica-northeast2
  • 400：適用於所有其他 A3 Edge 區域
 8 640

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A3 Edge 限制

  • 您只能透過 A3 Edge 機器類型支援的用量選項要求容量。
  • 使用 A3 Edge 機型執行個體時，您無法享有續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A3 Edge 機器類型。
  • 使用 A3 Edge 機器類型的執行個體無法使用區域性永久磁碟。
  • A3 Edge 機器類型僅適用於 Sapphire Rapids CPU 平台。
  • 您無法將現有執行個體的機器類型變更為 A3 Edge 機器類型。您只能建立新的 A3-edge 執行個體。使用 A3 Edge 機器類型建立執行個體後，就無法變更機器類型。
  • A3 Edge 機器類型不支援單一租戶。
  • 您無法在 A3 Edge 機器類型上執行 Windows 作業系統。

A3 執行個體支援的磁碟類型

A3 Ultra

A3 Ultra 執行個體可使用下列區塊儲存空間類型：

  • Hyperdisk Balanced (hyperdisk-balanced)：這是唯一支援開機磁碟的磁碟類型
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • 本機 SSD：使用任何 A3 機器類型建立執行個體時，系統會自動新增本機 SSD
每個執行個體的磁碟數量上限*
機器
類型		 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 連結的
本機 SSD
磁碟
a3-ultragpu-8g 128 128 128 不適用 不適用 8 32

* Hyperdisk 使用費用會單獨收取，不包含在機器類型定價中。如需磁碟定價，請參閱 Hyperdisk 定價。

A3 Mega

A3 Mega 執行個體可使用下列區塊儲存空間類型：

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD：使用任何 A3 機器類型建立執行個體時，系統會自動新增本機 SSD
每個執行個體的磁碟數量上限*
機器
類型		 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 連結的
本機 SSD
磁碟
a3-megagpu-8g 128 32 32 64 64 8 16

* Hyperdisk 和永久磁碟的使用費用會分開計算，不包含在機器類型定價中。如需磁碟定價，請參閱永久磁碟和 Hyperdisk 定價。

A3 High

A3 High 執行個體可使用下列區塊儲存空間類型：

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD：使用任何 A3 機器類型建立執行個體時，系統會自動新增本機 SSD
每個執行個體的磁碟數量上限*
機器
類型		 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 連結的
本機 SSD
磁碟
a3-highgpu-1g 128 32 32 64 64 不適用 2
a3-highgpu-2g 128 32 32 64 64 不適用 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

* Hyperdisk 和永久磁碟的使用費用會分開計算，不包含在機器類型定價中。如需磁碟定價，請參閱永久磁碟和 Hyperdisk 定價。

A3 Edge

A3 Edge 執行個體可使用下列區塊儲存空間類型：

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD：使用任何 A3 機器類型建立執行個體時，系統會自動新增本機 SSD
每個執行個體的磁碟數量上限*
機器類型 所有 Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 附加本機 SSD
a3-edgegpu-8g 128 32 32 64 64 8 16

* Hyperdisk 和永久磁碟的使用費用會分開計算，不包含在機器類型定價中。如需磁碟定價，請參閱永久磁碟和 Hyperdisk 定價。

磁碟和容量限制

如果機器類型支援，您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體，但須遵守下列限制：

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。

  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過：

    • 如果機器類型少於 32 個 vCPU：

      • 所有 Hyperdisk 或所有 Persistent Disk 的總大小為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB

    • 對於具有 32 個以上 vCPU 的機器類型：

      • 所有 Hyperdisk 總共 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料，請參閱 Hyperdisk 大小和附加限制和永久磁碟最大容量。

A2 機器系列

A2 系列提供 A2 Standard 和 A2 Ultra 機器類型。這些機器類型可搭載 12 到 96 個 vCPU，最多可提供 1,360 GB 記憶體。

使用 A2 機器類型建立的 VM 執行個體提供下列功能：

  • GPU 加速：每個 A2 執行個體都有 NVIDIA A100 GPU。A100 40GB 和 A100 80GB 選項均提供這項功能。

  • 業界領先的 NVLink 規模，提供 600 GBps 的 GPU 對 GPU NVLink 頻寬。舉例來說，如果系統有 16 個 GPU，NVLink 總頻寬最高可達 9.6 TBps。這 16 個 GPU 可做為單一高效能加速器，提供統一的記憶體空間，運算能力高達 10 PFLOPS，推論運算能力高達 20 PFLOPS，可用於人工智慧、深度學習和機器學習工作負載。

  • 提升運算速度：與前一代 NVIDIA V100 GPU 相比，連接的 NVIDIA A100 GPU 運算速度最高可提升 10 倍。

    使用 A2 系列機器時，網路頻寬最高可達 100 Gbps。

  • 支援本機 SSD、Persistent Disk 和 Hyperdisk：如要使用快速暫存磁碟，或將資料饋送至 GPU，同時避免 I/O 瓶頸，A2 機器類型支援本機 SSD 的方式如下：

    • 建立執行個體時，A2 Standard 機器類型最多可新增 3,000 GiB 的本機 SSD。
    • 對於 A2 Ultra 機型，建立執行個體時會自動連接本機 SSD。

    如果應用程式需要更高的儲存空間效能，您也可以將最多 257 TiB 的永久磁碟和 512 TiB 的 Hyperdisk 磁碟區連接至 A2 執行個體。

  • 支援密集配置政策：讓您進一步控管執行個體在資料中心內的實際位置。這樣一來，位於單一可用區的執行個體就能享有較低的延遲時間和較高的頻寬。詳情請參閱「使用密集配置政策縮短延遲時間」。

A2 機器系列提供下列機器類型。

A2 Ultra 機型

這類機型連接固定數量的 A100 80GB GPU。使用 A2 Ultra 機器類型建立的執行個體會自動連接本機 SSD。

已連結 NVIDIA A100 80GB GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 已連結的本機 SSD (GiB) 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A2 Ultra 的限制

  • 您只能使用 A2 Ultra 機型的支援用量選項要求容量。
  • 使用 A2 Ultra 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A2 Ultra 機型。
  • A2 Ultra 機型僅適用於 Cascade Lake 平台。
  • 如果執行個體使用 A2 Ultra 機器類型，則無法變更機器類型。如要使用其他 A2 Ultra 機型或任何其他機型，請建立新的執行個體。
  • 您無法將任何其他機器類型變更為 A2 Ultra 機器類型。如需使用 A2 Ultra 機器類型的執行個體，請建立新的執行個體。
  • 如果 Windows 執行個體使用 A2 Ultra 機器類型，您就無法快速格式化所連線的本機 SSD。如要格式化這些本機 SSD，請使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs，執行完整格式化。

A2 Standard 機型

這類機型連接固定數量的 A100 40GB GPU。 您也可以在建立 A2 Standard 執行個體時新增本機 SSD 磁碟。如要瞭解可連結的磁碟數量，請參閱「必須選擇本機 SSD 磁碟數量的機器類型」。

已連結 NVIDIA A100 40GB GPU
機型 vCPU 數量* 執行個體記憶體 (GB) 支援本機 SSD 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡
(GB HBM3)
a2-highgpu-1g 12 85 是 24 1 40
a2-highgpu-2g 24 170 是 32 2 80
a2-highgpu-4g 48 340 是 50 4 160
a2-highgpu-8g 96 680 是 100 8 320
a2-megagpu-16g 96 1,360 是 100 16 640

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

A2 Standard 限制

  • 您只能使用 A2 Standard 機型支援的用量選項來要求容量。
  • 使用 A2 Standard 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • 您只能在特定區域和可用區使用 A2 Standard 機器類型。
  • A2 Standard 機器類型僅適用於 Cascade Lake 平台。
  • 如果執行個體使用 A2 Standard 機型，您只能從一個 A2 Standard 機型切換至另一個 A2 Standard 機型。您無法變更為任何其他機器類型。 詳情請參閱「修改已最佳化加速器的執行個體」。
  • 您無法在 a2-megagpu-16g A2 Standard 機型上使用 Windows 作業系統。 使用 Windows 作業系統時，請選擇其他 A2 Standard 機型。
  • 在採用 A2 Standard 機型的 Windows 執行個體上，您無法快速格式化所連線的本機 SSD。如要格式化這些本機 SSD，請使用 diskpart 公用程式並指定 format fs=ntfs label=tmpfs，執行完整格式化。
  • A2 Standard 機型不支援單一租戶。

A2 執行個體支援的磁碟類型

A2 執行個體可使用下列區塊儲存空間類型：

  • Hyperdisk ML (hyperdisk-ml)
  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • 標準永久磁碟 (pd-standard)
  • 本機 SSD：系統會自動將本機 SSD 連接至使用 A2 Ultra 機型建立的執行個體。

如果機器類型支援，您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體，但須遵守下列限制：

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。

  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過：

    • 如果機器類型少於 32 個 vCPU：

      • 所有 Hyperdisk 或所有 Persistent Disk 的總大小為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB

    • 對於具有 32 個以上 vCPU 的機器類型：

      • 所有 Hyperdisk 總共 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料，請參閱 Hyperdisk 大小和附加限制和永久磁碟最大容量。

G2 機器系列

G2 系列機器提供標準機器類型，搭載 4 到 96 個 vCPU，以及最多 432 GB 的記憶體。這個機器系列已針對推論和圖形工作負載完成最佳化。G2 機器系列提供單一標準機器類型，但有多種設定。

使用 G2 機器類型建立的執行個體提供下列功能：

  • GPU 加速：每個 G2 機型都配備 NVIDIA L4 GPU。

  • 提升推論速率：G2 機型支援 FP8 (8 位元浮點數) 資料型別，可加快機器學習推論速率，並減少記憶體需求。

  • 新一代繪圖效能：NVIDIA L4 GPU 採用第三代 RT 核心和 NVIDIA DLSS 3 (深度學習超取樣) 技術，繪圖效能提升高達 3 倍。

  • 高效能網路頻寬：使用 G2 機器類型時，網路頻寬最高可達 100 Gbps。

  • 支援本機 SSD、永久磁碟和 Hyperdisk：您可以在 G2 執行個體中新增最多 3,000 GiB 的本機 SSD。這項功能可用於快速暫存磁碟，或將資料饋送至 GPU，同時避免 I/O 瓶頸。

    您也可以將 Hyperdisk 和 Persistent Disk 磁碟區連接至 G2 執行個體，滿足需要更多永久儲存空間的應用程式。儲存空間容量上限取決於執行個體擁有的 vCPU 數量。詳情請參閱「支援的磁碟類型」。

  • 支援密集配置政策：讓您進一步控管執行個體在資料中心內的實際位置。這樣一來，位於單一可用區的執行個體就能享有較低的延遲時間和較高的頻寬。詳情請參閱「使用密集配置政策縮短延遲時間」。

G2 機型

G2 加速器最佳化機型連接 NVIDIA L4 GPU，非常適合用於成本最佳化的推論、需要大量圖形處理的作業，以及高效能運算工作負載。

每個 G2 機型也都有預設記憶體和自訂記憶體範圍。自訂記憶體範圍會定義每個機型可分配給執行個體的記憶體大小。您也可以在建立 G2 執行個體時新增本機 SSD 磁碟。如要瞭解可附加的磁碟數量，請參閱需要選擇本機 SSD 磁碟數量的機器類型。

已附加的 NVIDIA L4 GPU
機型 vCPU 數量* 預設執行個體記憶體 (GB) 自訂執行個體記憶體範圍 (GB) 支援的最大本機 SSD (GiB) 網路頻寬上限 (Gbps)† GPU 數量 GPU 記憶體‡ (GB GDDR6)
g2-standard-4 4 16 16 至 32 375 10 1 24
g2-standard-8 8 32 32 至 54 375 16 1 24
g2-standard-12 12 48 48 到 54 歲 375 16 1 24
g2-standard-16 16 64 54 到 64 375 32 1 24
g2-standard-24 24 96 96 至 108 750 32 2 48
g2-standard-32 32 128 96 到 128 375 32 1 24
g2-standard-48 48 192 192 至 216 1,500 50 4 96
g2-standard-96 96 384 384 到 432 3,000 100 8 192

* 在其中一個可用的 CPU 平台中，我們會以單一硬體超執行緒的形式提供 vCPU。
†輸出頻寬上限不得超過指定數量。實際輸出頻寬取決於目的地 IP 位址和其他因素。如要進一步瞭解網路頻寬，請參閱「網路頻寬」。
‡GPU 記憶體是 GPU 裝置上的記憶體，可用於暫時儲存資料。這與執行個體的記憶體不同，專門用於處理需要高頻寬的繪圖密集型工作負載。

G2 限制

  • 您只能使用 G2 機器類型的支援用量選項來要求容量。
  • 使用 G2 機器類型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • G2 機器類型僅適用於特定區域和可用區。
  • G2 機器類型僅適用於 Cascade Lake 平台。
  • 使用 G2 機器類型的執行個體不支援標準永久磁碟 (pd-standard)。如要瞭解支援的磁碟類型，請參閱「G2 支援的磁碟類型」。
  • 您無法在採用 G2 機器類型的執行個體上建立 多重執行個體 GPU。
  • 如要變更 G2 執行個體的機器類型，請參閱「修改加速器最佳化執行個體」。
  • 如果執行個體使用 G2 機器類型，您就無法將深度學習 VM 映像檔做為開機磁碟。
  • Container-Optimized OS 目前的預設驅動程式不支援在 G2 機型上執行的 L4 GPU。此外，Container-Optimized OS 僅支援特定驅動程式集。如要在 G2 機器類型上使用 Container-Optimized OS，請參閱下列注意事項：
    • 使用支援最低建議 NVIDIA 驅動程式版本 525.60.13 以上的 Container-Optimized OS 版本。詳情請參閱 Container-Optimized OS 版本資訊。
    • 安裝驅動程式時，請指定適用於 L4 GPU 的最新版本。例如：sudo cos-extensions install gpu -- -version=525.60.13。
  • 您必須使用 Google Cloud CLI 或 REST，才能在下列情境中建立 G2 執行個體：
    • 您想指定自訂記憶體值。
    • 您想自訂可見的 CPU 核心數量。

G2 執行個體支援的磁碟類型

G2 執行個體可使用下列區塊儲存類型：

  • 已平衡的永久磁碟 (pd-balanced)
  • SSD (效能型) 永久磁碟 (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本機 SSD

如果機器類型支援，您可以將 Hyperdisk 和 Persistent Disk 磁碟區混合附加至執行個體，但須遵守下列限制：

  • 每個執行個體的 Hyperdisk 和 Persistent Disk 磁碟區總數不得超過 128 個。

  • 所有磁碟類型的總磁碟容量上限 (以 TiB 為單位) 不得超過：

    • 如果機器類型少於 32 個 vCPU：

      • 所有 Hyperdisk 或所有 Persistent Disk 的總大小為 257 TiB
      • Hyperdisk 和 Persistent Disk 混合使用時為 257 TiB

    • 對於具有 32 個以上 vCPU 的機器類型：

      • 所有 Hyperdisk 總共 512 TiB
      • 混合使用 Hyperdisk 和 Persistent Disk 時為 512 TiB
      • 所有永久磁碟的總大小為 257 TiB

如要瞭解容量限制的詳細資料，請參閱 Hyperdisk 大小和附加限制和永久磁碟最大容量。

後續步驟