加速器优化机器家族


加速器优化机器【由 Google Cloud 设计,旨在为人工智能 (AI)、机器学习 (ML) 和高性能计算 (HPC) 等 GPU 加速工作负载提供所需的性能和效率。

加速器优化机器【适用于以下机器系列:A3、A2 和 G2。一系列中的每个机器类型都有一个特定模型和挂接的 NVIDIA GPU 数量。您还可以将一些 GPU 型号挂接到 N1 通用机器类型。

不同工作负载类型的机器系列建议

以下部分根据您的 GPU 工作负载提供了推荐的机器系列。

大型 AI 模型

工作负载类型 最适合的使用场景 很好的替代方案
多个(分布式)服务器训练 A3 A2
推断 A3、A2

如需预配用于运行大型模型和训练的集群,请参阅运行大型模型训练和微调

主流模型

工作负载类型 最适合的使用场景 很好的替代方案(按建议顺序)
多个(分布式)服务器训练 A3
  • A2
  • G2
  • N1+V100
单个服务器训练 A3、A2
  • G2
  • N1+V100
推断 G2
  • N1+T4
  • N1+V100

如需为运行主流模型预配集群,请参阅运行主流模型训练和微调

图形密集型工作负载

工作负载类型 最适合的使用场景(按建议的顺序)
视频串流和转码、远程虚拟工作站、数字孪生
  • G2
  • N1+T4

如需为图形密集型工作负载预配虚拟机,请查看这些选项

高性能计算

对于高性能计算工作负载,任何加速器优化型机器系列都适合。最合适的方案取决于必须卸载到 GPU 的计算量。

价格和折扣

所有加速器优化机器类型都支持以下折扣和用量选项:

加速器优化机器类型为挂接的 GPU、预定义 vCPU、内存和捆绑的本地 SSD(如果适用)付费。如需详细了解加速器优化虚拟机的价格信息,请参阅虚拟机实例价格页面上的加速器优化机器类型系列部分。

A3 机器系列

A3 机器系列配有 208 个 vCPU 和 1,872 GB 的内存。此机器系列针对计算和内存密集型、网络绑定机器学习训练和 HPC 工作负载进行了优化。

A3 机器系列还提供以下功能:

  • 新一代硬件:每种 A3 机器类型都挂接了 NVIDIA H100 SXM GPU,每个 GPU 提供 80GB GPU 内存,非常适合基于大型转换器的语言模型、数据库和 HPC。

    此机器系列基于第 4 代 Intel Xeon 可扩展处理器 (Sapphire Rapids) 构建而成,提供高达 3.3 GHz 的持续单核最大 Turbo 频率。

  • 行业领先的 NVLink 容量:NVIDIA H100 GPU 提供单向 450 GB/s 的峰值 GPU NVLink 带宽。得益于系统中的 8 个 GPU 之间采用全连接 NVLink 拓扑,聚合 NVLink 带宽可高达 7.2 TB/s。这些 GPU 可用作具有统一内存空间的单个高性能加速器,可提供高达 25 千万亿次浮点运算的 AI/DL/机器学习计算能力和高达 50 千万亿次浮点运算的推断计算能力。

  • 提高了计算速度和网络性能:与 NVIDIA A100 GPU 相比,NVIDIA H100 GPU 的计算速度提高了 2.5 倍。

    与上一代 A2 机器类型相比,a3-highgpu-8g 机器类型的网络带宽提高了 10 倍。与 a3-highgpu-8g 相比,a3-megagpu-8g 机器类型提供 2 倍的网络带宽;与 A2 机器类型相比,它提供 20 倍的网络带宽。

    A3 虚拟机还附加了多个物理网络接口卡 (NIC)。这些 NIC 的最大带宽均为 200 Gbps。对于每种 A3 机器类型,NIC 在外围设备组件互连高速 (PCIe) 总线上的排列方式如下:
    • 对于 A3 High 机器类型:可使用 4+1 NIC 配置。在这种安排中,4 个网卡共享同一个 PCIe 总线,而 1 个网卡位于单独的 PCIe 总线上。
    • 对于 A3 Mega 机器类型:可使用 8+1 的 NIC 配置。采用这种配置时,8 个网卡共享同一个 PCIe 总线,1 个网卡位于单独的 PCIe 总线上。

    共享相同 PCIe 总线的 NIC 具有非统一内存访问 (NUMA) 集合,即每两个 NVIDIA H100 80GB GPU 对应一个 NIC。这些 NIC 非常适合专用高带宽 GPU 到 GPU 通信。位于单独 PCIe 总线上的物理 NIC 非常适合其他网络需求。

  • 凭借 GPUDirect-TCPX 和 GPUDirect-TCPXO 提高了 GPU 集群性能

    • 对于 A3 High 机器类型,GPUDirect-TCPX 允许数据包载荷直接从 GPU 内存传输到网络接口,从而提高网络性能。与 A2 或 G2 加速器优化机器类型相比,通过利用 GPUDirect-TCPX,a3-highgpu-8g 机器类型在集群中的虚拟机之间实现了更高的吞吐量。

    • 对于 A3 Mega 机器类型,GPUDirect-TCPXO 通过将 TCP 协议处理卸载到 Diorite 架构的 ACC 核心,进一步改进了 GPUDirect-TCPX。与 a3-highgpu-8g 机器类型相比,通过利用 GPUDirect-TCPXO,a3-megagpu-8g 机器类型的网络带宽翻倍。

  • 虚拟化优化:A3 虚拟机的外设组件互连快速 (PCIe) 拓扑提供更准确的位置信息,工作负载可使用这些信息来优化数据传输。

    NVIDIA H100 GPU 还公开了函数级别重置 (FLR),用于从故障中安全恢复,并支持在某些情况下实现原子操作并发改进。

  • 存储空间:6,000 GiB 本地 SSD 会自动添加到使用任意 A3 机器类型创建的虚拟机中。本地 SSD 可用于快速 scratch 磁盘或用于将数据输送到 GPU 中,同时防止 I/O 瓶颈。

    对于需要更高存储性能的应用,您最多还可以为这些系列中的机器类型挂接 257 TiB 的永久性磁盘存储空间。

  • 紧凑布置政策支持:可让您更好地控制虚拟机在数据中心的物理位置。这样可以在单个可用区中为虚拟机放置提供低延迟和更高的带宽。紧凑布置政策在给定区域中的网络低延迟子集中支持多达 96 个虚拟机。

A3 机器系列提供以下机器类型。

A3 High 机器类型

机器类型 GPU 数量 GPU 内存*
(GB HBM3)
vCPU 数量 虚拟机内存 (GB) 已挂接的本地 SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps)
a3-highgpu-8g 8 640 208 1,872 6000 5 1000

*GPU 内存是 GPU 设备上提供的内存,可用于临时存储数据。它与虚拟机的内存分开,专门用于处理图形密集型工作负载的更高带宽需求。
每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
出站带宽上限不能超过给定的数量。实际的出站带宽取决于目的地 IP 地址和其他因素。请参阅网络带宽

A3 Mega 机器类型

机器类型 GPU 数量 GPU 内存*
(GB HBM3)
vCPU 数量 虚拟机内存 (GB) 已挂接的本地 SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps)
a3-megagpu-8g 8 640 208 1,872 6000 9 1800

*GPU 内存是 GPU 设备上提供的内存,可用于临时存储数据。它与虚拟机的内存分开,专门用于处理图形密集型工作负载的更高带宽需求。
每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
出站带宽上限不能超过给定的数量。实际的出站带宽取决于目的地 IP 地址和其他因素。请参阅网络带宽

A3 系列支持的磁盘类型

A3 虚拟机可以使用以下块存储类型:

  • 平衡永久性磁盘 (pd-balanced)
  • SSD(性能)永久性磁盘 (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本地 SSD:自动添加到使用 A3 机器类型创建的虚拟机

A3 High

每个虚拟机的磁盘数量上限*
机器类型 所有磁盘 Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已挂接的本地 SSD
a3-highgpu-8g 128 64 64 8 16

A3 Mega

每个虚拟机的磁盘数量上限*
机器类型 所有磁盘 Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme 已挂接的本地 SSD
a3-megagpu-8g 128 64 64 8 16

*Hyperdisk 和 Persistent Disk 用量与机器类型是分开计费的。 如需了解磁盘价格,请参阅永久性磁盘和 Hyperdisk 价格
此限制适用于 Persistent Disk 和 Hyperdisk,但不包括本地 SSD 磁盘。

磁盘和容量限制

您可以在虚拟机上混合使用 Persistent Disk 卷和 Hyperdisk 卷,但存在以下限制:

  • 每个虚拟机的 Hyperdisk 卷和 Persistent Disk 卷的总数不能超过 128 个。
  • 所有磁盘类型的磁盘总容量上限(以 TiB 为单位)不能超过以下值:

    • 对于 vCPU 数量少于 32 个的机器类型:

      • 对于所有 Hyperdisk 或所有 Persistent Disk 为 257 TiB
      • 对于 Hyperdisk 和 Persistent Disk 的混合使用为 257 TiB
    • 对于 vCPU 数量不低于 32 的机器类型:

      • 对于所有 Hyperdisk 为 512 TiB
      • 对于 Hyperdisk 和 Persistent Disk 的混合使用为 512 TiB
      • 对于所有 Persistent Disk 为 257 TiB

如需详细了解容量限制,请参阅每个虚拟机的 Hyperdisk 容量限制Persistent Disk 容量上限

A3 系列的限制

以下限制适用于使用 A3 High 和 A3 Mega 机器类型的虚拟机:

  • 使用 A3 机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
  • 只能在部分区域和可用区中使用 A3 机器类型。
  • 不能在使用 A3 机器类型的虚拟机上使用区域级永久性磁盘
  • A3 机器类型仅在 Sapphire Rapids 平台上提供。
  • 如果虚拟机使用 A3 机器类型,则不能更改机器类型。如果需要更改机器类型,必须创建新的虚拟机。
  • 不能将虚拟机的机器类型更改为 A3 机器类型。如果需要使用 A3 机器类型的虚拟机,必须创建新的虚拟机。
  • A3 机器类型不支持单租户。
  • 不能在 A3 机器类型上运行 Windows 操作系统。
  • 您只能通过特定预留来预留 A3 机器类型。

A2 机器系列

A2 机器系列提供 A2 标准机器类型和 A2 Ultra 机器类型。这些机器类型具有 12 到 96 个 vCPU 和高达 1,360 GB 的内存。

A2 机器系列还提供以下功能:

  • 已挂接 NVIDIA GPU:每个 A2 机器类型都有 NVIDIA A100 GPU。有 A100 40GB 和 A100 80GB 可供选择。

  • 行业领先的 NVLink 容量,最大 GPU 到 GPU NVLink 带宽为 600 GBps。例如,具有 16 个 GPU 的系统的总 NVLink 带宽可达 9.6 TBps。这 16 个 GPU 可用作具有统一内存空间的单个高性能加速器,可提供高达每秒 10 千万亿次浮点运算的计算能力和每秒 20 千万亿次浮点运算的推断计算能力,可用于人工智能、深度学习和机器学习工作负载。

  • 计算速度提升:与上一代 NVIDIA V100 GPU 相比,挂接的 NVIDIA A100 GPU 将计算速度提升了高达 10 倍。

    使用 A2 机器系列,您可以获得高达 100 Gbps 的网络带宽。

  • 存储:为了用于快速 scratch 磁盘或将数据输送到 GPU,同时防止 I/O 瓶颈,A2 机器类型支持本地 SSD,如下所示:

    • 对于 A2 标准机器类型,您可以添加高达 3,000 GiB 的本地 SSD。
    • 对于 A2 Ultra 机器类型,当您创建虚拟机时,本地 SSD 会自动挂接。

    对于需要此更高存储性能的应用,您还可以为 A2 虚拟机挂接多达 257 TiB 的永久性磁盘存储空间。

  • 紧凑布置政策支持:可让您更好地控制虚拟机在数据中心的物理位置。这样可以在单个可用区中为虚拟机放置提供低延迟和更高的带宽。如需了解详情,请参阅使用紧凑布置政策缩短延迟时间

A2 支持的磁盘类型

A2 虚拟机可以使用以下块存储类型:

  • Hyperdisk ML (hyperdisk-ml)
  • 平衡永久性磁盘 (pd-balanced)
  • SSD(性能)永久性磁盘 (pd-ssd)
  • 标准永久性磁盘 (pd-standard)
  • 本地 SSD:自动挂接到使用 A2 Ultra 机器类型创建的虚拟机。

您可以在虚拟机上混合使用 Persistent Disk 卷和 Hyperdisk 卷,但存在以下限制:

  • 每个虚拟机的 Hyperdisk 卷和 Persistent Disk 卷的总数不能超过 128 个。
  • 所有磁盘类型的磁盘总容量上限(以 TiB 为单位)不能超过以下值:

    • 对于 vCPU 数量少于 32 个的机器类型:

      • 对于所有 Hyperdisk 或所有 Persistent Disk 为 257 TiB
      • 对于 Hyperdisk 和 Persistent Disk 的混合使用为 257 TiB
    • 对于 vCPU 数量不低于 32 的机器类型:

      • 对于所有 Hyperdisk 为 512 TiB
      • 对于 Hyperdisk 和 Persistent Disk 的混合使用为 512 TiB
      • 对于所有 Persistent Disk 为 257 TiB

如需详细了解容量限制,请参阅每个虚拟机的 Hyperdisk 容量限制Persistent Disk 容量上限

A2 Ultra 机器类型

这些机器类型具有固定数量的 A100 80GB GPU。本地 SSD 会自动挂接到使用 A2 Ultra 机器类型创建的虚拟机。

机器类型 GPU 数量 vCPU 数量* 虚拟机内存 (GB) 永久性磁盘卷数量上限 每个虚拟机的 Hyperdisk ML 卷数量上限 已挂接的本地 SSD (GiB) 出站带宽上限 (Gbps)
a2-ultragpu-1g 1 12 170 128 32 375 24
a2-ultragpu-2g 2 24 340 128 48 750 32
a2-ultragpu-4g 4 48 680 128 64 1500 50
a2-ultragpu-8g 8 96 1360 128 64 3000 100

*每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
Hyperdisk 和 Persistent Disk 用量与机器类型是分开计费的。
出站带宽上限不能超过给定的数量。实际的出站带宽取决于目的地 IP 地址和其他因素。请参阅网络带宽
#对于 Hyperdisk Throughput,每个卷的大小上限为 32 TiB。对于所有其他 Persistent Disk 卷或 Hyperdisk 卷,大小上限为 64 TiB。

A2 Ultra 限制

  • 使用 A2 Ultra 机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
  • 只能在部分区域和可用区中使用 A2 Ultra 机器类型。
  • 不能在使用 A2 Ultra 机器类型的虚拟机上使用区域级永久性磁盘
  • A2 Ultra 机器类型仅在 Cascade Lake 平台上提供。
  • 如果虚拟机使用 A2 Ultra 机器类型,则不能更改机器类型。如果您需要使用其他 A2 Ultra 机器类型或任何其他机器类型,则必须创建新虚拟机。
  • 不能将任何其他机器类型更改为 A2 Ultra 机器类型。如果您需要使用 A2 Ultra 机器类型的虚拟机,则必须创建新虚拟机。
  • 不能在使用 A2 Ultra 机器类型的 Windows 虚拟机上快速格式化挂接的本地固态硬盘。如需设置这些本地 SSD 的格式,您必须使用 diskpart 实用程序并指定 format fs=ntfs label=tmpfs 设置,以进行完整格式化。

A2 标准机器类型

这些机器类型具有固定数量的 A100 40GB GPU

机器类型 GPU 数量 vCPU 数量* 虚拟机内存 (GB) 永久性磁盘卷数量上限 每个虚拟机的 Hyperdisk ML 卷数量上限 支持本地 SSD 出站带宽上限 (Gbps)
a2-highgpu-1g 1 12 85 128 32 24
a2-highgpu-2g 2 24 170 128 48 32
a2-highgpu-4g 4 48 340 128 64 50
a2-highgpu-8g 8 96 680 128 64 100
a2-megagpu-16g 16 96 1,360 128 64 100

*每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
Hyperdisk 和 Persistent Disk 用量与机器类型是分开计费的。
出站带宽上限不能超过给定的数量。实际的出站带宽取决于目的地 IP 地址和其他因素。请参阅网络带宽
#对于 Hyperdisk Throughput,每个卷的大小上限为 32 TiB。对于所有其他 Persistent Disk 卷或 Hyperdisk 卷,大小上限为 64 TiB。

A2 标准限制

  • 使用 A2 标准机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
  • 只能在某些区域和可用区中使用 A2 标准机器类型。
  • 不能在使用 A2 标准机器类型的虚拟机上使用区域级永久性磁盘
  • A2 标准机器类型仅在 Cascade Lake 平台上提供。
  • 如果您的虚拟机使用 A2 标准机器类型,您只能从一种 A2 标准机器类型切换到另一种 A2 标准机器类型。您无法切换到任何其他机器类型。如需了解详情,请参阅修改加速器优化虚拟机
  • 不能将 Windows 操作系统与 <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 标准机器类型搭配使用。 使用 Windows 操作系统时,请选择其他 A2 标准机器类型。</codea2-megagpu-16g<>
  • 不能在使用 A2 标准机器类型的 Windows 虚拟机上快速格式化挂接的本地 SSD。如需设置这些本地 SSD 的格式,您必须使用 diskpart 实用程序并指定 format fs=ntfs label=tmpfs 设置,以进行完整格式化。
  • A2 标准机器类型不支持单租户。

G2 机器系列

G2 机器系列提供标准机器类型,具有 4 到 96 个 vCPU 和高达 432 GB 的内存。此机器系列针对推断和图形工作负载进行了优化。

G2 机器系列还提供以下功能:

  • 已挂接 NVIDIA GPU:每种 G2 机器类型都有 NVIDIA L4 GPU

  • 提高了推断速率:G2 机器类型提供对 FP8(8 位浮点)数据类型的支持,可加快 ML 推断速率并降低内存需求。

  • 下一代图形性能:NVIDIA L4 GPU 使用第三代 RT 核心NVIDIA DLSS 3(深度学习超级采样)技术将图形性能提升到 3 倍。

  • 高性能网络带宽:使用 G2 机器系列,您可以获得高达 100 Gbps 的网络带宽。

  • 存储空间:您最多可以向 G2 虚拟机添加 3,000 GiB 的本地 SSD。可用于快速暂存磁盘或用于将数据输送到 GPU 中,同时防止 I/O 瓶颈。

    对于需要更多永久性存储空间的应用,您也可以将 Hyperdisk 和 Persistent Disk 卷挂接到 G2 虚拟机。最大存储容量取决于虚拟机具有的 vCPU 数量。如需了解详情,请参阅支持的磁盘类型

  • 紧凑布置政策支持:可让您更好地控制虚拟机在数据中心的物理位置。这样可以在单个可用区中为虚拟机放置提供低延迟和更高的带宽。如需了解详情,请参阅使用紧凑布置政策缩短延迟时间

G2 支持的磁盘类型

G2 虚拟机可以使用以下块存储类型:

  • 平衡永久性磁盘 (pd-balanced)
  • SSD(性能)永久性磁盘 (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • 本地 SSD

您可以在虚拟机上混合使用 Persistent Disk 卷和 Hyperdisk 卷,但存在以下限制:

  • 每个虚拟机的 Hyperdisk 卷和 Persistent Disk 卷的总数不能超过 128 个。
  • 所有磁盘类型的磁盘总容量上限(以 TiB 为单位)不能超过以下值:

    • 对于 vCPU 数量少于 32 个的机器类型:

      • 对于所有 Hyperdisk 或所有 Persistent Disk 为 257 TiB
      • 对于 Hyperdisk 和 Persistent Disk 的混合使用为 257 TiB
    • 对于 vCPU 数量不低于 32 的机器类型:

      • 对于所有 Hyperdisk 为 512 TiB
      • 对于 Hyperdisk 和 Persistent Disk 的混合使用为 512 TiB
      • 对于所有 Persistent Disk 为 257 TiB

如需详细了解容量限制,请参阅每个虚拟机的 Hyperdisk 容量限制Persistent Disk 容量上限

G2 机器类型

每种 G2 机器类型都挂接了固定数量的 NVIDIA L4 GPU 和 vCPU。每种 G2 机器类型还具有默认内存和自定义内存范围。自定义内存范围定义了您可以为每种机器类型分配的虚拟机内存量。您可以在虚拟机创建期间指定自定义内存。

机器类型 GPU 数量 vCPU 数量* 默认虚拟机内存 (GB) 自定义虚拟机内存范围 (GB) 每个虚拟机的
所有磁盘数上限#
每个虚拟机的
Hyperdisk 卷总数上限
支持的最大本地 SSD (GiB) 出站带宽上限 (Gbps)
g2-standard-4 1 4 16 16 - 32 128 24 375 10
g2-standard-8 1 8 32 32 - 54 128 32 375 16
g2-standard-12 1 12 48 48 - 54 128 32 375 16
g2-standard-16 1 16 64 54 - 64 128 48 375 32
g2-standard-24 2 24 96 96 - 108 128 64 750 32
g2-standard-32 1 32 128 96 - 128 128 64 375 32
g2-standard-48 4 48 192 192 - 216 128 64 1500 50
g2-standard-96 8 96 384 384 - 432 128 64 3000 100

*每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
Hyperdisk 和 Persistent Disk 用量与机器类型是分开计费的。
出站带宽上限不能超过给定的数量。实际的出站带宽取决于目的地 IP 地址和其他因素。请参阅网络带宽
#对于 Hyperdisk Throughput,每个卷的大小上限为 32 TiB。对于所有其他 Persistent Disk 卷或 Hyperdisk 卷,大小上限为 64 TiB。

G2 限制

  • 使用 G2 机器类型的虚拟机不会获得持续使用折扣和灵活承诺使用折扣。
  • 只能在某些区域和可用区中使用 G2 机器类型。
  • 不能在使用 G2 机器类型的虚拟机上使用区域级永久性磁盘
  • G2 机器类型仅在 Cascade Lake 平台上提供。
  • 使用 G2 标准机器类型的虚拟机不支持标准永久性磁盘 (pd-standard)。如需了解支持的磁盘类型,请参阅 G2 支持的磁盘类型
  • 不能在 G2 机器类型上创建多实例 GPU
  • 如果您需要更改 G2 虚拟机的机器类型,请查看修改加速器优化虚拟机
  • 不能将 Deep Learning VM Image 映像用作使用 G2 机器类型的虚拟机的启动磁盘。
  • Container-Optimized OS 的当前默认驱动程序不支持在 G2 机器类型上运行的 L4 GPU。Container-Optimized OS 也仅支持一组特定的驱动程序。如需在 G2 机器类型上使用 Container-Optimized OS,请查看以下说明:
    • 使用支持推荐的最低 NVIDIA 驱动程序版本 525.60.13 或更高版本的 Container-Optimized OS 版本。如需了解详情,请查看 Container-Optimized OS 版本说明
    • 安装驱动程序时,请指定适用于 L4 GPU 的最新可用版本。 例如 sudo cos-extensions install gpu -- -version=525.60.13
  • 在以下情况下,您必须使用 Google Cloud CLI 或 REST 创建 G2 虚拟机
    • 您想要指定自定义内存值。
    • 您想要自定义可见 CPU 核心数。

后续步骤