网络带宽和 GPU

较高的网络带宽可以改善在 Compute Engine 虚拟机实例上运行的分布式工作负载的性能。

概览

在 Compute Engine 上挂接 GPU 的虚拟机可用的最大网络带宽如下所示：

  • 对于 A3 加速器优化型虚拟机，您可以获得高达 1,800 Gbps 的网络带宽上限
  • 对于 A2 和 G2 加速器优化虚拟机，您可以获得高达 100 Gbps 的最大网络带宽，具体取决于机器类型。
  • 对于挂接了 P100 和 P4 GPU 的 N1 通用虚拟机，可用的最大网络带宽为 32 Gbps。这与没有挂接 GPU 的 N1 虚拟机可用的最大速率类似。如需详细了解网络带宽，请参阅出站数据速率上限。
  • 对于挂接了 T4 和 V100 GPU 的 N1 通用虚拟机，您可以获得高达 100 Gbps 的最大网络带宽，具体取决于 GPU 和 vCPU 的数量组合。

网络带宽和 Google 虚拟 NIC (gVNIC)

如需为 GPU 虚拟机获得更高的网络带宽速度（50 Gbps 或更高），建议您使用 Google 虚拟 NIC (gVNIC)。如需详细了解如何创建使用 gVNIC 的 GPU 虚拟机，请参阅创建使用更高带宽的 GPU 虚拟机。

加速器优化型虚拟机

本部分概述了 A3、A2 和 G2 加速器优化虚拟机可用的最大网络带宽。

A3 虚拟机

每种 A3 机器类型都挂接了固定数量的 NVIDIA H100 80GB GPU、固定的 vCPU 数量和固定的虚拟机内存大小。

A3 虚拟机还挂接了多个物理网络接口卡 (NIC)。每个 NIC 的最大带宽为 200 Gbps。对于每种 A3 机器类型，NIC 在外围设备组件互连高速 (PCIe) 总线上的排列方式如下：
  • 对于 A3 High 机器类型：可使用 4+1 NIC 配置。在这种安排中，4 个网卡共享同一个 PCIe 总线，而 1 个网卡位于单独的 PCIe 总线上。
  • 对于 A3 Mega 机器类型：可使用 8+1 的 NIC 配置。采用这种配置时，8 个网卡共享同一个 PCIe 总线，1 个网卡位于单独的 PCIe 总线上。

共享相同 PCIe 总线的 NIC 具有非统一内存访问 (NUMA) 模式，即每两个 NVIDIA H100 80GB GPU 一个 NIC。这些 NIC 非常适合专用高带宽 GPU 到 GPU 通信。位于单独 PCIe 总线上的物理 NIC 非常适合其他网络需求。

A3 High

机器类型 GPU 数量 GPU 内存*
(GB HBM3)		 vCPU 数量† 虚拟机内存 (GB) 已挂接的本地 SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps)‡
a3-highgpu-8g 8 640 208 1,872 6000 5 1000

A3 Mega

机器类型 GPU 数量 GPU 内存*
(GB HBM3)		 vCPU 数量† 虚拟机内存 (GB) 已挂接的本地 SSD (GiB) 物理 NIC 数量 最大网络带宽 (Gbps)‡
a3-megagpu-8g 8 640 208 1,872 6000 9 1800

*GPU 内存是 GPU 设备上提供的内存，可用于临时存储数据。它与虚拟机的内存分开，专门用于处理图形密集型工作负载的更高带宽需求。
† 每个 vCPU 是在其中一个可用的 CPU 平台上以单个硬件超线程的形式实现的。
‡出站带宽上限不能超过给定的数量。实际的出站带宽取决于目的地 IP 地址和其他因素。请参阅网络带宽。

A2 虚拟机

每种 A2 机器类型都挂接了固定数量的 NVIDIA A100 40GB 或 NVIDIA A100 80 GB GPU。每种机器类型还具有固定的 vCPU 数量和内存大小。

A2 机器系列有两种类型：

  • A2 标准：这些机器类型挂接了 A100 40GB GPU
  • A2 Ultra：这些机器类型挂接了 A100 80GB GPU 和本地 SSD 磁盘。

A2 标准

机器类型 GPU 数量 vCPU 数量 虚拟机内存 (GB) 最大网络带宽 (Gbps)
a2-highgpu-1g 1 12 85 24
a2-highgpu-2g 2 24 170 32
a2-highgpu-4g 4 48 340 50
a2-highgpu-8g 8 96 680 100
a2-highgpu-16g 16 96 1,360 100

A2 Ultra

机器类型 GPU 数量 vCPU 数量 虚拟机内存 (GB) 最大网络带宽 (Gbps)
a2-ultragpu-1g 1 12 170 24
a2-ultragpu-2g 2 24 340 32
a2-ultragpu-4g 4 48 680 50
a2-ultragpu-8g 8 96 1,360 100

G2 虚拟机配置

每种 G2 机器类型都挂接了固定数量的 NVIDIA L4 GPU 和 vCPU。每种 G2 机器类型还具有默认内存和自定义内存范围。自定义内存范围定义了您可以为每种机器类型分配的虚拟机内存量。您可以在虚拟机创建期间指定自定义内存。

机器类型 GPU 数量 vCPU 数量 默认虚拟机内存 (GB) 自定义虚拟机内存范围 (GB) 最大网络带宽 (Gbps)
g2-standard-4 1 4 16 16 - 32 10
g2-standard-8 1 8 32 32 - 54 16
g2-standard-12 1 12 48 48 - 54 16
g2-standard-16 1 16 64 54 - 64 32
g2-standard-24 2 24 96 96 - 108 32
g2-standard-32 1 32 128 96 - 128 32
g2-standard-48 4 48 192 192 - 216 50
g2-standard-96 8 96 384 384 - 432 100

N1 GPU 虚拟机

对于挂接了 T4 和 V100 GPU 的 N1 通用虚拟机，您可以获得高达 100 Gbps 的最大网络带宽，具体取决于 GPU 和 vCPU 的数量组合。如需了解所有其他 N1 GPU 虚拟机，请参阅概览。

请参阅以下部分，根据 GPU 型号、vCPU 和 GPU 数量计算可用于 T4 和 V100 虚拟机的最大网络带宽。

少于 5 个 vCPU

对于具有 5 个或更少 vCPU 的 T4 和 V100 虚拟机，最大网络带宽为 10 Gbps。

超过 5 个 vCPU

对于具有超过 5 个 vCPU 的 T4 和 V100 虚拟机，最大网络带宽根据该虚拟机的 vCPU 和 GPU 数量计算得出。

GPU 模型 GPU 数量 最大网络带宽计算
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

创建高带宽虚拟机

如需创建使用更高网络带宽的虚拟机，请参阅使用更高的网络带宽。

如需测试或验证任何配置的带宽速度，您可以使用基准化分析测试。如需了解详情，请参阅检查网络带宽。

后续步骤