网络带宽和 GPU

较高的网络带宽可以改善在 Compute Engine 虚拟机实例上运行的分布式工作负载的性能。

概览

在 Compute Engine 上挂接 GPU 的虚拟机可用的最大网络带宽如下所示：

  • 对于挂接了 P100、P4 和 K80 GPU 的 N1 通用虚拟机，可用的最大网络带宽为 32 Gbps。这与没有挂接 GPU 的 N1 虚拟机可用的最大速率类似。如需详细了解网络带宽，请参阅出站数据速率上限。
  • 对于挂接了 T4 和 V100 GPU 的 N1 通用虚拟机，您可以获得高达 100 Gbps 的最大网络带宽，具体取决于 GPU 和 vCPU 的数量组合。
  • 对于 A2 和 G2 加速器优化虚拟机，您可以获得高达 100 Gbps 的最大网络带宽，具体取决于机器类型。
  • 对于 A3 加速器优化虚拟机，您可以获得高达 1,000 Gbps (1 Tbps) 的最大带宽。

网络带宽和 Google 虚拟 NIC (gVNIC)

如需为 GPU 虚拟机获得更高的网络带宽速度（50 Gbps 或更高），建议您使用 Google 虚拟 NIC (gVNIC)。如需详细了解如何创建使用 gVNIC 的 GPU 虚拟机，请参阅创建使用更高带宽的 GPU 虚拟机。

加速器优化型虚拟机

本部分概述了 A3、A2 和 G2 加速器优化虚拟机可用的最大网络带宽。

A3 虚拟机

每种 A3 机器类型都挂接了固定数量的 NVIDIA H100 80GB GPU。每种机器类型还具有固定的 vCPU 数量和内存大小。

每个 a3-highgpu-8g 虚拟机都有五个物理网络接口卡 (NIC)，其中四个共享相同的外设组件互连快速 (PCIe) 总线，并且具有非统一内存访问 (NUMA) 集 NIC（每两个 NVIDIA H100 80GB GPU）。这四个物理 NIC 非常适合专用高带宽 GPU 到 GPU 通信。另一个物理 NIC 位于单独的 PCIe 总线上，非常适合其他网络需求。每个 NIC 的最大带宽为 200 Gbps，因此每个虚拟机的最大带宽为 1000 Gbps (1 Tbps)。
机器类型 GPU 数量 vCPU 数量 内存 最大网络带宽
a3-highgpu-8g 8 208 1872 GB 1,000 Gbps

A2 虚拟机

每种 A2 机器类型都挂接了固定数量的 NVIDIA A100 40GB 或 NVIDIA A100 80 GB GPU。每种机器类型还具有固定的 vCPU 数量和内存大小。

A100 40GB

机器类型 GPU 数量 vCPU 数量 内存 最大网络带宽
a2-highgpu-1g 1 12 85 GB 24 Gbps
a2-highgpu-2g 2 24 170 GB 32 Gbps
a2-highgpu-4g 4 48 340 GB 50 Gbps
a2-highgpu-8g 8 96 680 GB 100 Gbps
a2-highgpu-16g 16 96 1360 GB 100 Gbps

A100 80GB

机器类型 GPU 数量 vCPU 数量 内存 最大网络带宽
a2-ultragpu-1g 1 12 170 GB 24 Gbps
a2-ultragpu-2g 2 24 340 GB 32 Gbps
a2-ultragpu-4g 4 48 680 GB 50 Gbps
a2-ultragpu-8g 8 96 1360 GB 100 Gbps

G2 虚拟机配置

每种 G2 机器类型都挂接了固定数量的 NVIDIA L4 GPU 和 vCPU。每种 G2 机器类型还具有默认内存和自定义内存范围。自定义内存范围定义了您可以为每种机器类型分配的虚拟机内存量。您可以在虚拟机创建期间指定自定义内存。

机器类型 GPU 数量 vCPU 数量 默认内存 自定义内存范围 最大网络带宽
g2-standard-4 1 4 个 vCPU 16 GB 16 - 32 GB 10 Gbps
g2-standard-8 1 8 个 vCPU 32 GB 32 - 54 GB 16 Gbps
g2-standard-12 1 12 个 vCPU 48 GB 48 - 54 GB 16 Gbps
g2-standard-16 1 16 个 vCPU 64 GB 54 - 64 GB 32 Gbps
g2-standard-24 2 24 个 vCPU 96 GB 96 - 108 GB 32 Gbps
g2-standard-32 1 32 个 vCPU 128 GB 96 - 128 GB 32 Gbps
g2-standard-48 4 48 个 vCPU 192 GB 192 - 216 GB 50 Gbps
g2-standard-96 8 96 个 vCPU 384 GB 384 - 432 GB 100 Gbps

N1 GPU 虚拟机

对于挂接了 T4 和 V100 GPU 的 N1 通用虚拟机，您可以获得高达 100 Gbps 的最大网络带宽，具体取决于 GPU 和 vCPU 的数量组合。如需了解所有其他 N1 GPU 虚拟机，请参阅概览。

请参阅以下部分，根据 GPU 型号、vCPU 和 GPU 数量计算可用于 T4 和 V100 虚拟机的最大网络带宽。

少于 5 个 vCPU

对于具有 5 个或更少 vCPU 的 T4 和 V100 虚拟机，最大网络带宽为 10 Gbps。

超过 5 个 vCPU

对于具有超过 5 个 vCPU 的 T4 和 V100 虚拟机，最大网络带宽根据该虚拟机的 vCPU 和 GPU 数量计算得出。

GPU 模型 GPU 数量 最大网络带宽计算
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

创建高带宽虚拟机

如需创建使用更高网络带宽的虚拟机，请参阅使用更高的网络带宽。

如需测试或验证任何配置的带宽速度，您可以使用基准化分析测试。如需了解详情，请参阅检查网络带宽。

后续步骤