网络带宽和 GPU

较高的网络带宽可以改善分布式工作负载的性能。 在 Compute Engine 上,网络带宽取决于机器类型和 CPU 数量。对于挂接了 GPU 的虚拟机实例,您的 GPU 数量、CPU 和内存的配置也会影响网络带宽。如需详细了解 GPU,请参阅 Compute Engine 上的 GPU

为了实现 50-100 Gbps 的速率,您的虚拟机必须使用 Google 虚拟 NIC (gVNIC)。 如需详细了解如何创建使用 gVNIC 的 GPU 虚拟机,请参阅创建使用更高带宽的虚拟机

在 Compute Engine 上,每个挂接的 GPU 的最大可用带宽如下:

  • 对于挂接 P100、P4 和 K80 GPU 的虚拟机,最大带宽为 32 Gbps。这与没有挂接 GPU 的虚拟机可用的最大速率类似。如需详细了解网络带宽,请参阅出站数据速率上限
  • 对于挂接 V100、T4 和 A100 GPU 的虚拟机,您现在可以根据 GPU 数量最多获得 50 或 100 Gbps 的最大带宽。如需创建具有 V100、T4 和 A100 GPU 且速度高达 100 Gbps 的虚拟机实例,请参阅使用高达 100 Gbps 的网络带宽

虚拟机配置

如需测试或验证任何配置的带宽速度,您可以使用基准测试。如需了解详情,请参阅检查网络带宽

下表总结了 T4 和 V100 GPU 类型的不同建议虚拟机配置的最大可用网络带宽,以及 A100 GPU 类型的固定虚拟机配置的最大可用网络带宽。

V100 虚拟机配置

GPU 数量 vCPU 数量 内存 网络带宽
1 12 78 GB 24 Gbps
2 24 156 GB 32 Gbps
4 48 312 GB 50 Gbps
8 96 624 GB 100 Gbps

T4 虚拟机配置

GPU 数量 vCPU 数量 内存 网络带宽
1 24 156 GB 32 Gbps
2 48 312 GB 50 Gbps
4 96 624 GB 100 Gbps

A100 虚拟机配置

机器类型(GPU 数量) vCPU 数量 内存 网络带宽
a2-highgpu-1g (1) 12 85 GB 24 Gbps
a2-highgpu-2g (2) 24 170 GB 32 Gbps
a2-highgpu-4g (4) 48 340 GB 50 Gbps
a2-highgpu-8g (8) 96 680 GB 100 Gbps
a2-megagpu-16 (16) 96 1360 GB 100 Gbps

后续步骤