较高的网络带宽可以改善在 Compute Engine 虚拟机实例上运行的分布式工作负载的性能。
概览
在 Compute Engine 上挂接 GPU 的虚拟机可用的最大网络带宽如下所示:
- 对于挂接了 P100 和 P4 GPU 的 N1 通用虚拟机,可用的最大网络带宽为 32 Gbps。这与没有挂接 GPU 的 N1 虚拟机可用的最大速率类似。如需详细了解网络带宽,请参阅出站数据速率上限。
- 对于挂接了 T4 和 V100 GPU 的 N1 通用虚拟机,您可以获得高达 100 Gbps 的最大网络带宽,具体取决于 GPU 和 vCPU 的数量组合。
- 对于 A2 和 G2 加速器优化虚拟机,您可以获得高达 100 Gbps 的最大网络带宽,具体取决于机器类型。
- 对于 A3 加速器优化虚拟机,您可以获得高达 1,000 Gbps (1 Tbps) 的最大带宽。
网络带宽和 Google 虚拟 NIC (gVNIC)
如需为 GPU 虚拟机获得更高的网络带宽速度(50 Gbps 或更高),建议您使用 Google 虚拟 NIC (gVNIC)。如需详细了解如何创建使用 gVNIC 的 GPU 虚拟机,请参阅创建使用更高带宽的 GPU 虚拟机。
加速器优化型虚拟机
本部分概述了 A3、A2 和 G2 加速器优化虚拟机可用的最大网络带宽。
A3 虚拟机
每种 A3 机器类型都挂接了固定数量的 NVIDIA H100 80GB GPU。每种机器类型还具有固定的 vCPU 数量和内存大小。
每个a3-highgpu-8g
虚拟机都有五个物理网络接口卡 (NIC),其中四个共享相同的外设组件互连快速 (PCIe) 总线,并且具有非统一内存访问 (NUMA) 集 NIC(每两个 NVIDIA H100 80GB GPU)。这四个物理 NIC 非常适合专用高带宽 GPU 到 GPU 通信。另一个物理 NIC 位于单独的 PCIe 总线上,非常适合其他网络需求。每个 NIC 的最大带宽为 200 Gbps,因此每个虚拟机的最大带宽为 1000 Gbps (1 Tbps)。
机器类型 | GPU 数量 | vCPU 数量 | 内存 | 最大网络带宽 |
---|---|---|---|---|
a3-highgpu-8g |
8 | 208 | 1872 GB | 1,000 Gbps |
A2 虚拟机
每种 A2 机器类型都挂接了固定数量的 NVIDIA A100 40GB 或 NVIDIA A100 80 GB GPU。每种机器类型还具有固定的 vCPU 数量和内存大小。
A100 40GB
机器类型 | GPU 数量 | vCPU 数量 | 内存 | 最大网络带宽 |
---|---|---|---|---|
a2-highgpu-1g |
1 | 12 | 85 GB | 24 Gbps |
a2-highgpu-2g |
2 | 24 | 170 GB | 32 Gbps |
a2-highgpu-4g |
4 | 48 | 340 GB | 50 Gbps |
a2-highgpu-8g |
8 | 96 | 680 GB | 100 Gbps |
a2-highgpu-16g |
16 | 96 | 1360 GB | 100 Gbps |
A100 80GB
机器类型 | GPU 数量 | vCPU 数量 | 内存 | 最大网络带宽 |
---|---|---|---|---|
a2-ultragpu-1g |
1 | 12 | 170 GB | 24 Gbps |
a2-ultragpu-2g |
2 | 24 | 340 GB | 32 Gbps |
a2-ultragpu-4g |
4 | 48 | 680 GB | 50 Gbps |
a2-ultragpu-8g |
8 | 96 | 1360 GB | 100 Gbps |
G2 虚拟机配置
每种 G2 机器类型都挂接了固定数量的 NVIDIA L4 GPU 和 vCPU。每种 G2 机器类型还具有默认内存和自定义内存范围。自定义内存范围定义了您可以为每种机器类型分配的虚拟机内存量。您可以在虚拟机创建期间指定自定义内存。
机器类型 | GPU 数量 | vCPU 数量 | 默认内存 | 自定义内存范围 | 最大网络带宽 |
---|---|---|---|---|---|
g2-standard-4 |
1 | 4 个 vCPU | 16 GB | 16 - 32 GB | 10 Gbps |
g2-standard-8 |
1 | 8 个 vCPU | 32 GB | 32 - 54 GB | 16 Gbps |
g2-standard-12 |
1 | 12 个 vCPU | 48 GB | 48 - 54 GB | 16 Gbps |
g2-standard-16 |
1 | 16 个 vCPU | 64 GB | 54 - 64 GB | 32 Gbps |
g2-standard-24 |
2 | 24 个 vCPU | 96 GB | 96 - 108 GB | 32 Gbps |
g2-standard-32 |
1 | 32 个 vCPU | 128 GB | 96 - 128 GB | 32 Gbps |
g2-standard-48 |
4 | 48 个 vCPU | 192 GB | 192 - 216 GB | 50 Gbps |
g2-standard-96 |
8 | 96 个 vCPU | 384 GB | 384 - 432 GB | 100 Gbps |
N1 GPU 虚拟机
对于挂接了 T4 和 V100 GPU 的 N1 通用虚拟机,您可以获得高达 100 Gbps 的最大网络带宽,具体取决于 GPU 和 vCPU 的数量组合。如需了解所有其他 N1 GPU 虚拟机,请参阅概览。
请参阅以下部分,根据 GPU 型号、vCPU 和 GPU 数量计算可用于 T4 和 V100 虚拟机的最大网络带宽。
少于 5 个 vCPU
对于具有 5 个或更少 vCPU 的 T4 和 V100 虚拟机,最大网络带宽为 10 Gbps。
超过 5 个 vCPU
对于具有超过 5 个 vCPU 的 T4 和 V100 虚拟机,最大网络带宽根据该虚拟机的 vCPU 和 GPU 数量计算得出。
GPU 模型 | GPU 数量 | 最大网络带宽计算 |
---|---|---|
NVIDIA V100 | 1 | min(vcpu_count * 2, 32) |
2 | min(vcpu_count * 2, 32) |
|
4 | min(vcpu_count * 2, 50) |
|
8 | min(vcpu_count * 2, 100) |
|
NVIDIA T4 | 1 | min(vcpu_count * 2, 32) |
2 | min(vcpu_count * 2, 50) |
|
4 | min(vcpu_count * 2, 100) |
创建高带宽虚拟机
如需创建使用更高网络带宽的虚拟机,请参阅使用更高的网络带宽。
如需测试或验证任何配置的带宽速度,您可以使用基准化分析测试。如需了解详情,请参阅检查网络带宽。
后续步骤
- 详细了解 GPU 平台。
- 了解如何创建挂接 GPU 的虚拟机。
- 了解如何使用更高的网络带宽。
- 了解 GPU 价格。