네트워크 대역폭과 GPU

네트워크 대역폭이 높을수록 Compute Engine 가상 머신(VM) 인스턴스에서 실행되는 분산 워크로드의 성능을 향상시킬 수 있습니다.

개요

Compute Engine에서 GPU가 연결된 VM에 사용 가능한 최대 네트워크 대역폭은 다음과 같습니다.

  • P100, P4, K80 GPU가 연결된 N1 범용 VM의 경우 최대 32Gbps 네트워크 대역폭을 사용할 수 있습니다. 이는 GPU가 연결되지 않은 N1 VM에서 사용 가능한 최대 비율과 비슷합니다. 네트워크 대역폭에 대한 자세한 내용은 최대 이그레스 데이터 속도를 참조하세요.
  • T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다.
  • A2 및 G2 가속기 최적화 VM의 경우 머신 유형에 따라 최대 100Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • A3 가속기 최적화 VM의 경우 최대 1,000Gbps(1Tbps)까지 최대 네트워크 대역폭을 사용할 수 있습니다.

네트워크 대역폭 및 Google Virtual NIC(gVNIC)

GPU VM에 적용되는 더 높은 네트워크 대역폭 비율(50Gbps 이상)을 얻기 위해서는 Google Virtual NIC(gVNIC)를 사용하는 것이 좋습니다. gVNIC를 사용하는 GPU VM 만들기에 대한 자세한 내용은 더 높은 대역폭을 사용하는 GPU VM 만들기를 참조하세요.

가속기 최적화 VM

이 섹션에서는 A3, A2, G2 가속기 최적화 VM에 사용 가능한 최대 네트워크 대역폭에 대해 설명합니다.

A3 VM

각 A3 머신 유형에는 고정된 NVIDIA H100 80GB GPU가 연결됩니다. 각 머신 유형에는 또한 고정된 vCPU 개수 및 메모리 크기가 포함됩니다.

각 a3-highgpu-8g VM에는 5개의 물리적 네트워크 인터페이스 카드(NIC)가 있으며, 이 중 4개는 동일한 PCIe(Peripheral Component Interconnect Express) 버스를 공유하고 NVIDIA H100 80GB GPU 2개당 NIC 1개라는 균일하지 않은 메모리 액세스(NUMA) 정렬을 사용합니다. 이 4개의 물리적 NIC는 전용 고대역폭 GPU-GPU 통신에 적합합니다. 다른 물리적 NIC는 별도의 PCIe 버스에 상주하며, 다른 네트워킹 요구사항에 적합합니다. 각 NIC의 최대 대역폭은 200Gbps로서, VM당 최대 대역폭은 총 1,000Gbps(1Tbps)입니다.
머신 유형 GPU 수 vCPU 메모리 최대 네트워크 대역폭
a3-highgpu-8g 8 208 1,872GB 1,000Gbps

A2 VM

각 A2 머신 유형에는 고정된 NVIDIA A100 40GB 또는 NVIDIA A100 80GB GPU가 연결됩니다. 각 머신 유형에는 또한 고정된 vCPU 개수 및 메모리 크기가 포함됩니다.

A100 40GB

머신 유형 GPU 수 vCPU 메모리 최대 네트워크 대역폭
a2-highgpu-1g 1 12 85GB 24Gbps
a2-highgpu-2g 2 24 170GB 32Gbps
a2-highgpu-4g 4 48 340GB 50Gbps
a2-highgpu-8g 8 96 680GB 100Gbps
a2-highgpu-16g 16 96 1360GB 100Gbps

A100 80GB

머신 유형 GPU 수 vCPU 메모리 최대 네트워크 대역폭
a2-ultragpu-1g 1 12 170GB 24Gbps
a2-ultragpu-2g 2 24 340GB 32Gbps
a2-ultragpu-4g 4 48 680GB 50Gbps
a2-ultragpu-8g 8 96 1360GB 100Gbps

G2 VM 구성

각 G2 머신 유형에는 고정된 개수의 NVIDIA L4 GPU 및 vCPU가 연결되어 있습니다. 각 G2 머신 유형에는 기본 메모리와 커스텀 메모리 범위도 있습니다. 커스텀 메모리 범위는 각 머신 유형에 대해 VM에 할당할 수 있는 메모리 양을 정의합니다. VM을 만드는 동안 커스텀 메모리를 지정할 수 있습니다.

머신 유형 GPU 수 vCPU 기본 메모리 커스텀 메모리 범위 최대 네트워크 대역폭
g2-standard-4 1 vCPU 4개 16GB 16 - 32GB 10Gbps
g2-standard-8 1 vCPU 8개 32GB 32 - 54GB 16Gbps
g2-standard-12 1 vCPU 12개 48GB 48 - 54GB 16Gbps
g2-standard-16 1 vCPU 16개 64GB 54 - 64GB 32Gbps
g2-standard-24 2 vCPU 24개 96GB 96 - 108GB 32Gbps
g2-standard-32 1 vCPU 32개 128GB 96 - 128GB 32Gbps
g2-standard-48 4 vCPU 48개 192GB 192 - 216GB 50Gbps
g2-standard-96 8 vCPU 96개 384GB 384 - 432GB 100Gbps

N1 GPU VM

T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다. 다른 모든 N1 GPU VM의 경우 개요를 참조하세요.

다음 섹션을 검토해서 GPU 모델, vCPU, GPU 수에 따라 T4 및 V100 VM에 사용 가능한 최대 네트워크 대역폭을 계산합니다.

vCPU 5개 이하

vCPU가 5개 이하인 T4 및 V100 VM의 경우 사용 가능한 최대 네트워크 대역폭은 10Gbps입니다.

vCPU 5개 초과

vCPU가 5개를 초과하는 T4 및 V100 VM의 경우 최대 네트워크 대역폭은 해당 VM의 vCPU 및 GPU 개수를 기준으로 계산됩니다.

GPU 모델 GPU 수 최대 네트워크 대역폭 계산
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

고대역폭 VM 만들기

더 높은 네트워크 대역폭을 사용하는 VM을 만들려면 더 높은 네트워크 대역폭 사용을 참조하세요.

특정 구성의 대역폭 속도를 테스트하거나 확인하려면 벤치마킹 테스트를 사용할 수 있습니다. 자세한 내용은 네트워크 대역폭 확인을 참조하세요.

다음 단계