네트워크 대역폭과 GPU

네트워크 대역폭이 높을수록 Compute Engine 가상 머신(VM) 인스턴스에서 실행되는 분산 워크로드의 성능을 향상시킬 수 있습니다.

개요

Compute Engine에서 GPU가 연결된 VM에 사용 가능한 최대 네트워크 대역폭은 다음과 같습니다.

  • A3 가속기 최적화 VM의 경우 최대 1,800Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • A2 및 G2 가속기 최적화 VM의 경우 머신 유형에 따라 최대 100Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • P100 및 P4 GPU가 연결된 N1 범용 VM의 경우 최대 32Gbps 네트워크 대역폭을 사용할 수 있습니다. 이는 GPU가 연결되지 않은 N1 VM에서 사용 가능한 최대 비율과 비슷합니다. 네트워크 대역폭에 대한 자세한 내용은 최대 이그레스 데이터 속도를 참조하세요.
  • T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다.

네트워크 대역폭 및 Google Virtual NIC(gVNIC)

GPU VM에 적용되는 더 높은 네트워크 대역폭 비율(50Gbps 이상)을 얻기 위해서는 Google Virtual NIC(gVNIC)를 사용하는 것이 좋습니다. gVNIC를 사용하는 GPU VM 만들기에 대한 자세한 내용은 더 높은 대역폭을 사용하는 GPU VM 만들기를 참조하세요.

가속기 최적화 VM

이 섹션에서는 A3, A2, G2 가속기 최적화 VM에 사용 가능한 최대 네트워크 대역폭에 대해 설명합니다.

A3 VM

각 A3 머신 유형에는 고정된 NVIDIA H100 80GB GPU, 고정된 vCPU 수, 고정된 VM 메모리 크기가 연결됩니다.

  • 단일 NIC A3 VM: GPU가 1~4개 연결된 A3 VM의 경우 단일 물리적 네트워크 인터페이스 카드 (NIC)만 사용할 수 있습니다.
  • 다중 NIC A3 VM: GPU 8개가 연결된 A3 VM의 경우 여러 개의 물리적 NIC를 사용할 수 있습니다. 이러한 A3 머신 유형의 경우 NIC는 PCIe (Peripheral Component Interconnect Express) 버스에서 다음과 같이 배열됩니다.
    • A3 Mega 머신 유형: 8+1의 NIC 배열을 사용할 수 있습니다. 이렇게 구성하면 8개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다.
    • A3 High 머신 유형: 4+1의 NIC 배열을 사용할 수 있습니다. 이렇게 구성하면 4개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다.
    • A3 Edge 머신 유형 머신 유형: 4+1의 NIC 배열을 사용할 수 있습니다. 이렇게 구성하면 4개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다. 이러한 5개의 NIC는 각 VM에 총 400Gbps의 네트워크 대역폭을 제공합니다.

    동일한 PCIe 버스를 공유하는 NIC는 NVIDIA H100 80GB GPU 2개당 NIC 1개의 비균일 메모리 액세스(NUMA) 정렬을 갖습니다. 이러한 NIC는 전용 고대역폭 GPU 간 통신에 적합합니다. 별도의 PCIe 버스에 있는 물리적 NIC는 다른 네트워킹 요구사항에 적합합니다.

A3 Mega

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡ 네트워크 프로토콜
a3-megagpu-8g 8 640 208 1,872 6,000 9 1,800 GPUDirect-TCPXO

A3 High

a3-highgpu-1g, a3-highgpu-2g 또는 a3-highgpu-4g 머신 유형을 프로비저닝할 때는 스팟 VM을 사용하거나 MIG의 크기 조절 요청과 같이 동적 워크로드 스케줄러 (DWS)를 사용하는 기능을 사용해야 합니다. 이러한 옵션에 관한 자세한 안내는 다음을 검토하세요.
머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡ 네트워크 프로토콜
a3-highgpu-1g 1 80 26 234 750 1 25 GPUDirect-TCPX
a3-highgpu-2g 2 160 52 468 1,500 1 50 GPUDirect-TCPX
a3-highgpu-4g 4 320 104 936 3,000 1 100 GPUDirect-TCPX
a3-highgpu-8g 8 640 208 1,872 6,000 5 1,000 GPUDirect-TCPX

A3 Edge

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡ 네트워크 프로토콜
a3-edgegpu-8g 8 640 208 1,872 6,000 5
  • 800: asia-south1 및 northamerica-northeast2
  • 400: 기타 모든 A3 Edge 리전
 GPUDirect-TCPX

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

A2 VM

각 A2 머신 유형에는 고정된 NVIDIA A100 40GB 또는 NVIDIA A100 80GB GPU가 연결됩니다. 각 머신 유형에는 또한 고정된 vCPU 개수 및 메모리 크기가 포함됩니다.

A2 머신 시리즈는 두 가지 유형으로 사용할 수 있습니다.

  • A2 울트라: 이 머신 유형에는 A100 80GB GPU 및 로컬 SSD 디스크가 연결됩니다.
  • A2 표준: 이 머신 유형에는 A100 40GB GPU가 연결됩니다.

A2 울트라

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1,500 50
a2-ultragpu-8g 8 640 96 1,360 3,000 100

A2 표준

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)‡
a2-highgpu-1g 1 40 12 85 예 24
a2-highgpu-2g 2 80 24 170 예 32
a2-highgpu-4g 4 160 48 340 예 50
a2-highgpu-8g 8 320 96 680 예 100
a2-megagpu-16g 16 640 96 1,360 예 100

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

G2 VM 구성

각 G2 머신 유형에는 고정된 개수의 NVIDIA L4 GPU 및 vCPU가 연결되어 있습니다. 각 G2 머신 유형에는 기본 메모리와 커스텀 메모리 범위도 있습니다. 커스텀 메모리 범위는 각 머신 유형의 VM에 할당할 수 있는 메모리 양을 정의합니다. VM을 생성하는 동안 커스텀 메모리를 지정할 수 있습니다.

머신 유형 GPU 수 GPU 메모리*(GB GDDR6) vCPU 수† 기본 VM 메모리(GB) 커스텀 VM 메모리 범위(GB) 지원되는 최대 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)‡
g2-standard-4 1 24 4 16 16~32 375 10
g2-standard-8 1 24 8 32 32~54 375 16
g2-standard-12 1 24 12 48 48~54 375 16
g2-standard-16 1 24 16 64 54~64 375 32
g2-standard-24 2 48 24 96 96~108 750 32
g2-standard-32 1 24 32 128 96~128 375 32
g2-standard-48 4 96 48 192 192~216 1,500 50
g2-standard-96 8 192 96 384 384~432 3,000 100

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

N1 GPU VM

T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다. 다른 모든 N1 GPU VM의 경우 개요를 참조하세요.

다음 섹션을 검토해서 GPU 모델, vCPU, GPU 수에 따라 T4 및 V100 VM에 사용 가능한 최대 네트워크 대역폭을 계산합니다.

vCPU 5개 이하

vCPU가 5개 이하인 T4 및 V100 VM의 경우 사용 가능한 최대 네트워크 대역폭은 10Gbps입니다.

vCPU 5개 초과

vCPU가 5개를 초과하는 T4 및 V100 VM의 경우 최대 네트워크 대역폭은 해당 VM의 vCPU 및 GPU 개수를 기준으로 계산됩니다.

GPU 모델 GPU 수 최대 네트워크 대역폭 계산
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

고대역폭 VM 만들기

더 높은 네트워크 대역폭을 사용하는 VM을 만들려면 더 높은 네트워크 대역폭 사용을 참고하세요.

특정 구성의 대역폭 속도를 테스트하거나 확인하려면 벤치마킹 테스트를 사용할 수 있습니다. 자세한 내용은 네트워크 대역폭 확인을 참조하세요.

다음 단계