네트워크 대역폭과 GPU

네트워크 대역폭이 높을수록 Compute Engine 가상 머신(VM) 인스턴스에서 실행되는 분산 워크로드의 성능을 향상시킬 수 있습니다.

개요

Compute Engine에서 GPU가 연결된 VM에 사용 가능한 최대 네트워크 대역폭은 다음과 같습니다.

  • A3 가속기 최적화 VM의 경우 최대 3,600Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • A2 및 G2 가속기 최적화 VM의 경우 머신 유형에 따라 최대 100Gbps까지 최대 네트워크 대역폭을 사용할 수 있습니다.
  • P100 및 P4 GPU가 연결된 N1 범용 VM의 경우 최대 32Gbps 네트워크 대역폭을 사용할 수 있습니다. 이는 GPU가 연결되지 않은 N1 VM에서 사용 가능한 최대 비율과 비슷합니다. 네트워크 대역폭에 대한 자세한 내용은 최대 이그레스 데이터 속도를 참조하세요.
  • T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다.

A3 VM

A3 가속기 최적화 머신 유형에는 NVIDIA H100 80GB 또는 NVIDIA H200 141GB GPU가 연결됩니다. 각 A3 머신 유형에는 고정된 GPU 수, vCPU 수, 메모리 크기가 포함되어 있습니다.

A3 울트라 머신 유형

이 머신 유형에는 H200 GPU가 연결되어 있으며 A3 시리즈에서 가장 높은 네트워크 성능을 제공합니다.

이 머신 유형은 NVIDIA ConnectX-7 (CX7) NIC 8개와 Google 가상 NIC (gVNIC) 2개를 포함하는 네트워크 인터페이스 카드 (NIC) 배열을 제공합니다. 8개의 CX7 NIC는 총 3200Gbps의 네트워크 대역폭을 제공하므로 고대역폭 GPU 간 통신에 적합합니다. 각 CX7 NIC는 비균일 메모리 액세스 (NUMA)를 최적화하기 위해 NVIDIA H200 141GB GPU 1개와 정렬됩니다. 두 개의 gVNIC는 다른 네트워킹 요구사항을 위해 추가로 400Gbps의 네트워크 대역폭을 제공합니다.

Linux VM에서 lspci -vvt 명령어를 사용하여 A3 머신 유형에 연결된 PCI(Peripheral Component Interconnect) 버스 및 기기에 관한 세부정보를 가져올 수 있습니다.

A3 Ultra VM의 네트워크 설정에 관한 자세한 내용은 AI 하이퍼컴퓨터 문서의 VPC 네트워크 만들기를 참고하세요.

머신 유형 GPU 수 GPU 메모리*
(GB HBM3e)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡
a3-ultragpu-8g 8 1128 224 2,952 12,000 10 3,600개

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

A3 Mega, High, Edge 머신 유형

이 머신 유형에는 H100 80GB GPU가 연결됩니다. 이러한 각 머신 유형에는 고정된 GPU 수, vCPU 수, 메모리 크기가 포함되어 있습니다.

  • 단일 NIC A3 VM: GPU가 1~4개 연결된 A3 VM의 경우 단일 물리적 네트워크 인터페이스 카드 (NIC)만 사용할 수 있습니다.
  • 다중 NIC A3 VM: GPU 8개가 연결된 A3 VM의 경우 여러 개의 물리적 NIC를 사용할 수 있습니다. 이러한 A3 머신 유형의 경우 NIC는 PCIe (Peripheral Component Interconnect Express) 버스에서 다음과 같이 배열됩니다.
    • A3 Mega 머신 유형: NIC 배열 8+1을 사용할 수 있습니다. 이렇게 구성하면 8개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다.
    • A3 High 머신 유형: NIC 배열 4+1을 사용할 수 있습니다. 이렇게 구성하면 4개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다.
    • A3 Edge 머신 유형 머신 유형: NIC 배열 4+1을 사용할 수 있습니다. 이렇게 구성하면 4개의 NIC가 동일한 PCIe 버스를 공유하며, 1개의 NIC가 별도의 PCIe 버스에 상주합니다. 이러한 5개의 NIC는 각 VM에 총 400Gbps의 네트워크 대역폭을 제공합니다.

    동일한 PCIe 버스를 공유하는 NIC는 NVIDIA H100 80GB GPU 2개당 NIC 1개의 비균일 메모리 액세스(NUMA) 정렬을 갖습니다. 이러한 NIC는 전용 고대역폭 GPU 간 통신에 적합합니다. 별도의 PCIe 버스에 있는 물리적 NIC는 다른 네트워킹 니즈에 적합합니다. A3 High 및 A3 Edge VM의 네트워킹을 설정하는 방법에 관한 안내는 점보 프레임 MTU 네트워크 설정을 참고하세요.

A3 Mega

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡
a3-megagpu-8g 8 640 208 1,872 6,000 9 1,800

A3 High

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1,500 1 50
a3-highgpu-4g 4 320 104 936 3,000 1 100
a3-highgpu-8g 8 640 208 1,872 6,000 5 1,000

A3 Edge

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 물리적 NIC 수 최대 네트워크 대역폭(Gbps)‡
a3-edgegpu-8g 8 640 208 1,872 6,000 5
  • 800: asia-south1 및 northamerica-northeast2
  • 400: 기타 모든 A3 Edge 리전

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

A2 VM

각 A2 머신 유형에는 고정된 NVIDIA A100 40GB 또는 NVIDIA A100 80GB GPU가 연결됩니다. 각 머신 유형에는 또한 고정된 vCPU 개수 및 메모리 크기가 포함됩니다.

A2 머신 시리즈는 두 가지 유형으로 사용할 수 있습니다.

  • A2 울트라: 이 머신 유형에는 A100 80GB GPU 및 로컬 SSD 디스크가 연결됩니다.
  • A2 표준: 이 머신 유형에는 A100 40GB GPU가 연결됩니다.

A2 울트라

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1,500 50
a2-ultragpu-8g 8 640 96 1,360 3,000 100

A2 표준

머신 유형 GPU 수 GPU 메모리*
(GB HBM3)		 vCPU 수† VM 메모리(GB) 연결된 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)‡
a2-highgpu-1g 1 40 12 85 예 24
a2-highgpu-2g 2 80 24 170 예 32
a2-highgpu-4g 4 160 48 340 예 50
a2-highgpu-8g 8 320 96 680 예 100
a2-megagpu-16g 16 640 96 1,360 예 100

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

G2 VM 구성

각 G2 머신 유형에는 고정된 개수의 NVIDIA L4 GPU 및 vCPU가 연결되어 있습니다. 각 G2 머신 유형에는 기본 메모리와 커스텀 메모리 범위도 있습니다. 커스텀 메모리 범위는 각 머신 유형의 VM에 할당할 수 있는 메모리 양을 정의합니다. VM을 생성하는 동안 커스텀 메모리를 지정할 수 있습니다.

대부분의 GPU VM에 적용되는 더 높은 네트워크 대역폭 비율 (50Gbps 이상)을 얻기 위해서는 Google Virtual NIC (gVNIC)를 사용하는 것이 좋습니다. gVNIC를 사용하는 GPU VM 만들기에 대한 자세한 내용은 더 높은 대역폭을 사용하는 GPU VM 만들기를 참조하세요.

머신 유형 GPU 수 GPU 메모리*(GB GDDR6) vCPU 수† 기본 VM 메모리(GB) 커스텀 VM 메모리 범위(GB) 지원되는 최대 로컬 SSD(GiB) 최대 네트워크 대역폭(Gbps)‡
g2-standard-4 1 24 4 16 16~32 375 10
g2-standard-8 1 24 8 32 32~54 375 16
g2-standard-12 1 24 12 48 48~54 375 16
g2-standard-16 1 24 16 64 54~64 375 32
g2-standard-24 2 48 24 96 96~108 750 32
g2-standard-32 1 24 32 128 96~128 375 32
g2-standard-48 4 96 48 192 192~216 1,500 50
g2-standard-96 8 192 96 384 384~432 3,000 100

*GPU 메모리는 데이터의 임시 저장에 사용할 수 있는 GPU 기기의 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.
†vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.

N1 GPU VM

T4 및 V100 GPU가 연결된 N1 범용 VM의 경우 GPU 및 vCPU 개수 조합에 따라 최대 100Gbps의 최대 네트워크 대역폭을 얻을 수 있습니다. 다른 모든 N1 GPU VM의 경우 개요를 참조하세요.

다음 섹션을 검토해서 GPU 모델, vCPU, GPU 수에 따라 T4 및 V100 VM에 사용 가능한 최대 네트워크 대역폭을 계산합니다.

vCPU 5개 이하

vCPU가 5개 이하인 T4 및 V100 VM의 경우 사용 가능한 최대 네트워크 대역폭은 10Gbps입니다.

vCPU 5개 초과

vCPU가 5개를 초과하는 T4 및 V100 VM의 경우 최대 네트워크 대역폭은 해당 VM의 vCPU 및 GPU 개수를 기준으로 계산됩니다.

대부분의 GPU VM에 적용되는 더 높은 네트워크 대역폭 비율 (50Gbps 이상)을 얻기 위해서는 Google Virtual NIC (gVNIC)를 사용하는 것이 좋습니다. gVNIC를 사용하는 GPU VM 만들기에 대한 자세한 내용은 더 높은 대역폭을 사용하는 GPU VM 만들기를 참조하세요.

GPU 모델 GPU 수 최대 네트워크 대역폭 계산
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

고대역폭 VM 만들기

더 높은 네트워크 대역폭을 사용하는 VM을 만들려면 더 높은 네트워크 대역폭 사용을 참고하세요.

특정 구성의 대역폭 속도를 테스트하거나 확인하려면 벤치마킹 테스트를 사용할 수 있습니다. 자세한 내용은 네트워크 대역폭 확인을 참조하세요.

다음 단계