GPU 플랫폼


Compute Engine은 가상 머신(VM) 인스턴스에 추가할 수 있는 그래픽 처리 장치(GPU)를 제공합니다. 이 GPU를 사용하여 VM에서 머신러닝 및 데이터 처리와 같은 특정 워크로드를 가속화할 수 있습니다.

Compute Engine은 패스 스루 모드의 VM에 NVIDIA GPU를 제공하여 VM이 GPU 및 관련 메모리를 직접 제어할 수 있도록 합니다.

3D 시각화, 3D 렌더링 또는 가상 애플리케이션과 같이 그래픽 집약적인 워크로드가 있는 경우 NVIDIA RTX 가상 워크스테이션(이전의 NVIDIA GRID)을 사용할 수 있습니다.

이 문서에서는 Compute Engine에서 사용할 수 있는 다양한 GPU 모델을 간략하게 설명합니다.

Compute Engine에서 GPU의 사용 가능한 리전 및 영역을 보려면 GPU 리전 및 영역 가용성을 참조하세요.

컴퓨팅 워크로드용 NVIDIA GPU

컴퓨팅 워크로드용 GPU 모델은 다음과 같은 버전으로 제공됩니다.

  • NVIDIA H100 80GB: nvidia-h100-80gb: 정식 버전
  • NVIDIA L4: nvidia-l4: 정식 버전
  • NVIDIA A100
    • NVIDIA A100 40GB: nvidia-tesla-a100: 정식 버전
    • NVIDIA A100 80GB: nvidia-a100-80gb: 정식 버전
  • NVIDIA T4: nvidia-tesla-t4: 일반 안정화 버전
  • NVIDIA V100: nvidia-tesla-v100: 일반 안정화 버전
  • NVIDIA P100: nvidia-tesla-p100: 일반 안정화 버전
  • NVIDIA P4: nvidia-tesla-p4: 일반 안정화 버전
  • NVIDIA K80: nvidia-tesla-k80: 정식 버전. NVIDIA K80 지원 종료를 참조하세요.

NVIDIA H100 GPU

NVIDIA H100 80GB GPU를 실행하려면 A3 가속기 최적화 머신 유형을 사용해야 합니다.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA H100 a3-highgpu-8g GPU 8개 HBM3 64GB vCPU 208개 1872GB 번들(6000GB)

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA L4 GPU

NVIDIA L4 GPU를 실행하려면 G2 가속기 최적화 머신 유형을 사용해야 합니다.

각 G2 머신 유형에는 고정된 개수의 NVIDIA L4 GPU 및 vCPU가 연결되어 있습니다. 각 G2 머신 유형에는 기본 메모리와 커스텀 메모리 범위도 있습니다. 커스텀 메모리 범위는 각 머신 유형에 대해 VM에 할당할 수 있는 메모리 양을 정의합니다. VM을 만드는 동안 커스텀 메모리를 지정할 수 있습니다.

GPU 모델 머신 유형 GPU GPU 메모리* vCPU 기본 메모리 커스텀 메모리 범위 지원되는 최대 로컬 SSD
NVIDIA L4 g2-standard-4 GPU 1개 GDDR6 24GB vCPU 4개 16GB 16 - 32GB 375GB
g2-standard-8 GPU 1개 GDDR6 24GB vCPU 8개 32GB 32 - 54GB 375GB
g2-standard-12 GPU 1개 GDDR6 24GB vCPU 12개 48GB 48 - 54GB 375GB
g2-standard-16 GPU 1개 GDDR6 24GB vCPU 16개 64GB 54 - 64GB 375GB
g2-standard-24 GPU 2개 GDDR6 48GB vCPU 24개 96GB 96 - 108GB 750GB
g2-standard-32 GPU 1개 GDDR6 24GB vCPU 32개 128GB 96 - 128GB 375GB
g2-standard-48 GPU 4개 GDDR6 96GB vCPU 48개 192GB 192 - 216GB 1,500GB
g2-standard-96 GPU 8개 GDDR6 192GB vCPU 96개 384GB 384 - 432GB 3000GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA A100 GPU

NVIDIA A100 GPU를 실행하려면 A2 가속기 최적화 머신 유형을 사용해야 합니다.

각 A2 머신 유형에는 고정된 GPU 수, vCPU 수, 메모리 크기가 포함되어 있습니다.

A100 40GB

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA A100 40GB a2-highgpu-1g GPU 1개 HBM2 40GB vCPU 12개 85GB
a2-highgpu-2g GPU 2개 HBM2 80GB vCPU 24개 170GB
a2-highgpu-4g GPU 4개 HBM2 160GB vCPU 48개 340GB
a2-highgpu-8g GPU 8개 HBM2 320GB vCPU 96개 680GB
a2-megagpu-16g GPU 16개 HBM2 640GB vCPU 96개 1360GB

A100 80GB

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA A100 80GB a2-ultragpu-1g GPU 1개 80GB HBM2e vCPU 12개 170GB 번들(375GB)
a2-ultragpu-2g GPU 2개 160GB HBM2e vCPU 24개 340GB 번들(750GB)
a2-ultragpu-4g GPU 4개 320GB HBM2e vCPU 48개 680GB 번들(1.5TB)
a2-ultragpu-8g GPU 8개 640GB HBM2e vCPU 96개 1360GB 번들(3TB)

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA T4 GPU

GPU 수가 적은 VM은 최대 vCPU 수로 제한됩니다. 일반적으로 GPU 수가 많을수록 더 많은 vCPU와 높은 메모리 용량으로 인스턴스를 만들 수 있습니다.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA T4 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 GDDR6 16GB vCPU 1~48개 1~312GB
GPU 2개 GDDR6 32GB vCPU 1~48개 1~312GB
GPU 4개 GDDR6 64GB vCPU 1~96개 1GB~624GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA P4 GPU

P4 GPU의 경우 로컬 SSD가 일부 리전에서만 지원됩니다. GPU 리전 및 영역별 로컬 SSD 가용성을 참조하세요.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA P4 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 GDDR5 8GB vCPU 1~24개 1~156GB
GPU 2개 GDDR5 16GB vCPU 1~48개 1~312GB
GPU 4개 GDDR5 32GB vCPU 1~96개 1GB~624GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA V100 GPU

V100 GPU의 경우 로컬 SSD는 일부 리전에서만 지원됩니다. GPU 리전 및 영역별 로컬 SSD 가용성을 참조하세요.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA V100 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 HBM2 16GB vCPU 1~12개 1GB~78GB
GPU 2개 HBM2 32GB vCPU 1~24개 1~156GB
GPU 4개 HBM2 64GB vCPU 1~48개 1~312GB
GPU 8개 HBM2 128GB vCPU 1~96개 1GB~624GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA P100 GPU

일부 P100 GPU의 경우 일부 구성에 사용할 수 있는 최대 CPU와 메모리는 GPU 리소스가 실행되는 영역에 따라 다릅니다.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA P100 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 HBM2 16GB vCPU 1~16개 1~104GB
GPU 2개 HBM2 32GB vCPU 1~32개 1GB~208GB
GPU 4개 HBM2 64GB

vCPU 1~64개
(us-east1-c, europe-west1-d, europe-west1-b)

vCPU 1~96개
(모든 P100 영역)

1GB~208GB
(us-east1-c, europe-west1-d, europe-west1-b)

1GB~624GB
(모든 P100 영역)

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA K80 GPU

NVIDIA K80 보드에는 각각 2개의 GPU가 있습니다. K80 GPU의 가격은 보드가 아닌 GPU 기준으로 책정됩니다.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA K80 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 GDDR5 12GB vCPU 1~8개 1GB~52GB
GPU 2개 GDDR5 24GB vCPU 1~16개 1~104GB
GPU 4개 GDDR5 48GB vCPU 1~32개 1GB~208GB
GPU 8개 GDDR5 96GB vCPU 1~64개

1GB~416GB
(asia-east1-a 및 us-east1-d)

1GB~208GB
(모든 K80 영역)

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

그래픽 워크로드용 NVIDIA RTX 가상 워크스테이션(vWS)

3D 시각화와 같이 그래픽 집약적인 워크로드가 있는 경우 NVIDIA RTX 가상 워크스테이션(vWS)(이전의 NVIDIA GRID)을 사용하는 가상 워크스테이션을 만들 수 있습니다. 가상 워크스테이션을 만들면 NVIDIA RTX 가상 워크스테이션(vWS) 라이선스가 자동으로 VM에 추가됩니다.

가상 워크스테이션 가격 책정에 대한 자세한 내용은 GPU 가격 책정 페이지를 참조하세요.

그래픽 워크로드용 NVIDIA RTX 가상 워크스테이션(vWS) 모델은 다음 단계로 제공됩니다.

  • NVIDIA L4 Virtual Workstations: nvidia-l4-vws: 정식 버전
  • NVIDIA Tesla T4 Virtual Workstations: nvidia-tesla-t4-vws: 일반 안정화 버전
  • NVIDIA Tesla P100 Virtual Workstations: nvidia-tesla-p100-vws: 일반 안정화 버전
  • NVIDIA Tesla P4 Virtual Workstations: nvidia-tesla-p4-vws: 일반 안정화 버전

NVIDIA L4 vWS GPU

GPU 모델 머신 유형 GPU GPU 메모리 vCPU 기본 메모리 커스텀 메모리 범위 지원되는 최대 로컬 SSD
NVIDIA L4 가상 워크스테이션 g2-standard-4 GPU 1개 GDDR6 24GB vCPU 4개 16GB 16 - 32GB 375GB
g2-standard-8 GPU 1개 GDDR6 24GB vCPU 8개 32GB 32 - 54GB 375GB
g2-standard-12 GPU 1개 GDDR6 24GB vCPU 12개 48GB 48 - 54GB 375GB
g2-standard-16 GPU 1개 GDDR6 24GB vCPU 16개 64GB 54 - 64GB 375GB
g2-standard-24 GPU 2개 GDDR6 48GB vCPU 24개 96GB 96 - 108GB 750GB
g2-standard-32 GPU 1개 GDDR6 24GB vCPU 32개 128GB 96 - 128GB 375GB
g2-standard-48 GPU 4개 GDDR6 96GB vCPU 48개 192GB 192 - 216GB 1,500GB
g2-standard-96 GPU 8개 GDDR6 192GB vCPU 96개 384GB 384 - 432GB 3000GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA T4 vWS GPU

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA T4 가상 워크스테이션 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 GDDR6 16GB vCPU 1~48개 1~312GB
GPU 2개 GDDR6 32GB vCPU 1~48개 1~312GB
GPU 4개 GDDR6 64GB vCPU 1~96개 1GB~624GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA P4 vWS GPU

P4 GPU의 경우 로컬 SSD가 일부 리전에서만 지원됩니다. GPU 리전 및 영역별 로컬 SSD 가용성을 참조하세요.

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA P4 가상 워크스테이션 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 GDDR5 8GB vCPU 1~16개 1~156GB
GPU 2개 GDDR5 16GB vCPU 1~48개 1~312GB
GPU 4개 GDDR5 32GB vCPU 1~96개 1GB~624GB

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

NVIDIA P100 vWS GPU

GPU 모델 머신 유형 GPU GPU 메모리* 사용 가능한 vCPU 사용 가능한 메모리 지원되는 로컬 SSD
NVIDIA P100 가상 워크스테이션 N1 공유 코어를 제외한 N1 머신 시리즈 GPU 1개 HBM2 16GB vCPU 1~16개 1~104GB
GPU 2개 HBM2 32GB vCPU 1~32개 1GB~208GB
GPU 4개 HBM2 64GB

vCPU 1~64개
(us-east1-c, europe-west1-d, europe-west1-b)

vCPU 1~96개
(모든 P100 영역)

1GB~208GB
(us-east1-c, europe-west1-d, europe-west1-b)

1GB~624GB
(모든 P100 영역)

*GPU 메모리는 데이터의 임시 스토리지에 사용할 수 있는 GPU 기기에서 사용할 수 있는 메모리입니다. VM의 메모리와는 별개이며 특히 그래픽 집약적인 워크로드의 더 높은 대역폭 수요를 처리하도록 설계되었습니다.

일반 비교 차트

다음 표에서는 GPU 메모리 크기, 기능 가용성, Compute Engine에서 사용할 수 있는 다양한 GPU 모델의 이상적인 워크로드 유형을 설명합니다.

GPU 모델 메모리 Interconnect NVIDIA RTX 가상 워크스테이션(vWS) 지원 최적의 용도
H100 80GB 80GB HBM3 @ 3.35TBps NVLink 풀 메시 @ 900GBps ML 학습, 추론, HPC, BERT, DLRM의 대규모 데이터 테이블이 있는 대규모 모델
A100 80GB 80GB HBM2e @ 1.9TBps NVLink 풀 메시 @ 600GBps ML 학습, 추론, HPC, BERT, DLRM의 대규모 데이터 테이블이 있는 대규모 모델
A100 40GB 40GB HBM2 @ 1.6TBps NVLink 풀 메시 @ 600GBps ML 학습, 추론, HPC
L4 24GB GDDR6 @ 300GBps 해당 사항 없음 ML 추론, 학습, 원격 시각화 워크스테이션, 동영상 트랜스코딩, HPC
T4 16GB GDDR6 @ 320GBps 해당 사항 없음 ML 추론, 학습, 원격 시각화 워크스테이션, 동영상 트랜스코딩
V100 16GB HBM2 @ 900GBps NVLink Ring @ 300GBps ML 학습, 추론, HPC
P4 8GB GDDR5 @ 192GBps 해당 사항 없음 원격 시각화 워크스테이션, ML 추론, 동영상 트랜스코딩
P100 16GB HBM2 @ 732GBps 해당 사항 없음 ML 학습, 추론, HPC, 원격 시각화 워크스테이션
K80EOL 12GB GDDR5 @ 240GBps 해당 사항 없음 ML 추론, 학습, HPC

Compute Engine에서 사용할 수 있는 여러 가지 GPU 모델과 리전의 GPU 가격을 비교하려면 GPU 가격 책정을 참조하세요.

성능 비교 차트

다음 표에서는 Compute Engine에서 사용할 수 있는 다양한 GPU 모델의 성능 사양을 설명합니다.

컴퓨팅 성능

GPU 모델 FP64 FP32 FP16 INT8
H100 80GB 34TFLOPS 67TFLOPS
A100 80GB 9.7TFLOPS 19.5TFLOPS
A100 40GB 9.7TFLOPS 19.5TFLOPS
L4 0.5TFLOPS* 30.3TFLOPS
T4 0.25TFLOPS* 8.1TFLOPS
V100 7.8TFLOPS 15.7TFLOPS
P4 0.2TFLOPS* 5.5TFLOPS 22TOPS
P100 4.7TFLOPS 9.3TFLOPS 18.7TFLOPS
K80EOL 1.46TFLOPS 4.37TFLOPS

*FP64 코드가 올바르게 작동하도록 T4 및 P4 GPU 아키텍처에 소수의 FP64 하드웨어 장치가 포함되어 있습니다.

TeraOperations per Second.

텐서 코어 성능

GPU 모델 FP64 TF32 혼합 정밀도 FP16/FP32 INT8 INT4 FP8
H100 80GB 67TFLOPS 989TFLOPS 1,979TFLOPS*, † 3,958TOPS 3,958TFLOPS
A100 80GB 19.5TFLOPS 156TFLOPS 312TFLOPS* 624TOPS 1248TOPS
A100 40GB 19.5TFLOPS 156TFLOPS 312TFLOPS* 624TOPS 1248TOPS
L4 120TFLOPS 242TFLOPS*, † 485TOPS 485TFLOPS
T4 65TFLOPS 130TOPS 260TOPS
V100 125TFLOPS
P4
P100
K80EOL

*혼합 정밀도 학습의 경우 NVIDIA H100, A100, L4 GPU도 bfloat16 데이터 유형을 지원합니다.

H100 및 L4 GPU의 경우 성능 값을 두 배로 늘릴 수 있는 구조 희소성이 지원됩니다. 표시된 값은 희소합니다. 사양은 희소성 없이 절반으로 줄어듭니다.

다음 단계