Compute Engine의 GPU

Compute Engine은 가상 머신 인스턴스에 추가할 수 있는 그래픽 처리 장치(GPU)를 제공합니다. 이 GPU를 사용하여 인스턴스에서 머신러닝 및 데이터 처리와 같은 특정 워크로드를 가속화할 수 있습니다.

3D 시각화, 3D 렌더링 또는 가상 애플리케이션과 같이 그래픽 집약적인 워크로드가 있는 경우 NVIDIA® GRID® 기술을 사용하는 가상 워크스테이션을 만들 수 있습니다. 그래픽 집약적인 애플리케이션에 적합한 GPU에 대한 자세한 내용은 그래픽 워크로드용 GPU를 참조하세요.

이 문서는 Compute Engine의 GPU 개요를 제공하며, GPU 작업에 대한 자세한 내용은 다음 리소스를 참조하세요.

소개

Compute Engine은 가상 머신 인스턴스가 GPU 및 관련 메모리를 직접 제어할 수 있도록 통과 연결 모드의 인스턴스에 NVIDIA® Tesla® GPU를 제공합니다.

컴퓨팅 워크로드용 GPU 모델은 다음과 같은 버전으로 제공됩니다.

  • NVIDIA® Tesla® T4: nvidia-tesla-t4: 일반 안정화 버전

  • NVIDIA® Tesla® V100: nvidia-tesla-v100: 일반 안정화 버전

  • NVIDIA® Tesla® P100: nvidia-tesla-p100: 일반 안정화 버전

  • NVIDIA® Tesla® P4: nvidia-tesla-p4: 일반 안정화 버전

  • NVIDIA® Tesla® K80: nvidia-tesla-k80: 일반 안정화 버전

그래픽 워크로드용 GPU 모델은 다음과 같은 버전으로 제공됩니다.

  • NVIDIA® Tesla® T4 Virtual Workstations: nvidia-tesla-t4-vws: 일반 안정화 버전
  • NVIDIA® Tesla® P100 Virtual Workstations: nvidia-tesla-p100-vws: 일반 안정화 버전
  • NVIDIA® Tesla® P4 Virtual Workstations: nvidia-tesla-p4-vws: 일반 안정화 버전

가상 워크스테이션용 GPU에 대한 자세한 내용은 그래픽 워크로드용 GPU를 참조하세요.

사전 정의된 머신 유형이나 커스텀 머신 유형의 인스턴스에만 GPU를 연결할 수 있습니다. 공유 코어 또는 메모리 최적화 머신 유형에서는 GPU가 지원되지 않습니다.

컴퓨팅 워크로드용 GPU

GPU 수가 적은 인스턴스는 최대 vCPU 수로 제한됩니다. 일반적으로 GPU 수가 많을수록 더 많은 vCPU와 높은 메모리 용량으로 인스턴스를 만들 수 있습니다.

GPU 모델 GPU GPU 메모리 사용 가능한 vCPU 사용 가능한 메모리 사용 가능한 영역
NVIDIA® Tesla® T4 GPU 1개 GDDR6 16GB vCPU 1 - 24개 1 - 156GB
  • asia-east1-a
  • asia-east1-c
  • asia-northeast1-a
  • asia-northeast1-c
  • asia-northeast3-b
  • asia-northeast3-c
  • asia-south1-a
  • asia-south1-b
  • asia-southeast1-b
  • asia-southeast1-c
  • australia-southeast1-a
  • europe-west2-a
  • europe-west2-b
  • europe-west3-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-central1-f
  • us-east1-c
  • us-east1-d
  • us-east4-b
  • us-west1-a
  • us-west1-b
GPU 2개 GDDR6 32GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR6 64GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P4 GPU 1개 GDDR5 8GB vCPU 1 - 24개 1 - 156GB
  • asia-southeast1-b
  • asia-southeast1-c
  • australia-southeast1-a
  • australia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • us-west2-b
  • us-west2-c
GPU 2개 GDDR5 16GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR5 32GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® V100 GPU 1개 HBM2 16GB vCPU 1 - 12개 1 - 78GB
  • asia-east1-c
  • europe-west4-a
  • europe-west4-b
  • europe-west4-c
  • us-east1-c
  • us-central1-a
  • us-central1-b
  • us-central1-c
  • us-central1-f
  • us-west1-a
  • us-west1-b
GPU 2개 HBM2 32GB vCPU 1 - 24개 1 - 156GB
GPU 4개 HBM2 64GB vCPU 1 - 48개 1 - 312GB
GPU 8개 HBM2 128GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P100 GPU 1개 HBM2 16GB vCPU 1 - 16개 1 - 104GB
  • asia-east1-a
  • asia-east1-c
  • australia-southeast1-c
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • us-west1-a
  • us-west1-b
  • europe-west1-b
  • europe-west1-d
  • europe-west4-a
GPU 2개 HBM2 32GB vCPU 1 - 32개 1 - 208GB
GPU 4개 HBM2 64GB

vCPU 1 - 64개
(us-east1-c, europe-west1-d, europe-west1-b)

vCPU 1 - 96개
(다른 모든 영역)

1 - 208GB
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 624GB
(다른 모든 영역)

NVIDIA® Tesla® K80 GPU 1개 GDDR5 12GB vCPU 1 - 8개 1 - 52GB
  • asia-east1-a
  • asia-east1-b
  • europe-west1-b
  • europe-west1-d
  • us-central1-a
  • us-central1-c
  • us-east1-c
  • us-east1-d
  • us-west1-b
GPU 2개 GDDR5 24GB vCPU 1 - 16개 1 - 104GB
GPU 4개 GDDR5 48GB vCPU 1 - 32개 1 - 208GB
GPU 8개 GDDR5 96GB vCPU 1 - 64개

1 - 416GB
(asia-east1-a 및 us-east1-d)

1 - 208GB
(다른 모든 영역)

참고:
  • 영역에 대한 자세한 내용은 리전 및 영역을 참조하세요.
  • NVIDIA® K80® 보드에는 각각 2개의 GPU가 들어 있습니다. K80 GPU의 가격은 보드가 아닌 GPU 기준으로 책정됩니다.

vCPU와 마찬가지로 GPU 기기에도 지속 사용 할인이 적용됩니다. GPU 기기의 시간별 및 월별 가격을 보려면 GPU 가격 책정 페이지를 읽어보세요.

멀티 GPU 워크로드의 경우 V100 GPU에는 GPU 간 통신을 위한 고속 NVLink™ 연결이 제공됩니다.

GPU를 서로 연결하거나 GPU를 CPU에 연결하는 방법에 대한 자세한 내용을 보려면 인스턴스에서 다음 명령어를 실행하세요.

nvidia-smi topo -m

NVLink 및 NVLink의 이점에 대한 자세한 내용은 NVIDIA 개발자 블로그를 참조하세요.

그래픽 워크로드용 NVIDIA® GRID® GPU

3D 시각화와 같이 그래픽 집약적인 워크로드가 있는 경우 NVIDIA GRID® 플랫폼을 사용하는 가상 워크스테이션을 만들 수 있습니다.

GRID에 대한 배경 정보는 GRID 개요를 참조하세요.

가상 워크스테이션용 GPU를 선택하면 NVIDIA GRID 라이선스가 인스턴스에 추가됩니다. 가상 워크스테이션에서 GPU를 지원하려면 GRID 드라이버가 설치되어 있어야 합니다.

가상 워크스테이션을 만든 후 Teradici® PCoIP 또는 VMware® Horizon View와 같은 원격 데스크톱 프로토콜을 사용하여 가상 워크스테이션에 연결할 수 있습니다.

GPU 모델 GPU GPU 메모리 사용 가능한 vCPU 사용 가능한 메모리 사용 가능한 영역
NVIDIA® Tesla® T4 Virtual Workstation GPU 1개 GDDR6 16GB vCPU 1 - 24개 1 - 156GB
  • asia-east1-a
  • asia-east1-c
  • asia-northeast1-a
  • asia-northeast1-c
  • asia-northeast3-b
  • asia-northeast3-c
  • asia-south1-a
  • asia-south1-b
  • asia-southeast1-b
  • asia-southeast1-c
  • australia-southeast1-a
  • europe-west2-a
  • europe-west2-b
  • europe-west3-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-central1-f
  • us-east1-c
  • us-east1-d
  • us-east4-b
  • us-west1-a
  • us-west1-b
GPU 2개 GDDR6 32GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR6 64GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P4 Virtual Workstation GPU 1개 GDDR5 8GB vCPU 1 - 16개 1 - 156GB
  • asia-southeast1-b
  • asia-southeast1-c
  • australia-southeast1-a
  • australia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • us-west2-c
  • us-west2-b
GPU 2개 GDDR5 16GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR5 32GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P100 Virtual Workstation GPU 1개 HBM2 16GB vCPU 1 - 16개 1 - 104GB
  • asia-east1-a
  • asia-east1-c
  • australia-southeast1-c
  • europe-west1-b
  • europe-west1-d
  • europe-west4-a
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • us-west1-b
GPU 2개 HBM2 32GB vCPU 1 - 32개 1 - 208GB
GPU 4개 HBM2 64GB

vCPU 1 - 64개
(us-east1-c, europe-west1-d, europe-west1-b)

vCPU 1 - 96개
(다른 모든 영역)

1 - 208GB
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 624GB
(다른 모든 영역)

네트워크 대역폭과 GPU

네트워크 대역폭이 높을수록 분산 워크로드의 성능을 높일 수 있습니다. Compute Engine에서 네트워크 대역폭은 머신 유형과 CPU 수에 따라 달라집니다. GPU가 연결된 VM 인스턴스의 경우 GPU 개수, CPU, 메모리 구성도 네트워크 대역폭에 영향을 줍니다. 또한 현재 베타 버전으로 제공되는 50-100Gbps 속도를 달성하려면 VM 인스턴스가 Compute Engine 가상 네트워크 인터페이스(gVNIC)를 사용해야 합니다.

Compute Engine에서 사용할 수 있는 최대 대역폭은 다음과 같습니다.

  • P100, P4, K80 GPU가 연결된 VM 인스턴스의 경우 32Gbps의 최대 대역폭을 사용할 수 있습니다. 이는 GPU가 연결되지 않은 VM 인스턴스에서 사용할 수 있는 최대 속도와 유사합니다. 네트워크 대역폭에 대한 자세한 내용은 최대 이그레스 데이터 속도를 참조하세요.
  • V100 및 T4 GPU가 연결된 VM 인스턴스의 경우 GPU 수에 따라 50 또는 100Gbps의 최대 대역폭을 사용할 수 있습니다. V100 및 T4 GPU가 있고 최대 100Gbps를 사용하는 VM 인스턴스를 만들려면 최대 100Gbps의 네트워크 대역폭 사용을 참조하세요.

대역폭 구성

다음 표에는 T4 및 V100 GPU 유형의 여러 VM 구성에 사용할 수 있는 네트워크 대역폭이 요약되어 있습니다.

네트워크 대역폭은 VM 인스턴스 구성에 따라 자동으로 적용됩니다. 예를 들어 V100 GPU 코어 1개, vCPU 12개, 메모리 78GB가 있는 VM 인스턴스의 최대 네트워크 대역폭은 24Gbps입니다.

V100 VM 인스턴스 구성 네트워크 대역폭
GPU 수
vCPU 메모리
1 12 78GB 24Gbps
2 24 156GB 32Gbps
4 48 312GB 50Gbps베타
8 96 624GB 100Gbps베타
T4 VM 인스턴스 구성 네트워크 대역폭
GPU 수
vCPU 메모리
1 24 156GB 32Gbps
2 48 312GB 50Gbps베타
4 96 624GB 100Gbps베타

선점형 인스턴스의 GPU

저렴한 GPU 선점형 가격으로 선점형 VM 인스턴스에 GPU를 추가할 수 있습니다. 선점형 인스턴스에 연결된 GPU는 일반 GPU처럼 작동하지만 인스턴스 수명 기간에만 지속됩니다. GPU가 있는 선점형 인스턴스는 모든 선점형 인스턴스와 같은 선점 절차를 따릅니다.

선점형 인스턴스에 GPU를 추가할 때는 일반 GPU 할당량을 사용합니다. 선점형 GPU에 대한 별도의 할당량이 필요하다면 별도의 선점형 GPU 할당량을 요청하세요.

유지보수 이벤트 중에 GPU가 있는 선점형 인스턴스가 기본적으로 선점되며 자동으로 재시작할 수 없습니다. 선점한 인스턴스를 다시 만들고 싶다면 관리형 인스턴스 그룹을 사용하세요. 관리형 인스턴스 그룹은 vCPU, 메모리, GPU 리소스가 있는 경우 인스턴스를 다시 생성합니다.

인스턴스를 선점하기 전에 경고를 표시하거나 유지보수 이벤트 후 인스턴스가 자동으로 재시작하도록 구성하고 싶다면 GPU가 있는 비선점형 인스턴스를 사용하세요. GPU가 있는 비선점형 인스턴스의 경우 Google에서는 선점 1시간 전에 사전 통보를 보냅니다.

Compute Engine은 실행이 시작된 후 1분 내에 선점된 인스턴스에 대해서는 GPU 비용을 청구하지 않습니다.

비선점형 인스턴스를 자동으로 재시작하는 방법은 인스턴스 업데이트 옵션을 참조하세요.

GPU가 연결된 선점형 인스턴스를 만드는 방법은 GPU가 있는 인스턴스 만들기를 참조하세요.

약정 사용 할인으로 GPU 예약

특정 영역에서 GPU 리소스를 예약하려면 영역 리소스 예약을 참조하세요. GPU의 약정 사용 할인 가격을 적용받으려면 예약이 필요합니다.

GPU 비교 차트

이 섹션에서는 Compute Engine에서 사용 가능한 여러 GPU 유형에 가장 적합한 성능 사양, 기능 제공 여부, 적절한 워크로드 유형과 같은 요소를 설명합니다.

모든 GPU 유형에 사용할 수 있는 최대 CPU와 메모리는 GPU 리소스가 실행되는 영역에 따라 다릅니다. 메모리, CPU 리소스, 사용 가능한 리전 및 영역에 대한 자세한 내용은 GPU 목록을 참조하세요.

로컬 SSD는 P4 GPU를 제외하고 사용 가능한 모든 리전 및 영역에서 실행되는 GPU에서 지원됩니다. P4 GPU는 us-central1-cus-central1-f 영역에서만 로컬 SSD를 지원합니다.

측정항목 T4 P4 V100 P100 K80
텐서 코어 320 해당 사항 없음 640 해당 사항 없음 해당 사항 없음
CUDA 코어 2560 2560 5120 3840 2496
TeraFLOPS(TFLOPS) 최고 성능 이중 정밀도(FP64) 0.25TFLOPS1 0.2TFLOPS1 7.8TFLOPS 4.7TFLOPS 1.46TFLOPS
단일 정밀도(FP32) 8.1TFLOPS 5.5TFLOPS 15.7TFLOPS 9.3TFLOPS 4.37TFLOPS
1/2 정밀도(FP16) 65TFLOPS2 해당 사항 없음 125TFLOPS2 18.7TFLOPS 해당 사항 없음
INT8 130TOPS3 22TOPS3 63TOPS3 해당 사항 없음 해당 사항 없음
상호 연결 NVLink/PCIe PCIe Gen 3x16 PCIe Gen 3x16 NVLink, 300GB/s, PCIe Gen 3x16 PCIe Gen 3x16 PCIe Gen 3x16
메모리(대역폭) 16GB GDDR6@ 320GB/s 8GB GDDR5@ 192GB/s 16GB HBM2@ 900GB/s 16GB HBM2@ 732GB/s 12GB GDDR5@ 240GB/s
GRID 원격 워크스테이션 지원 아니요 아니요
최적의 용도 ML 추론, 학습, 원격 시각화 워크스테이션, 동영상 트랜스코딩 원격 시각화 워크스테이션, ML 추론, 동영상 트랜스코딩 ML 학습, 추론, HPC ML 학습, 추론, HPC, 원격 시각화 워크스테이션 ML 추론, 학습, HPC
가격 책정 Compute Engine에서 사용할 수 있는 여러 가지 GPU 유형과 리전의 GPU 가격을 비교하려면 GPU 가격 책정을 참조하세요.

1FP64 코드가 올바르게 작동하도록 T4 및 P4 GPU 아키텍처에 소수의 FP64 하드웨어 장치가 포함되어 있습니다.

2텐서 코어를 통해 이 성능을 사용할 수 있습니다.

3Tera Operations per Second

제한사항

GPU가 포함된 인스턴스에는 다른 인스턴스 유형과 다르게 동작하게 만드는 특정 제한사항이 있습니다.

  • Tesla K80 GPU를 사용하려는 인스턴스에서는 Intel Skylake 이상의 CPU 플랫폼을 사용할 수 없습니다.

  • GPU는 현재 범용 N1 머신 유형에서만 지원됩니다.

  • GPU 인스턴스는 호스트 유지보수 이벤트 시 중지되어야 하며 자동으로 다시 시작할 수 있습니다. Compute Engine에서 호스트 유지보수 이벤트 빈도는 2주에 한 번으로 설정되어 있지만 더 자주 실행될 수 있습니다. 이러한 유지보수 이벤트가 명확하게 처리되도록 워크로드를 구성해야 합니다. 특히 머신러닝 및 HPC(고성능 컴퓨팅)와 같은 장기 실행되는 워크로드는 호스트 유지보수 이벤트 중단을 처리해야 합니다. GPU가 있는 인스턴스에서 호스트 유지보수 이벤트를 처리하는 방법에 대해 알아보세요.

  • Compute Engine 시스템과 사용자를 보호하기 위해 새 프로젝트에는 지원되는 모든 영역에서 생성할 수 있는 총 GPU 수를 제한하는 글로벌 GPU 할당량이 적용됩니다. GPU 할당량을 요청하는 경우 각 리전에 생성하려는 GPU 모델의 할당량 외에도 전 영역 내 모든 유형의 총 GPU에 적용할 전역 할당량을 추가로 요청해야 합니다.

  • 1개 이상의 GPU가 있는 인스턴스는 인스턴스에 추가하는 각 GPU에 대해 최대 개수의 vCPU를 포함합니다. 예를 들어 인스턴스 머신 유형에서 각 NVIDIA® Tesla® K80 GPU마다 최대 8개의 vCPU와 최대 52GB의 메모리를 지정할 수 있습니다. 여러 GPU 구성에 따라 사용 가능한 vCPU 및 메모리 범위를 보려면 GPU 목록을 참조하세요.

  • 공유 코어 머신 유형의 인스턴스에는 GPU를 연결할 수 없습니다.

  • GPU가 올바르게 작동하려면 기기 드라이버가 필요합니다. Compute Engine에서 실행되는 NVIDIA GPU는 다음 드라이버 버전을 사용해야 합니다.

    • Linux 인스턴스:

      • NVIDIA 410.79 이상 드라이버
    • Windows Server 인스턴스:

      • NVIDIA 411.98 이상 드라이버
  • 특정 GPU 모델이 연결된 인스턴스의 경우 연결된 GPU 모델이 해당 인스턴스가 위치한 곳과 동일한 리전에서 하나 이상의 영역에 제공될 때만 Compute Engine SLA가 적용됩니다. Compute Engine SLA는 다음 영역에 있는 특정 GPU 모델에는 적용되지 않습니다.

    • NVIDIA® Tesla® T4:
      • asia-northeast1-a
      • asia-south1-b
      • asia-southeast1-b
      • southamerica-east1-c
    • NVIDIA® Tesla® V100:
      • asia-east1-c
    • NVIDIA® Tesla® P100:
      • us-west1-b
      • europe-west4-a
    • NVIDIA® Tesla® K80:
      • us-west1-b
      • us-central1-c
  • europe-west1-d에서 NVIDIA® Tesla® P100 GPU를 사용하는 인스턴스는 로컬 SSD 기기를 사용할 수 없습니다.

  • Compute Engine은 GPU당 동시 사용자 1명의 실행을 지원합니다.

다음 단계