Compute Engine의 GPU

Google Compute Engine은 가상 머신 인스턴스에 추가할 수 있는 GPU(Graphics Processing Unit)를 제공합니다. 이 GPU를 사용하여 인스턴스에서 머신러닝 및 데이터 처리와 같은 특정 작업 부하를 가속화할 수 있습니다.

3D 시각화, 3D 렌더링 또는 가상 애플리케이션과 같이 그래픽 집약적인 작업 부하가 있는 경우 NVIDIA® GRID® 기술을 사용하는 가상 워크스테이션을 만들 수 있습니다. 그래픽 집약적인 애플리케이션을 위한 GPU에 대한 자세한 내용은 그래픽 작업 부하용 GPU를 참조하세요.

인스턴스에 GPU를 추가하는 단계는 인스턴스에 GPU 추가를 참조하세요.

소개

Compute Engine은 가상 머신 인스턴스가 GPU 및 관련 메모리를 직접 제어할 수 있도록 통과 연결 모드의 인스턴스에 NVIDIA® Tesla® GPU를 제공합니다.

Compute 작업 부하용 GPU 모델은 다음과 같은 버전으로 제공됩니다.

  • NVIDIA® Tesla® T4: nvidia-tesla-t4: 일반 안정화 버전

  • NVIDIA® Tesla® V100: nvidia-tesla-v100: 일반 안정화 버전

  • NVIDIA® Tesla® P100: nvidia-tesla-p100: 일반 안정화 버전

  • NVIDIA® Tesla® P4: nvidia-tesla-p4: 일반 안정화 버전

  • NVIDIA® Tesla® K80: nvidia-tesla-k80: 일반 안정화 버전

그래픽 작업 부하용 GPU 모델은 다음과 같은 버전으로 제공됩니다.

  • NVIDIA® Tesla® T4 Virtual Workstations: nvidia-tesla-t4-vws: 일반 안정화 버전
  • NVIDIA® Tesla® P100 Virtual Workstations: nvidia-tesla-p100-vws: 일반 안정화 버전
  • NVIDIA® Tesla® P4 Virtual Workstations: nvidia-tesla-p4-vws: 일반 안정화 버전

가상 워크스테이션용 GPU에 대한 자세한 내용은 그래픽 작업 부하용 GPU를 참조하세요.

사전 정의된 머신 유형이나 커스텀 머신 유형의 인스턴스에만 GPU를 연결할 수 있습니다. 공유 코어 또는 메모리 최적화 머신 유형에서는 GPU가 지원되지 않습니다.

GPU 수가 적은 인스턴스는 최대 vCPU 수로 제한됩니다. 일반적으로 GPU 수가 많아지면 vCPU 수와 메모리 용량을 높여 인스턴스를 만들 수 있습니다.

Compute 워크로드용 GPU

GPU 모델 GPU GPU 메모리 사용 가능한 vCPU 사용 가능한 메모리 사용 가능한 영역
NVIDIA® Tesla® T4 GPU 1개 GDDR6 16GB vCPU 1 - 24개 1 - 156GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d
  • us-west1-a
  • us-west1-b
GPU 2개 GDDR6 32GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR6 64GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P4 GPU 1개 GDDR5 8GB vCPU 1 - 24개 1 - 156GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
GPU 2개 GDDR5 16GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR5 32GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® V100 GPU 1개 HBM2 16GB vCPU 1 - 12개 1 - 78GB
  • us-west1-a
  • us-west1-b
  • us-central1-a
  • us-central1-b
  • us-central1-c
  • us-central1-f
  • europe-west4-a
  • europe-west4-b
  • europe-west4-c
  • asia-east1-c
GPU 2개 HBM2 32GB vCPU 1 - 24개 1 - 156GB
GPU 4개 HBM2 64GB vCPU 1 - 48개 1 - 312GB
GPU 8개 HBM2 128GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P100 GPU 1개 HBM2 16GB vCPU 1 - 16개 1 - 104GB
  • us-west1-a
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • europe-west4-a
  • asia-east1-a
  • asia-east1-c
  • australia-southeast1-c
GPU 2개 HBM2 32GB vCPU 1 - 32개 1 - 208GB
GPU 4개 HBM2 64GB

vCPU 1 - 64개
(us-east1-c, europe-west1-d, europe-west1-b)

vCPU 1 - 96개
(다른 모든 영역)

1 - 208GB
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 624GB
(다른 모든 영역)

NVIDIA® Tesla® K80 GPU 1개 GDDR5 12GB vCPU 1 - 8개 1 - 52GB
  • us-west1-b
  • us-central1-a
  • us-central1-c
  • us-east1-c
  • us-east1-d
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-b
GPU 2개 GDDR5 24GB vCPU 1 - 16개 1 - 104GB
GPU 4개 GDDR5 48GB vCPU 1 - 32개 1 - 208GB
GPU 8개 GDDR5 96GB vCPU 1 - 64개

1 - 416GB
(asia-east1-a 및 us-east1-d)

1 - 208GB
(다른 모든 영역)

참고:
  • 영역에 대한 자세한 내용은 지역 및 영역을 참조하세요.
  • NVIDIA® K80® 보드에는 각각 2개의 GPU가 포함됩니다. K80 GPU의 가격 책정은 보드 기준이 아니라 GPU 기준입니다.

vCPU와 마찬가지로 GPU 기기에도 지속 사용 할인이 적용됩니다. GPU 기기의 시간별 및 월별 가격을 보려면 GPU 가격 책정 페이지를 읽어보세요.

멀티 GPU 워크로드의 경우 V100 GPU에는 GPU 간 통신을 위한 고속 NVLink™ 연결이 제공됩니다.

GPU가 서로 그리고 CPU에 연결하는 방법에 대한 자세한 내용을 보려면 인스턴스에서 다음 명령을 실행하세요.

nvidia-smi topo -m

NVLink와 NVLink의 이점에 대한 자세한 내용은 NVIDIA 개발자 블로그를 참조하세요.

그래픽 작업 부하용 NVIDIA® GRID® GPU

3D 시각화와 같이 그래픽 집약적인 작업 부하가 있는 경우 NVIDIA GRID® 플랫폼을 사용하는 가상 워크스테이션을 만들 수 있습니다.

GRID에 대한 배경 정보는 GRID 개요를 참조하세요.

가상 워크스테이션용 GPU를 선택하면 인스턴스에 NVIDIA GRID 라이선스가 추가됩니다. 가상 워크스테이션에서 GPU를 지원하려면 GPU 드라이버가 설치되어 있어야 합니다.

가상 워크스테이션을 만든 후 Teradici® PCoIP 또는 VMWare® Horizon View와 같은 원격 데스크톱 프로토콜을 사용하여 가상 워크스테이션에 연결할 수 있습니다.

GPU 모델 GPU GPU 메모리 사용 가능한 vCPU 사용 가능한 메모리 사용 가능한 영역
NVIDIA® Tesla® T4 Virtual Workstation GPU 1개 GDDR6 16GB vCPU 1 - 24개 1 - 156GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d(제공 예정)
  • us-west1-a
  • us-west1-b
GPU 2개 GDDR6 32GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR6 64GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P4 Virtual Workstation GPU 1개 GDDR5 8GB vCPU 1 - 16개 1 - 192GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
GPU 2개 GDDR5 16GB vCPU 1 - 48개 1 - 312GB
GPU 4개 GDDR5 32GB vCPU 1 - 96개 1 - 624GB
NVIDIA® Tesla® P100 Virtual Workstation GPU 1개 HBM2 16GB vCPU 1 - 16개 1 - 104GB
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-c
  • europe-west4-a
  • australia-southeast1-c
GPU 2개 HBM2 32GB vCPU 1 - 32개 1 - 208GB
GPU 4개 HBM2 64GB

vCPU 1 - 64개
(us-east1-c, europe-west1-d, europe-west1-b)

vCPU 1 - 96개
(다른 모든 영역)

1 - 208GB
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 624GB
(다른 모든 영역)

선점형 인스턴스의 GPU

저렴한 GPU 선점형 가격으로 선점형 VM 인스턴스에 GPU를 추가할 수 있습니다. 선점형 인스턴스에 연결된 GPU는 일반 GPU처럼 작동하지만 인스턴스 수명 기간에만 지속됩니다. GPU가 있는 선점형 인스턴스는 모든 선점형 인스턴스와 같은 선점 절차를 따릅니다.

선점형 인스턴스에 GPU를 추가할 때는 일반 GPU 할당량을 사용합니다. 선점형 GPU에 대한 별도의 할당량이 필요하다면 별도의 선점형 GPU 할당량을 요청하세요.

유지관리 이벤트 중에 GPU가 있는 선점형 인스턴스가 기본적으로 선점되며 자동으로 재시작할 수 없습니다. 선점한 인스턴스를 다시 만들고 싶다면 관리형 인스턴스 그룹을 사용하세요. 관리형 인스턴스 그룹은 vCPU, 메모리, GPU 리소스가 있는 경우 인스턴스를 다시 생성합니다.

인스턴스를 선점하기 전에 경고를 표시하거나 유지관리 이벤트 후 인스턴스가 자동으로 재시작하도록 구성하고 싶다면 GPU가 있는 비선점형 인스턴스를 사용하세요. GPU가 있는 비선점형 인스턴스의 경우 Google에서는 선점 1시간 전에 사전 통보를 보냅니다.

Compute Engine은 실행이 시작된 후 1분 내에 선점된 인스턴스에 대해서는 GPU 비용을 청구하지 않습니다.

비선점형 인스턴스를 자동으로 재시작하는 방법은 인스턴스 업데이트 옵션을 참조하세요.

GPU가 연결된 선점형 인스턴스를 만드는 방법은 GPU가 있는 인스턴스 만들기를 참조하세요.

약정 사용 할인으로 GPU 예약

특정 영역에서 GPU 리소스를 예약하려면 영역 리소스 예약을 참조하세요. GPU의 약정 사용 할인 가격을 적용받으려면 예약이 필요합니다.

GPU 비교 차트

이 섹션에서는 Compute Engine에서 사용 가능한 여러 GPU 유형에 가장 적합한 성능 사양, 기능 제공 여부, 적절한 작업 부하 유형과 같은 요소를 설명합니다.

모든 GPU 유형에 사용할 수 있는 최대 CPU와 메모리는 GPU 리소스가 실행 중인 영역에 따라 다릅니다. 메모리, CPU 리소스, 사용 가능한 리전 및 영역에 대한 자세한 내용은 GPU 목록을 참조하세요.

로컬 SSD는 P4 GPU를 제외하고 사용 가능한 모든 리전 및 영역에서 실행되는 GPU에서 지원됩니다. P4 GPU는 us-central1-c 및 us-central1-f 영역에서만 로컬 SSD를 지원합니다.

측정항목 T4 P4 V100 P100 K80
텐서 코어 320 없음 640 없음 없음
CUDA 코어 2560 2560 5120 3840 2496
TeraFLOPS(TFLOPS) 최고 성능 이중 정밀도(FP64) 0.25TFLOPS1 0.2TFLOPS1 7.8TFLOPS 4.7TFLOPS 1.46TFLOPS
단일 정밀도(FP32) 8.1TFLOPS 5.5TFLOPS 15.7TFLOPS 9.3TFLOPS 4.37TFLOPS
1/2 정밀도(FP16) 65TFLOPS2 없음 125TFLOPS2 18.7TFLOPS 없음
INT8 130TOPS3 22TOPS3 63TOPS3 없음 없음
상호 연결 NVLink/PCIe PCIe Gen 3x16 PCIe Gen 3x16 NVLink, 300GB/s, PCIe Gen 3x16 PCIe Gen 3x16 PCIe Gen 3x16
메모리(대역폭) 16GB GDDR6@ 320GB/s 8GB GDDR5@ 192GB/s 16GB HBM2@ 900GB/s 16GB HBM2@ 732GB/s 12GB GDDR5@ 240GB/s
GRID 원격 워크스테이션 지원 아니요 아니요
최적의 용도 ML 추론, 학습, 원격 시각화 워크스테이션, 동영상 트랜스코딩 원격 시각화 워크스테이션, ML 추론, 동영상 트랜스코딩 ML 학습, 추론, HPC ML 학습, 추론, HPC, 원격 시각화 워크스테이션 ML 추론, 학습, HPC
가격 Compute Engine에서 사용할 수 있는 여러 가지 GPU 유형과 리전의 GPU 가격을 비교하려면 GPU 가격 책정을 참조하세요.

1FP64 코드가 올바르게 작동하도록 T4 및 P4 GPU 아키텍처에 소수의 FP64 하드웨어 장치가 포함되어 있습니다.

2텐서 코어를 통해 이 성능을 사용할 수 있습니다.

3Tera Operations per Second

제한사항

GPU가 포함된 인스턴스에는 다른 인스턴스 유형과 다르게 동작하게 만드는 특정 제한사항이 있습니다.

  • Tesla K80 GPU를 사용하려는 인스턴스에서는 Intel Skylake 이상의 CPU 플랫폼을 사용할 수 없습니다.

  • GPU는 현재 범용 N1 머신 유형에서만 지원됩니다.

  • GPU 인스턴스는 호스트 유지보수 이벤트 시 종료되어야 하며 자동으로 다시 시작할 수 있습니다. 이러한 유지보수 이벤트는 일반적으로 월별로 한 번 발생하지만 필요한 경우 더 자주 발생할 수 있습니다. 이러한 유지보수 이벤트를 명확하게 처리하도록 작업 부하를 구성해야 합니다. 특히 머신러닝 및 HPC(고성능 컴퓨팅)와 같은 장기 실행되는 작업 부하는 호스트 유지관리 이벤트 중단을 처리해야 합니다. GPU가 포함된 인스턴스에서 호스트 유지관리 이벤트를 처리하는 방법에 대해 알아보세요.

  • Compute Engine 시스템과 사용자를 보호하기 위해 새 프로젝트에는 지원되는 모든 영역에서 생성할 수 있는 총 GPU 수를 제한하는 글로벌 GPU 할당량이 적용됩니다. GPU 할당량을 요청하는 경우 각 지역에 생성하려는 GPU 모델의 할당량과 함께, 전 영역 내 모든 유형의 총 GPU에 적용할 글로벌 할당량을 추가로 요청해야 합니다.

  • 하나 이상의 GPU가 포함된 인스턴스에는 인스턴스에 추가하는 각 GPU에 대한 최대 개수의 vCPU가 포함됩니다. 예를 들어 인스턴스 머신 유형에서 각 NVIDIA® Tesla® K80 GPU마다 최대 8개의 vCPU와 최대 52GB의 메모리를 지정할 수 있습니다. 여러 GPU 구성에 따라 사용 가능한 vCPU 및 메모리 범위를 보려면 GPU 목록을 참조하세요.

  • 공유 코어 머신 유형의 인스턴스에는 GPU를 연결할 수 없습니다.

  • GPU가 올바르게 작동하려면 장치 드라이버가 필요합니다. Google Compute Engine에서 실행되는 NVIDIA GPU는 다음 드라이버 버전을 사용해야 합니다.

    • Linux 인스턴스:

      • NVIDIA 410.79 이상 드라이버
    • Windows Server 인스턴스:

      • NVIDIA 411.98 이상 드라이버
  • 연결된 특정 GPU 모델이 포함된 인스턴스는 연결된 GPU 모델이 해당 인스턴스가 위치한 곳과 동일한 지역의 하나 이상의 영역에서 제공되는 경우에만 Google Compute Engine SLA에 포함됩니다. Google Compute Engine SLA에서는 다음 영역의 특정 GPU 모델을 다루지 않습니다.

    • NVIDIA® Tesla® T4:
      • asia-northeast1-a
      • asia-south1-b
      • asia-southeast1-b
      • southamerica-east1-c
    • NVIDIA® Tesla® V100:
      • asia-east1-c
    • NVIDIA® Tesla® P100:
      • us-west1-b
      • europe-west4-a
    • NVIDIA® Tesla® K80:
      • us-west1-b
      • us-central1-c
  • europe-west1-d에서 NVIDIA® Tesla® P100 GPU가 포함된 인스턴스는 로컬 SSD 기기를 사용할 수 없습니다.

  • Compute Engine은 GPU당 동시 사용자 1명의 실행을 지원합니다.

다음 단계

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

Compute Engine 문서