GPU 정보

Compute Engine에서 특정 워크로드를 가속화하려면 GPU가 연결된 가속기 최적화 VM을 배포하거나 N1 범용 VM에 GPU를 연결하면 됩니다.

이 문서에서는 Compute Engine에서 실행되는 GPU의 기능과 제한사항에 대해 설명합니다.

GPU 및 머신 계열

GPU는 N1 범용 및 가속기 최적화(A3, A2, G2) 머신 시리즈에서 지원됩니다. N1 머신 유형을 사용하는 VM의 경우 VM을 만드는 동안 또는 이후에 GPU를 VM에 연결합니다. A3, A2 또는 G2 머신 유형을 사용하는 VM의 경우 VM을 만들 때 GPU가 자동으로 연결됩니다. GPU는 다른 머신 시리즈와 함께 사용될 수 없습니다.

가속기 최적화 머신 시리즈

각 가속기 최적화 머신 유형에는 특정 NVIDIA GPU 모델이 연결되어 있습니다.

A3 가속기 최적화 머신 유형의 경우 NVIDIA H100 80GB GPU가 연결됩니다. 다음과 같은 옵션으로 제공됩니다.
- A3 High(a3-highgpu-8g): 이 머신 유형에는 H100 80GB GPU가 연결됩니다.
- A3 Mega(a3-megagpu-8g): 이 머신 유형에는 H100 80GB 메가 GPU가 연결됩니다.
A2 가속기 최적화 머신 유형의 경우 NVIDIA A100 GPU가 연결됩니다. 다음과 같은 옵션으로 제공됩니다.
- A2 표준(a2-highgpu-*, a2-megagpu-*): 이 머신 유형에는 A100 40GB GPU가 연결됩니다.
- A2 울트라(a2-ultragpu-*): 이러한 머신 유형에는 A100 80GB GPU가 연결됩니다.
G2 가속기 최적화 머신 유형(g2-standard-*)의 경우 NVIDIA L4 GPU가 연결됩니다.

자세한 내용은 가속기 최적화 머신 시리즈를 참조하세요.

N1 범용 머신 시리즈

다른 모든 GPU 유형에 N1 공유 코어(f1-micro 및 g1-small)를 제외한 대부분의 N1 머신 유형을 사용할 수 있습니다.

이 머신 계열에서는 사전 정의된 머신 유형이나 커스텀 머신 유형을 사용할 수 있습니다.

선점형 VM 인스턴스의 GPU

GPU에 대하여 저렴한 Spot 가격으로 선점형 VM 인스턴스에 GPU를 추가할 수 있습니다. 선점형 인스턴스에 연결된 GPU는 일반 GPU처럼 작동하지만 인스턴스 수명 기간에만 지속됩니다. GPU가 있는 선점형 인스턴스는 모든 선점형 인스턴스와 같은 선점 절차를 따릅니다.

선점형 인스턴스에서 GPU에 사용할 전용 Preemptible GPU 할당량을 요청하는 것이 좋습니다. 자세한 내용은 선점형 VM 인스턴스 할당량을 참조하세요.

유지관리 이벤트 중에 GPU가 있는 선점형 인스턴스가 기본적으로 선점되며 자동으로 재시작할 수 없습니다. 선점한 인스턴스를 다시 만들고 싶다면 관리형 인스턴스 그룹을 사용하세요. 관리형 인스턴스 그룹은 vCPU, 메모리, GPU 리소스가 있는 경우 인스턴스를 다시 생성합니다.

인스턴스를 선점하기 전에 경고를 표시하거나 유지관리 이벤트 후 인스턴스가 자동으로 재시작하도록 구성하고 싶다면 GPU가 있는 표준 인스턴스를 사용하세요. GPU가 있는 표준 인스턴스의 경우 Google에서는 선점 1시간 전에 사전 통보를 보냅니다.

Compute Engine은 실행이 시작된 후 1분 내에 선점된 인스턴스에 대해서는 GPU 비용을 청구하지 않습니다.

표준 인스턴스를 자동으로 다시 시작하는 방법은 인스턴스 업데이트 옵션을 참조하세요.

GPU가 연결된 선점형 인스턴스를 만드는 방법은 GPU가 연결된 VM 만들기를 참조하세요.

실행 시간이 사전 정의된 VM의 GPU

기본 표준 프로비저닝 모델(표준 VM)을 사용하는 VM용 리소스는 일반적으로 임시 워크로드를 대상으로 하며 일반적으로 더 사용 가능한 선점형 배정 할당량을 사용할 수 없습니다. 프로젝트에 선점형 할당량이 없고 선점형 할당량을 요청한 적이 없는 경우 해당 프로젝트의 모든 VM이 표준 배정 할당량을 사용합니다.

하지만 선점형 배정 할당량을 요청하면 다음 기준을 모두 충족하는 표준 VM은 선점형 배정 할당량만 사용할 수 있습니다.

VM에 GPU가 연결되어 있습니다. GPU가 연결된 N1 VM 또는 가속기 최적화 VM입니다
VM이 다음 방법 중 하나를 통해 사전 구성된 7일 이하 런타임 후 자동으로 삭제되도록 구성되어 있습니다. <ph type="x-smartling-placeholder">
- maxRunDuration 필드 또는 terminationTime 필드를 사용합니다. 자세한 내용은 VM 실행 시간 제한 또는 MIG에서 VM 실행 시간 제한을 참조하세요.
- 관리형 인스턴스 그룹(MIG)에서만 사용할 수 있는 requestedRunDuration 필드를 사용합니다. 자세한 내용은 MIG의 크기 조절 요청 개요를 참조하세요.
VM은 예약을 사용할 수 없습니다. 자세한 내용은 예약을 사용하지 않고 VM 만들기를 참조하세요.

이러한 작업 부하에 선점형 배정 할당량을 소비하면 표준 VM의 중단 없는 실행 시간의 이점과 선점형 배정 할당량을 통한 확보 가능성을 모두 높일 수 있습니다.

사용된 할당량에 관계없이 표준 VM에는 Spot VM 가격 책정이 적용되지 않으며 선점 대상이 아닙니다.

자세한 내용은 선점형 할당량을 참조하세요.

GPU 및 컨피덴셜 VM

컨피덴셜 VM 인스턴스에는 GPU를 연결할 수 없습니다. 컨피덴셜 VM에 대한 자세한 내용은 컨피덴셜 VM 개요를 참조하세요.

GPU 및 블록 스토리지

GPU 플랫폼에서 VM을 만들 때 VM에 영구 또는 임시 블록 스토리지를 추가할 수 있습니다. 임시가 아닌 데이터를 저장하려면 디스크가 VM의 수명 주기와 독립적이므로 Hyperdisk ML 또는 Persistent Disk와 같은 영구 블록 스토리지를 사용합니다. 영구 스토리지의 데이터는 VM을 삭제한 후에도 보존될 수 있습니다.

임시 스크래치 스토리지 또는 캐시의 경우 VM을 만들 때 로컬 SSD 디스크를 추가하여 임시 블록 스토리지를 사용합니다.

Persistent Disk 및 Hyperdisk 볼륨이 있는 영구 블록 스토리지

Persistent Disk 및 Hyperdisk ML 볼륨을 GPU 지원 VM에 연결할 수 있습니다.

머신러닝 학습 및 제공 워크로드의 경우 높은 처리량과 짧은 데이터 로드 시간을 제공하는 Hyperdisk ML 볼륨을 사용하는 것이 좋습니다. 따라서 GPU 유휴 시간이 더 짧기 때문에 Hyperdisk ML이 ML 워크로드에 더 비용 효율적인 옵션입니다.

Hyperdisk ML 볼륨은 읽기 전용 다중 연결 지원을 제공하므로 동일한 디스크를 여러 VM에 연결하여 각 VM에 동일한 데이터에 대한 액세스 권한을 부여할 수 있습니다.

GPU를 지원하는 머신 시리즈에 지원되는 디스크 유형에 대한 자세한 내용은 N1 및 가속기 최적화 머신 시리즈 페이지를 참조하세요.

로컬 SSD 디스크

로컬 SSD 디스크는 캐싱, 데이터 처리 또는 기타 일시적인 데이터를 위한 빠른 임시 스토리지를 제공합니다. 로컬 SSD 디스크는 VM을 호스팅하는 서버에 물리적으로 연결되기 때문에 빠른 스토리지입니다. VM이 다시 시작될 경우 데이터가 손실될 수 있으므로 일시적입니다.

강력한 지속성 요구사항이 있는 데이터를 로컬 SSD 디스크에 저장하면 안 됩니다. 임시가 아닌 데이터를 저장하려면 대신 영구 스토리지를 사용합니다.

GPU가 있는 VM을 수동으로 중지하는 경우 몇 가지 제한사항이 있지만 로컬 SSD 데이터를 보존할 수 있습니다. 자세한 내용은 로컬 SSD 문서를 참조하세요.

GPU 유형의 로컬 SSD에 대한 리전별 지원은 GPU 리전 및 영역별 로컬 SSD 가용성을 참조하세요.

GPU 및 호스트 유지보수

GPU가 연결된 VM은 Compute Engine이 VM에서 유지보수 이벤트를 수행할 때 항상 중지됩니다. VM에 로컬 SSD 디스크가 연결된 경우 VM이 중지되면 로컬 SSD 데이터가 손실됩니다.

유지보수 이벤트 처리 방법은 GPU 호스트 유지보수 이벤트 처리를 참조하세요.

GPU 가격 책정

GPU가 연결된 대부분의 VM에는 vCPU와 마찬가지로 지속 사용 할인이 적용됩니다. 가상 워크스테이션용 GPU를 선택하면 NVIDIA RTX 가상 워크스테이션 라이선스가 VM에 추가됩니다.

GPU의 시간별 및 월별 가격 책정은 GPU 가격 책정 페이지를 참조하세요.

약정 사용 할인으로 GPU 예약

특정 영역에서 GPU 리소스를 예약하려면 Compute Engine 영역 리소스 예약을 참조하세요.

특정 영역에서 GPU에 대한 약정 사용 할인을 받으려면 GPU에 대한 리소스 기반 약정을 구매하고 일치하는 GPU를 지정하는 예약도 약정에 연결해야 합니다. 자세한 내용은 리소스 기반 약정에 예약 연결을 참조하세요.

GPU 제한사항

연결된 GPU가 있는 VM의 경우 다음 제한사항이 적용됩니다.

GPU는 범용 N1 또는 가속기 최적화(A3, A2, G2) 머신 유형에서만 지원됩니다.
Compute Engine 시스템과 사용자를 보호하기 위해 새 프로젝트에는 지원되는 모든 영역에서 생성할 수 있는 총 GPU 수를 제한하는 글로벌 GPU 할당량이 적용됩니다. GPU 할당량을 요청하는 경우 각 리전에 생성하려는 GPU 모델의 할당량 외에도 전 영역 내 모든 유형의 총 GPU에 적용할 전역 할당량을 추가로 요청해야 합니다.
1개 이상의 GPU가 있는 VM에는 VM에 추가하는 각 GPU에 대한 최대 개수의 vCPU가 포함됩니다. 여러 GPU 구성에 따라 사용 가능한 vCPU 및 메모리 범위를 보려면 GPU 목록을 참조하세요.
GPU가 올바르게 작동하려면 기기 드라이버가 필요합니다. Compute Engine에서 실행되는 NVIDIA GPU는 최소 드라이버 버전을 사용해야 합니다. 드라이버 버전에 대한 상세 설명은 필요한 NVIDIA 드라이버 버전을 참조하세요.
특정 GPU 모델이 연결된 VM의 경우 연결된 GPU 모델이 일반 안정화 버전으로 제공되고 동일한 리전의 두 개 이상의 영역에서 지원될 때만 Compute Engine SLA가 적용됩니다. 다음 영역에 있는 GPU 모델에는 Compute Engine SLA가 적용되지 않습니다.
- NVIDIA H100 80GB Mega:
  - asia-southeast1-b
  - us-east5-a
  - us-west4-a
- NVIDIA H100 80GB:
  - asia-northeast1-b
  - europe-west1-b
  - us-east5-a
  - us-west4-a
- NVIDIA L4:
  - asia-northeast1-b
  - northamerica-northeast2-a
- NVIDIA A100 80GB:
  - asia-southeast1-c
  - us-east4-c
  - us-east5-b
- NVIDIA A100 40GB:
  - us-east1-b
  - us-west1-b
  - us-west3-b
  - us-west4-b
- NVIDIA T4:
  - europe-west3-b
  - southamerica-east1-c
  - us-west3-b
- NVIDIA V100:
  - asia-east1-c
  - us-east1-c
- NVIDIA P100:
  - australia-southeast1-c
  - europe-west4-a
Compute Engine은 GPU당 동시 사용자 1명의 실행을 지원합니다.

다음 단계

연결된 GPU가 있는 VM 생성 방법 알아보기
GPU 추가 또는 삭제 방법 알아보기