가속기 최적화 머신 제품군

가속기 최적화 머신 계열은 Google Cloud가 인공지능(AI), 머신러닝(ML), 고성능 컴퓨팅(HPC)과 같은 GPU 가속 워크로드에 필요한 성능과 효율성을 제공하도록 설계되었습니다.

가속기 최적화 머신 계열은 A3, A2, G2 머신 시리즈에서 사용할 수 있습니다. 한 시리즈의 각 머신 유형에는 특정 모델과 연결된 여러 NVIDIA GPU가 있습니다. N1 범용 머신 유형에 일부 GPU 모델을 연결할 수도 있습니다.

워크로드 유형별 머신 시리즈 권장사항

다음 섹션에서는 GPU 워크로드를 기준으로 권장되는 머신 시리즈를 제공합니다.

대형 AI 모델

워크로드 유형	적합한 분야	좋은 대안
다중 (분산) 서버 학습	A3	A2
추론	A3, A2

메인스트림 모델

워크로드 유형	적합한 분야	좋은 대안(추천순)
다중 (분산) 서버 학습	A3	A2 G2 N1+V100
단일 서버 학습	A3, A2	G2 N1+V100
추론	G2	N1+T4 N1+V100

그래픽 집약적인 워크로드

워크로드 유형	가장 적합(추천순)
동영상 스트리밍 및 트랜스코딩, 원격 가상 워크스테이션, 디지털 트윈	G2 N1+T4

고성능 컴퓨팅

고성능 컴퓨팅 워크로드의 경우 가속기 최적화 머신 시리즈가 적합합니다. 가장 적합한 경우는 GPU로 오프로드해야 하는 계산량에 따라 달라집니다.

가격 및 할인

모든 가속기 최적화 머신 유형은 다음과 같은 할인 및 소비 옵션을 지원합니다.

가속기 최적화 머신 유형은 연결된 GPU, 사전 정의된 vCPU, 메모리, 번들 로컬 SSD(해당하는 경우)에 대한 요금이 청구됩니다. 가속기 최적화 VM의 가격 책정 정보는 VM 인스턴스 가격 책정 페이지의 가속기 최적화 머신 유형 계열 섹션을 참조하세요.

A3 머신 시리즈

A3 머신 시리즈는 표준 머신 유형에서 사용할 수 있으며, 208개의 vCPU와 최대 1,872GB의 메모리를 사용합니다. 이 머신 시리즈는 컴퓨팅 및 메모리 집약적이고 네트워크에 결합된 ML 학습, HPC 워크로드에 최적화되어 있습니다.

A3 머신 시리즈는 다음 기능도 제공합니다.

차세대 하드웨어: 각 A3 머신 유형에는 GPU당 80GB의 GPU 메모리를 제공하고 대규모 Transformer 기반 언어 모델, 데이터베이스, HPC에 적합한 NVIDIA H100 GPU가 연결되어 있습니다.

이 머신 시리즈는 4세대 인텔 제온 스케일러블 프로세서(Sapphire Rapids)를 기반으로 하며 최대 3.3GHz의 지속형 단일 코어 최대 터보 주파수를 제공합니다.
업계 최고의 NVLink 확장: NVIDIA H100 GPU는 단방향으로 450GB/초의 최대 GPU NVLink 대역폭을 제공합니다. 시스템의 GPU 8개 간에 전체 NVLink 토폴로지를 사용할 경우 집계 NVLink 대역폭은 최대 7.2TB/초입니다. 이러한 GPU는 통합 메모리 공간이 있는 단일 고성능 가속기로 사용되어 최대 25페타플롭의 AI/DL/ML 컴퓨팅 성능과 최대 50페타플롭의 추론 컴퓨팅 성능을 제공할 수 있습니다.
향상된 컴퓨팅 속도 및 네트워킹: NVIDIA H100 GPU는 이전 세대 NVIDIA A100 GPU에 비해 컴퓨팅 속도가 최대 2.5배, 가상 머신(VM) 네트워크 대역폭이 10배 향상됩니다.
각 a3-highgpu-8g VM에는 5개의 물리적 네트워크 인터페이스 카드(NIC)가 있으며, 이 중 4개는 동일한 PCIe(Peripheral Component Interconnect Express) 버스를 공유하고 NVIDIA H100 80GB GPU 2개당 NIC 1개라는 균일하지 않은 메모리 액세스(NUMA) 정렬을 사용합니다. 이 4개의 물리적 NIC는 전용 고대역폭 GPU-GPU 통신에 적합합니다. 다른 물리적 NIC는 별도의 PCIe 버스에 상주하며, 다른 네트워킹 요구사항에 적합합니다. 각 NIC의 최대 대역폭은 200Gbps로서, VM당 최대 대역폭은 총 1,000Gbps(1Tbps)입니다.
GPUDirect-TCPX의 향상된 GPU 클러스터 성능: GPUDirect-TCPX는 데이터 패킷 페이로드를 GPU 메모리에서 네트워크 인터페이스로 직접 전송할 수 있도록 하여 네트워크 성능을 향상시킵니다.

A3 VM은 GPUDirect-TCPX를 활용하여 A2 또는 G2 가속기 최적화 머신 유형과 비교했을 때 클러스터의 VM 간 처리량이 가장 많습니다.

GPUDirect-TCPX로 GPU 클러스터 성능을 극대화하려면 다음 문서를 검토하세요.
- Compute Engine의 경우 GPUDirect-TCPX로 GPU 네트워크 성능 극대화를 참조하세요.
- Google Kubernetes Engine의 경우 GPUDirect-TCPX 및 멀티 네트워킹으로 GPU 네트워크 대역폭 극대화를 참조하세요.
가상화 최적화: A3 VM의 PCIe(Peripheral Component Interconnect Express) 토폴로지는 워크로드가 데이터 전송을 최적화하는 데 사용할 수 있는 보다 정확한 지역 정보를 제공합니다.

또한 NVIDIA H100 GPU는 장애의 단계적 복구를 위한 함수 수준 재설정(FLR)과 특정 시나리오의 동시 실행 개선을 위한 원자적 작업 지원을 제공합니다.
스토리지: A3 머신 유형을 사용하여 만든 VM에 6TB의 로컬 SSD가 자동으로 추가됩니다. 로컬 SSD를 빠른 스크래치 디스크로 사용하거나 I/O 병목 현상을 방지하면서 GPU에 데이터를 공급하는 데 사용할 수 있습니다.

더 높은 스토리지 성능을 필요로 하는 애플리케이션의 경우 이 시리즈의 머신 유형에 최대 257TB까지 영구 디스크 스토리지를 연결할 수 있습니다.
압축 배치 정책 지원: 데이터 센터 내에서 VM의 물리적 배치를 더 세밀하게 제어할 수 있습니다. 이렇게 하면 단일 가용성 영역 내에서 VM 배치에 대한 지연 시간이 짧고 대역폭이 높아집니다. 압축 배치 정책은 지정된 영역 내에서 네트워크의 지연 시간이 짧은 하위 집합에 최대 96개의 VM을 지원합니다.

A3에 지원되는 디스크 유형

A3 VM은 다음 블록 스토리지 유형을 사용할 수 있습니다.

균형 있는 영구 디스크(pd-balanced)
SSD(성능) 영구 디스크(pd-ssd)
하이퍼디스크 익스트림(hyperdisk-extreme)
하이퍼디스크 처리량(hyperdisk-throughput)
로컬 SSD: A3 머신 유형을 사용하여 생성된 VM에 자동으로 추가됨

디스크 및 용량 한도

영구 디스크와 하이퍼디스크 볼륨을 혼합하여 VM에 사용할 수 있지만 다음과 같은 제한사항이 적용됩니다.

하이퍼디스크 및 영구 디스크 볼륨 수의 합계는 VM당 128개를 초과할 수 없습니다.
모든 디스크 유형에서 최대 총 디스크 용량(TiB)은 다음을 초과할 수 없습니다.
- 32개 미만의 vCPU를 가진 머신 유형을 사용하는 경우:
  - 영구 디스크 또는 하이퍼디스크의 경우 257TiB
  - 영구 디스크와 하이퍼디스크 조합의 경우 257TiB
- 32개 이상의 vCPU를 가진 머신 유형을 사용하는 경우
  - 영구 디스크의 경우 257TiB
  - 하이퍼디스크 또는 영구 디스크와 하이퍼디스크 조합의 경우 512TiB

이러한 한도에 대한 자세한 내용은 VM당 하이퍼디스크 용량 한도 및 영구 디스크 최대 용량을 참조하세요.

A3 표준 머신 유형

이 머신 유형에는 고정된 수의 H100 GPU가 포함됩니다.

머신 유형	GPU 수	vCPUs^*	메모리(GB)	모든 디스크의 VM당 최대 디스크 수^†	VM당 총 하이퍼디스크 최대 볼륨	모든 디스크의 총 디스크 최대 크기(TiB)^#	로컬 SSD	최대 이그레스 대역폭(Gbps)^‡
`a3-highgpu-8g`	8	208	1872	128	하이퍼디스크 처리량—64 하이퍼디스크 익스트림—8	512(영구 디스크 최대 257TiB 포함)	예	1000

^*vCPU는 사용 가능한 CPU 플랫폼 중 하나에서 단일 하드웨어 하이퍼 스레드로 구현됩니다.
^†하이퍼디스크 및 영구 디스크 사용 요금은 머신 유형 가격과 별도로 청구됩니다.
^‡최대 이그레스 대역폭은 지정된 수를 초과할 수 없습니다. 실제 이그레스 대역폭은 대상 IP 주소와 기타 요인에 따라 다릅니다. 네트워크 대역폭을 참조하세요.
^#하이퍼디스크 처리량의 경우 볼륨당 최대 크기는 32TiB입니다. 다른 모든 영구 디스크 또는 하이퍼디스크 볼륨의 경우 최대 크기는 64TiB입니다.

A3 표준 제한사항

A3 표준 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
특정 리전 및 영역에서만 A3 표준 머신 유형을 사용할 수 있습니다.
A3 표준 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
A3 표준 머신 유형은 Sapphire Rapids 플랫폼에서만 사용할 수 있습니다.
VM이 A3 표준 머신 유형을 사용하는 경우 머신 유형을 변경할 수 없습니다. 다른 머신 유형을 사용해야 하는 경우 새 VM을 만들어야 합니다.
다른 머신 유형을 A3 표준 머신 유형으로 변경할 수 없습니다. A3 표준 머신 유형을 사용하는 VM을 만들어야 하는 경우 새 VM을 만들어야 합니다.
A3 표준 머신 유형은 단독 테넌시를 지원하지 않습니다.
Windows 운영체제에서는 A3 표준 머신 유형을 실행할 수 없습니다.

A2 머신 시리즈

A2 머신 계열은 A2 표준 및 A2 울트라 머신 유형에서 사용 가능합니다. 이러한 머신 유형은 vCPU가 12~96개이고 메모리가 최대 1, 360GB입니다.

A2 머신 시리즈는 다음 기능도 제공합니다.

NVIDIA GPU 연결: 각 A2 머신 유형에는 NVIDIA A100 GPU가 있습니다. A100 40GB 및 A100 80GB 옵션 모두에서 사용 가능합니다.
600Gbps의 GPU NVLink 대역폭에 최대 GPU를 제공하는 업계 최고의 NVLink 확장. 예를 들어 16개의 GPU가 있는 시스템의 총 NVLink 대역폭은 최대 9.6TBps입니다. 이러한 16개의 GPU는 통합 메모리 공간이 있는 단일 고성능 가속기로 사용되어 인공지능, 딥 러닝 및 머신러닝 워크로드에 사용할 수 있는 최대 10페타플롭의 컴퓨팅 성능과 최대 20페타플롭의 추론 컴퓨팅 성능을 제공합니다.
향상된 컴퓨팅 속도: 연결된 NVIDIA A100 GPU는 이전 세대 NVIDIA V100 GPU에 비해 컴퓨팅 속도가 최대 10배 향상됩니다.

A2 머신 시리즈를 사용하면 최대 100Gbps 네트워크 대역폭을 사용할 수 있습니다.
스토리지: 빠른 스크래치 디스크 또는 I/O 병목 현상을 방지하면서 GPU에 데이터를 공급하기 위해 A2 머신 유형은 다음과 같이 로컬 SSD를 지원합니다.
- A2 표준 머신 유형의 경우 최대 3TB까지 로컬 SSD를 추가할 수 있습니다.
- A2 울트라 머신 유형의 경우 VM을 만들 때 로컬 SSD가 자동으로 연결됩니다.
또한 더 높은 스토리지 성능이 필요한 애플리케이션을 위해 A2 VM에 최대 257TB의 영구 디스크 스토리지를 연결할 수도 있습니다.
압축 배치 정책 지원: 데이터 센터 내에서 VM의 물리적 배치를 더 세밀하게 제어할 수 있습니다. 이렇게 하면 단일 가용성 영역 내에서 VM 배치에 대한 지연 시간이 짧고 대역폭이 높아집니다. 자세한 내용은 압축 배치 정책을 사용하여 지연 시간 감소를 참조하세요.

A2에 지원되는 디스크 유형

A2 VM은 다음 블록 스토리지 유형을 사용할 수 있습니다.

균형 있는 영구 디스크(pd-balanced)
SSD(성능) 영구 디스크(pd-ssd)
표준 영구 디스크(pd-standard)
로컬 SSD: A2 울트라 머신 유형을 사용하여 생성된 VM에 자동으로 연결됩니다.

A2 표준 머신 유형

이러한 머신 유형에는 고정된 개수의 A100 40GB GPU가 포함됩니다.

머신 유형	GPU 수	vCPUs^*	메모리(GB)	최대 영구 디스크 볼륨 수^†	최대 총 영구 디스크(TB)	로컬 SSD	최대 이그레스 대역폭(Gbps)^‡
`a2-highgpu-1g`	1	12	85	128	257	예	24
`a2-highgpu-2g`	2	24	170	128	257	예	32
`a2-highgpu-4g`	4	48	340	128	257	예	50
`a2-highgpu-8g`	8	96	680	128	257	예	100
`a2-megagpu-16g`	16	96	1360	128	257	예	100

A2 표준 제한사항

A2 표준 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
특정 리전 및 영역에서만 A2 표준 머신 유형을 사용할 수 있습니다.
A2 표준 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
A2 표준 머신 유형은 Cascade Lake 플랫폼에서만 사용할 수 있습니다.
VM이 A2 표준 머신 유형을 사용하는 경우 하나의 A2 표준 머신 유형에서 다른 A2 표준 머신 유형으로만 전환할 수 있습니다. 그 밖의 다른 머신 유형으로는 변경할 수 없습니다. 자세한 내용은 가속기 최적화 VM 수정을 참조하세요.
Windows 운영체제에서는 a2-megagpu-16g A2 표준 머신 유형을 사용할 수 없습니다. Windows 운영체제를 사용하는 경우 다른 A2 표준 머신 유형을 선택합니다.
A2 표준 머신 유형을 사용하는 Windows VM에서는 연결된 로컬 SSD를 빠르게 포맷할 수 없습니다. 이러한 로컬 SSD를 포맷하려면 diskpart 유틸리티를 사용하고 format fs=ntfs label=tmpfs를 지정하여 전체 포맷을 수행해야 합니다.
A2 표준 머신 유형은 단독 테넌시를 지원하지 않습니다.

A2 울트라 머신 유형

이러한 머신 유형에는 고정된 개수의 A100 80GB GPU가 포함됩니다. 로컬 SSD는 A2 울트라 머신 유형을 사용하여 생성된 VM에 자동으로 연결됩니다.

머신 유형	GPU 수	vCPUs^*	메모리(GB)	최대 영구 디스크 볼륨 수^†	최대 총 영구 디스크(TB)	번들 로컬 SSD	최대 이그레스 대역폭(Gbps)^‡
`a2-ultragpu-1g`	1	12	170	128	257	375GB	24
`a2-ultragpu-2g`	2	24	340	128	257	750GB	32
`a2-ultragpu-4g`	4	48	680	128	257	1.5TB	50
`a2-ultragpu-8g`	8	96	1360	128	257	3TB	100

A2 울트라 제한사항

A2 울트라 머신 유형을 사용하는 VM에는 지속 사용 할인 및 가변형 약정 사용 할인이 적용되지 않습니다.
특정 리전 및 영역에서만 A2 울트라 머신 유형을 사용할 수 있습니다.
A2 울트라 머신 유형을 사용하는 VM에서는 리전 영구 디스크를 사용할 수 없습니다.
A2 울트라 머신 유형은 Cascade Lake 플랫폼에서만 사용할 수 있습니다.
VM이 A2 울트라 머신 유형을 사용하는 경우 머신 유형을 변경할 수 없습니다. 다른 A2 울트라 머신 유형이나 그 밖의 다른 머신 유형을 사용해야 하는 경우 새 VM을 만들어야 합니다.
다른 머신 유형을 A2 울트라 머신 유형으로 변경할 수 없습니다. A2 울트라 머신 유형을 사용하는 VM을 만들어야 하는 경우 새 VM을 만들어야 합니다.
A2 울트라 머신 유형을 사용하는 Windows VM에서는 연결된 로컬 SSD를 빠르게 포맷할 수 없습니다. 이러한 로컬 SSD를 포맷하려면 diskpart 유틸리티를 사용하고 format fs=ntfs label=tmpfs를 지정하여 전체 포맷을 수행해야 합니다.

G2 머신 시리즈

G2 머신 계열은 vCPU가 4~96개이고 메모리가 최대 432GB인 표준 머신 유형에서 사용할 수 있습니다. 이 머신 시리즈는 추론 및 그래픽 워크로드에 최적화되어 있습니다.

G2 머신 시리즈는 다음 기능도 제공합니다.

NVIDIA GPU 연결: 각 G2 머신 유형에는 NVIDIA L4 GPU가 있습니다.
추론 비율 개선: G2 머신 유형은 ML 추론 속도를 높이고 메모리 요구사항을 줄이는 데이터 유형인 FP8(8비트 부동 소수점) 데이터 유형에 대한 지원을 제공합니다.
차세대 그래픽 성능: NVIDIA L4 GPU는 3세대 RT 코어 및 NVIDIA DLSS 3(딥 러닝 슈퍼 샘플링) 기술을 사용하여 최대 3배 향상된 그래픽 성능을 제공합니다.
고성능 네트워크 대역폭: G2 머신 시리즈를 사용하면 최대 100Gbps 네트워크 대역폭을 확보할 수 있습니다.
스토리지: G2 VM에 최대 3TB의 로컬 SSD를 추가할 수 있습니다. 이를 빠른 스크래치 디스크로 사용하거나 I/O 병목 현상을 방지하면서 GPU에 데이터를 공급하는 데 사용할 수 있습니다.

더 많은 영구 스토리지가 필요한 애플리케이션을 위해 하이퍼디스크 및 영구 디스크 볼륨을 G2 VM에 연결할 수도 있습니다. 최대 스토리지 용량은 VM의 vCPU 수에 따라 다릅니다. 자세한 내용은 지원되는 디스크 유형을 참조하세요.
압축 배치 정책 지원: 데이터 센터 내에서 VM의 물리적 배치를 더 세밀하게 제어할 수 있습니다. 이렇게 하면 단일 가용성 영역 내에서 VM 배치에 대한 지연 시간이 짧고 대역폭이 높아집니다. 자세한 내용은 압축 배치 정책을 사용하여 지연 시간 감소를 참조하세요.

G2에 지원되는 디스크 유형

G2 VM은 다음 블록 스토리지 유형을 사용할 수 있습니다.

균형 있는 영구 디스크(pd-balanced)
SSD(성능) 영구 디스크(pd-ssd)
하이퍼디스크 처리량(hyperdisk-throughput)
로컬 SSD