Jenis mesin GPU

Anda dapat menggunakan GPU di Compute Engine untuk mempercepat workload tertentu di VM Anda seperti machine learning (ML) dan pemrosesan data. Untuk menggunakan GPU, Anda dapat men-deploy VM yang dioptimalkan akselerator yang telah memasang GPU, atau memasang GPU ke VM tujuan umum N1.

Compute Engine menyediakan GPU untuk VM Anda dalam mode passthrough sehingga VM Anda memiliki kontrol langsung atas GPU dan memori terkaitnya.

Untuk mengetahui informasi selengkapnya tentang GPU di Compute Engine, lihat Tentang GPU.

Jika memiliki workload grafis intensif, seperti visualisasi 3D, rendering 3D, atau aplikasi virtual, Anda dapat menggunakan workstation virtual NVIDIA RTX (sebelumnya dikenal sebagai NVIDIA GRID).

Dokumen ini memberikan ringkasan tentang berbagai VM GPU yang tersedia di Compute Engine.

Untuk melihat region dan zona yang tersedia untuk GPU di Compute Engine, lihat Ketersediaan zona dan region GPU.

GPU untuk workload komputasi

Untuk beban kerja komputasi, GPU didukung untuk jenis mesin berikut:

  • VM A3: VM ini memiliki GPU NVIDIA H100 80 GB yang otomatis terpasang.
  • VM A2: VM ini memiliki GPU NVIDIA A100 80 GB atau NVIDIA A100 40 GB yang otomatis terpasang.
  • VM G2: VM ini memiliki GPU NVIDIA L4 yang otomatis terpasang.
  • VM N1: untuk VM ini, Anda dapat memasang model GPU berikut: NVIDIA T4, NVIDIA V100, NVIDIA P100, atau NVIDIA P4.

Seri mesin A3

Untuk menggunakan GPU NVIDIA H100 80 GB, Anda harus menggunakan mesin yang dioptimalkan akselerator A3. Setiap jenis mesin A3 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.

Seri mesin A3 tersedia dalam tiga jenis:

  • A3 Mega: jenis mesin ini memiliki GPU H100 80 GB (nvidia-h100-mega-80gb) dan memberikan performa jaringan tertinggi. VM ini ideal untuk workload pelatihan yang paling mengharuskan dan berskala besar.
  • A3 High: jenis mesin ini memiliki GPU H100 80 GB (nvidia-h100-80gb) dan sangat cocok untuk tugas pelatihan dan penayangan model AI yang besar.
  • A3 Edge: jenis mesin ini memiliki GPU H100 80 GB (nvidia-h100-80gb), dirancang khusus untuk penayangan, dan tersedia di serangkaian region terbatas.

A3 Mega

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡ Protokol jaringan
a3-megagpu-8g 8 640 208 1.872 6.000 9 1.800 GPUDirect-TCPXO

A3 Tinggi

Saat menyediakan jenis mesin a3-highgpu-1g, a3-highgpu-2g, atau a3-highgpu-4g, Anda harus menggunakan Spot VM atau fitur yang menggunakan Dynamic Workload Scheduler (DWS) seperti permintaan perubahan ukuran di MIG. Untuk petunjuk mendetail tentang salah satu opsi ini, tinjau hal berikut:
Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡ Protokol jaringan
a3-highgpu-1g 1 80 26 234 750 1 25 GPUDirect-TCPX
a3-highgpu-2g 2 160 52 468 1.500 1 50 GPUDirect-TCPX
a3-highgpu-4g 4 320 104 936 3.000 1 100 GPUDirect-TCPX
a3-highgpu-8g 8 640 208 1.872 6.000 5 800 GPUDirect-TCPX

A3 Edge

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal Terpasang (GiB) Jumlah NIC fisik Bandwidth jaringan maksimum (Gbps)‡ Protokol jaringan
a3-edgegpu-8g 8 640 208 1.872 6.000 5
  • 800: untuk asia-south1 dan northamerica-northeast2
  • 400: untuk semua wilayah Edge A3 lainnya
 GPUDirect-TCPX

*Memori GPU adalah memori di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
† vCPU diimplementasikan sebagai hyper-thread hardware tunggal di salah satu platform CPU yang tersedia.
‡Bandwidth traffic keluar maksimum tidak boleh melebihi jumlah yang diberikan. Bandwidth traffic keluar yang sebenarnya bergantung pada alamat IP tujuan dan faktor lainnya. Lihat Bandwidth jaringan.

Seri mesin A2

Untuk menggunakan GPU NVIDIA A100 di Google Cloud, Anda harus men-deploy mesin yang dioptimalkan akselerator A2. Setiap jenis mesin A2 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.

Seri mesin A2 tersedia dalam dua jenis:

  • A2 Ultra: jenis mesin ini memiliki GPU A100 80 GB (nvidia-a100-80gb) dan SSD Lokal yang terpasang.
  • A2 Standard: jenis mesin ini memiliki GPU A100 40 GB (nvidia-tesla-a100) yang terpasang.

A2 Ultra

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal Terpasang (GiB) Bandwidth jaringan maksimum (Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1.500 50
a2-ultragpu-8g 8 640 96 1.360 3.000 100

Standar A2

Jenis mesin Jumlah GPU Memori GPU*
(GB HBM3)		 Jumlah vCPU† Memori VM (GB) SSD Lokal Terpasang (GiB) Bandwidth jaringan maksimum (Gbps)‡
a2-highgpu-1g 1 40 12 85 Ya 24
a2-highgpu-2g 2 80 24 170 Ya 32
a2-highgpu-4g 4 160 48 340 Ya 50
a2-highgpu-8g 8 320 96 680 Ya 100
a2-megagpu-16g 16 640 96 1.360 Ya 100

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri mesin G2

Untuk menggunakan GPU NVIDIA L4 (nvidia-l4 atau nvidia-l4-vws), Anda harus men-deploy mesin yang dioptimalkan akselerator G2.

Setiap jenis mesin G2 memiliki GPU NVIDIA L4 dan vCPU dalam jumlah tetap yang terpasang. Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke VM untuk setiap jenis mesin. Anda dapat menentukan memori kustom selama pembuatan VM.

Jenis mesin Jumlah GPU Memori GPU* (GB GDDR6) Jumlah vCPU† Memori VM default (GB) Rentang memori VM kustom (GB) SSD Lokal maksimum yang didukung (GiB) Bandwidth jaringan maksimum (Gbps)‡
g2-standard-4 1 24 4 16 16 hingga 32 375 10
g2-standard-8 1 24 8 32 32-54 tahun 375 16
g2-standard-12 1 24 12 48 48-54 tahun 375 16
g2-standard-16 1 24 16 64 54-64 tahun 375 32
g2-standard-24 2 48 24 96 96 hingga 108 750 32
g2-standard-32 1 24 32 128 96 hingga 128 375 32
g2-standard-48 4 96 48 192 192 hingga 216 1.500 50
g2-standard-96 8 192 96 384 384 hingga 432 3.000 100

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

Seri mesin N1

Anda dapat memasang model GPU berikut ke jenis mesin N1, kecuali jenis mesin dengan inti bersama N1.

VM N1 dengan jumlah GPU lebih rendah dibatasi hingga jumlah maksimum vCPU. Secara umum, dengan jumlah GPU yang lebih tinggi, Anda dapat membuat instance VM dengan jumlah vCPU dan memori yang lebih tinggi.

GPU N1+T4

Anda dapat memasang GPU NVIDIA T4 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Jenis akselerator Jumlah GPU Memori GPU* (GB GDDR6) Jumlah vCPU Memori VM (GB) SSD lokal didukung
nvidia-tesla-t4 atau
nvidia-tesla-t4-vws 		1 16 1 hingga 48 1 hingga 312 Ya
2 32 1 hingga 48 1 hingga 312 Ya
4 64 1 hingga 96 1 hingga 624 Ya

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

GPU N1+P4

Anda dapat memasang GPU NVIDIA P4 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Jenis akselerator Jumlah GPU Memori GPU* (GB GDDR5) Jumlah vCPU Memori VM (GB) SSD lokal didukung†
nvidia-tesla-p4 atau
nvidia-tesla-p4-vws 		1 8 1 hingga 24 1 hingga 156 Ya
2 16 1 hingga 48 1 hingga 312 Ya
4 32 1 hingga 96 1 hingga 624 Ya

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. GPU ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

†Untuk VM dengan GPU NVIDIA P4 yang terpasang, disk SSD Lokal hanya didukung di zona us-central1-c dan northamerica-northeast1-b.

GPU N1+V100

Anda dapat memasang GPU NVIDIA V100 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Jenis akselerator Jumlah GPU Memori GPU* (GB HBM2) Jumlah vCPU Memori VM (GB) SSD lokal didukung†
nvidia-tesla-v100 1 16 1 hingga 12 1 hingga 78 Ya
2 32 1 hingga 24 1 hingga 156 Ya
4 64 1 hingga 48 1 hingga 312 Ya
8 128 1 hingga 96 1 hingga 624 Ya

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
†Untuk VM dengan GPU NVIDIA V100 terpasang, disk SSD Lokal tidak didukung di us-east1-c.

GPU N1+P100

Anda dapat memasang GPU NVIDIA P100 ke VM tujuan umum N1 dengan konfigurasi VM berikut.

Untuk beberapa GPU NVIDIA P100, CPU dan memori maksimum yang tersedia untuk beberapa konfigurasi bergantung pada zona tempat resource GPU berjalan.

Jenis akselerator Jumlah GPU Memori GPU* (GB HBM2) Jumlah vCPU Memori VM (GB) SSD lokal didukung
nvidia-tesla-p100 atau
nvidia-tesla-p100-vws 		1 16 1 hingga 16 1 hingga 104 Ya
2 32 1 hingga 32 1 hingga 208 Ya
4 64

1 hingga 64
(us-east1-c, europe-west1-d, europe-west1-b)

1 hingga 96
(semua zona P100)

1 hingga 208
(us-east1-c, europe-west1-d, europe-west1-b)

1 hingga 624
(semua zona P100)

 Ya

*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Memori ini terpisah dari memori VM dan dirancang secara khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.

NVIDIA RTX Virtual Workstations (vWS) untuk beban kerja grafis

Jika memiliki workload grafis yang intensif, seperti visualisasi 3D, Anda dapat membuat workstation virtual yang menggunakan NVIDIA RTX Virtual Workstation (vWS) (sebelumnya dikenal sebagai NVIDIA GRID). Saat Anda membuat workstation virtual, lisensi NVIDIA RTX Virtual Workstation (vWS) akan otomatis ditambahkan ke VM Anda.

Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.

Untuk beban kerja grafis, model workstation virtual (vWS) NVIDIA RTX tersedia:

  • Seri mesin G2: untuk jenis mesin G2, Anda dapat mengaktifkan NVIDIA L4 Virtual Workstations (vWS): nvidia-l4-vws

  • Seri mesin N1: untuk jenis mesin N1, Anda dapat mengaktifkan workstation virtual berikut:

    • Workstation Virtual NVIDIA T4: nvidia-tesla-t4-vws
    • Workstation Virtual NVIDIA P100: nvidia-tesla-p100-vws
    • Workstation Virtual NVIDIA P4: nvidia-tesla-p4-vws

Diagram perbandingan umum

Tabel berikut menjelaskan ukuran memori GPU, ketersediaan fitur, dan jenis beban kerja ideal dari berbagai model GPU yang tersedia di Compute Engine.

Model GPU Memori GPU Interkoneksi Dukungan NVIDIA RTX Virtual Workstation (vWS) Paling baik digunakan untuk
H100 80GB HBM3 80 GB @ 3,35 TBps NVLink Mesh Penuh @ 900 GBps Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM
A100 80GB HBM2e 80 GB @ 1,9 TBps NVLink Mesh Penuh @ 600 GBps Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM
A100 40GB HBM2 40 GB @ 1,6 TBps NVLink Mesh Penuh @ 600 GBps Pelatihan ML, Inferensi, HPC
L4 24 GB GDDR6 @ 300 GBps T/A Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video, HPC
T4 16 GB GDDR6 @ 320 GBps T/A Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video
V100 16 GB HBM2 @ 900 GBps NVLink Ring @ 300 GBps Pelatihan ML, Inferensi, HPC
P4 8 GB GDDR5 @ 192 GBps T/A Workstation Visualisasi Jarak Jauh, Inferensi ML, dan Transcoding Video
P100 16 GB HBM2 @ 732 GBps T/A Pelatihan ML, Inferensi, HPC, Workstation Visualisasi Jarak Jauh

Guna membandingkan harga GPU untuk berbagai model dan region GPU yang tersedia di Compute Engine, lihat harga GPU.

Diagram perbandingan performa

Tabel berikut menjelaskan spesifikasi performa berbagai model GPU yang tersedia di Compute Engine.

Performa compute

Model GPU FP64 FP32 FP16 INT8
H100 80GB 34 TFLOPS 67 TFLOP
A100 80GB 9,7 TFLOP 19,5 TFLOP
A100 40GB 9,7 TFLOP 19,5 TFLOP
L4 0,5 TFLOP* 30,3 TFLOP
T4 0,25 TFLOP* 8,1 TFLOP
V100 7,8 TFLOP 15,7 TFLOP
P4 0,2 TFLOP* 5,5 TFLOP 22 TOPS†
P100 4,7 TFLOP 9,3 TFLOP 18,7 TFLOP

*Agar kode FP64 dapat berfungsi dengan benar, sejumlah kecil unit hardware FP64 disertakan dalam arsitektur GPU T4, L4, dan P4.
†TeraOperations per Detik.

Performa Tensor core

Model GPU FP64 TF32 FP16/FP32 presisi campuran INT8 INT4 FP8
H100 80GB 67 TFLOP 989 TFLOPS† 1.979 TFLOPS*, † 3.958 TOPS† 3.958 TFLOPS†
A100 80GB 19,5 TFLOP 156 TFLOP 312 TFLOP* 624 TOPS 1248 TOPS
A100 40GB 19,5 TFLOP 156 TFLOP 312 TFLOP* 624 TOPS 1248 TOPS
L4 120 TFLOP† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOP 130 TOPS 260 TOPS
V100 125 TFLOP
P4
P100

*Untuk pelatihan presisi campuran, GPU NVIDIA H100, A100, dan L4 juga mendukung jenis data bfloat16.
†Untuk GPU H100 dan L4, ketersebaran struktural didukung dan dapat Anda gunakan untuk menggandakan nilai performa. Nilai yang ditampilkan adalah dengan kelangkaan. Spesifikasinya setengah lebih rendah tanpa sparsitas.

Apa langkah selanjutnya?