Compute Engine menyediakan unit pemrosesan grafis (GPU) yang dapat Anda tambahkan ke instance virtual machine (VM) Anda. Anda dapat menggunakan GPU ini untuk mempercepat workload tertentu pada VM Anda, seperti machine learning dan pemrosesan data.
Compute Engine menyediakan GPU NVIDIA untuk VM Anda dalam mode passthrough sehingga VM Anda memiliki kontrol langsung atas GPU dan memori terkaitnya.
Jika memiliki workload grafis intensif, seperti visualisasi 3D, rendering 3D, atau aplikasi virtual, Anda dapat menggunakan workstation virtual NVIDIA RTX (sebelumnya dikenal sebagai NVIDIA GRID).
Dokumen ini memberikan ringkasan tentang berbagai model GPU yang tersedia di Compute Engine.
Untuk melihat region dan zona yang tersedia untuk GPU di Compute Engine, lihat Ketersediaan zona dan region GPU.
GPU NVIDIA untuk workload compute
Untuk beban kerja compute, model GPU tersedia dalam tahap berikut:
- NVIDIA H100 80 GB:
nvidia-h100-80gb: Tersedia secara Umum - NVIDIA L4:
nvidia-l4: Tersedia secara Umum - NVIDIA A100
- NVIDIA A100 40 GB:
nvidia-tesla-a100: Tersedia secara Umum - NVIDIA A100 80 GB:
nvidia-a100-80gb: Tersedia secara Umum
- NVIDIA A100 40 GB:
- NVIDIA T4:
nvidia-tesla-t4: Tersedia secara Umum - NVIDIA V100:
nvidia-tesla-v100: Tersedia secara Umum - NVIDIA P100:
nvidia-tesla-p100: Tersedia Umum - NVIDIA P4:
nvidia-tesla-p4: Tersedia secara Umum - NVIDIA K80:
nvidia-tesla-k80: Tersedia secara Umum. Lihat akhir dukungan NVIDIA K80.
GPU NVIDIA H100
Untuk menjalankan GPU NVIDIA H100 80 GB, Anda harus menggunakan jenis mesin yang dioptimalkan akselerator A3.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA H100 | a3-highgpu-8g |
8 GPU | HBM3 640 GB | 208 vCPU | 1.872 GB | Paket (6.000 GB) |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA L4
Untuk menjalankan GPU NVIDIA L4, Anda harus menggunakan jenis mesin yang dioptimalkan akselerator G2.
Setiap jenis mesin G2 memiliki GPU NVIDIA L4 dan vCPU dalam jumlah tetap yang terpasang. Setiap jenis mesin G2 juga memiliki memori default dan rentang memori kustom. Rentang memori kustom menentukan jumlah memori yang dapat Anda alokasikan ke VM untuk setiap jenis mesin. Anda dapat menentukan memori kustom selama pembuatan VM.
| Model GPU | Machine type | GPU | Memori GPU* | vCPUs | Memori default | Rentang memori kustom | SSD lokal maksimum yang didukung |
|---|---|---|---|---|---|---|---|
| NVIDIA L4 | g2-standard-4 |
1 GPU | 24 GB GDDR6 | 4 vCPUs | 16 GB | 16 - 32 GB | 375 GB |
g2-standard-8 |
1 GPU | 24 GB GDDR6 | 8 vCPU | 32 GB | 32 - 54 GB | 375 GB | |
g2-standard-12 |
1 GPU | 24 GB GDDR6 | 12 vCPU | 48 GB | 48 - 54 GB | 375 GB | |
g2-standard-16 |
1 GPU | 24 GB GDDR6 | 16 vCPU | 64 GB | 54 - 64 GB | 375 GB | |
g2-standard-24 |
2 GPU | 48 GB GDDR6 | 24 vCPU | 96 GB | 96 - 108 GB | 750 GB | |
g2-standard-32 |
1 GPU | 24 GB GDDR6 | 32 vCPU | 128 GB | 96 - 128 GB | 375 GB | |
g2-standard-48 |
4 GPU | 96 GB GDDR6 | 48 vCPU | 192 GB | 192 - 216 GB | 1.500 GB | |
g2-standard-96 |
8 GPU | 192 GB GDDR6 | 96 vCPU | 384 GB | 384 - 432 GB | 3000 GB |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA A100
Untuk menjalankan GPU NVIDIA A100, Anda harus menggunakan jenis mesin yang dioptimalkan akselerator A2.
Setiap jenis mesin A2 memiliki jumlah GPU tetap, jumlah vCPU, dan ukuran memori.
A100 40GB
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA A100 40GB | a2-highgpu-1g |
1 GPU | 40 GB HBM2 | 12 vCPU | 85 GB | Ya |
a2-highgpu-2g |
2 GPU | 80 GB HBM2 | 24 vCPU | 170 GB | Ya | |
a2-highgpu-4g |
4 GPU | 160 GB HBM2 | 48 vCPU | 340 GB | Ya | |
a2-highgpu-8g |
8 GPU | 320 GB HBM2 | 96 vCPU | 680 GB | Ya | |
a2-megagpu-16g |
16 GPUs | 640 GB HBM2 | 96 vCPU | 1360 GB | Ya |
A100 80GB
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA A100 80GB | a2-ultragpu-1g |
1 GPU | HBM2e 80 GB | 12 vCPU | 170 GB | Paket (375 GB) |
a2-ultragpu-2g |
2 GPU | HBM2e 160 GB | 24 vCPU | 340 GB | Paket (750 GB) | |
a2-ultragpu-4g |
4 GPU | HBM2e 320 GB | 48 vCPU | 680 GB | Paket (1,5 TB) | |
a2-ultragpu-8g |
8 GPU | HBM2e 640 GB | 96 vCPU | 1360 GB | Paket (3 TB) |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA T4
VM dengan jumlah GPU lebih rendah dibatasi hingga jumlah maksimum vCPU. Secara umum, dengan jumlah GPU yang lebih tinggi, Anda dapat membuat instance dengan jumlah vCPU dan memori yang lebih tinggi.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA T4 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 16 GB GDDR6 | 1 - 48 vCPU | 1 - 312 GB | Ya |
| 2 GPU | 32 GB GDDR6 | 1 - 48 vCPU | 1 - 312 GB | Ya | ||
| 4 GPU | 64 GB GDDR6 | 1 - 96 vCPU | 1 - 624 GB | Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA P4
Untuk GPU P4, SSD lokal hanya didukung di region tertentu, lihat Ketersediaan SSD lokal menurut region dan zona GPU.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA P4 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 8 GB GDDR5 | 1 - 24 vCPU | 1 - 156 GB | Ya |
| 2 GPU | 16 GB GDDR5 | 1 - 48 vCPU | 1 - 312 GB | Ya | ||
| 4 GPU | 32 GB GDDR5 | 1 - 96 vCPU | 1 - 624 GB | Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA V100
Untuk GPU V100, SSD lokal hanya didukung di region tertentu, lihat Ketersediaan SSD lokal menurut region dan zona GPU.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA V100 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 16 GB HBM2 | 1 - 12 vCPU | 1 - 78 GB | Ya |
| 2 GPU | 32 GB HBM2 | 1 - 24 vCPU | 1 - 156 GB | Ya | ||
| 4 GPU | 64 GB HBM2 | 1 - 48 vCPU | 1 - 312 GB | Ya | ||
| 8 GPU | 128 GB HBM2 | 1 - 96 vCPU | 1 - 624 GB | Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA P100
Untuk beberapa GPU P100, CPU dan memori maksimum yang tersedia untuk beberapa konfigurasi bergantung pada zona tempat resource GPU berjalan.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA P100 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 16 GB HBM2 | 1 - 16 vCPU | 1 - 104 GB | Ya |
| 2 GPU | 32 GB HBM2 | 1 - 32 vCPU | 1 - 208 GB | Ya | ||
| 4 GPU | 64 GB HBM2 | 1 - 64 vCPU 1 - 96 vCPU |
1 - 208 GB 1 - 624 GB |
Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA K80
Board NVIDIA K80® berisi masing-masing dua GPU. Harga GPU K80 adalah berdasarkan GPU, bukan berdasarkan board.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| NVIDIA K80 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 12 GB GDDR5 | 1 - 8 vCPU | 1 - 52 GB | Ya |
| 2 GPU | 24 GB GDDR5 | 1 - 16 vCPU | 1 - 104 GB | Ya | ||
| 4 GPU | 48 GB GDDR5 | 1 - 32 vCPU | 1 - 208 GB | Ya | ||
| 8 GPU | 96 GB GDDR5 | 1 - 64 vCPU | 1 - 416 GB 1 - 208 GB |
Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
NVIDIA RTX Virtual Workstations (vWS) untuk beban kerja grafis
Jika memiliki workload grafis yang intensif, seperti visualisasi 3D, Anda dapat membuat workstation virtual yang menggunakan NVIDIA RTX Virtual Workstation (vWS) (sebelumnya dikenal sebagai NVIDIA GRID). Saat Anda membuat workstation virtual, lisensi NVIDIA RTX Virtual Workstation (vWS) akan otomatis ditambahkan ke VM Anda.
Untuk mengetahui informasi tentang harga workstation virtual, lihat halaman harga GPU.
Untuk beban kerja grafis, model workstation virtual (vWS) NVIDIA RTX tersedia dalam tahap berikut:
- Workstation Virtual NVIDIA L4:
nvidia-l4-vws: Tersedia Umum - Workstation Virtual NVIDIA T4:
nvidia-tesla-t4-vws: Tersedia Umum - Workstation Virtual NVIDIA P100:
nvidia-tesla-p100-vws: Tersedia Umum - Workstation Virtual NVIDIA P4:
nvidia-tesla-p4-vws: Tersedia Umum
GPU NVIDIA L4 vWS
| Model GPU | Machine type | GPU | Memori GPU | vCPUs | Memori default | Rentang memori kustom | SSD lokal maksimum yang didukung |
|---|---|---|---|---|---|---|---|
| Workstation Virtual NVIDIA L4 | g2-standard-4 |
1 GPU | 24 GB GDDR6 | 4 vCPUs | 16 GB | 16 - 32 GB | 375 GB |
g2-standard-8 |
1 GPU | 24 GB GDDR6 | 8 vCPU | 32 GB | 32 - 54 GB | 375 GB | |
g2-standard-12 |
1 GPU | 24 GB GDDR6 | 12 vCPU | 48 GB | 48 - 54 GB | 375 GB | |
g2-standard-16 |
1 GPU | 24 GB GDDR6 | 16 vCPU | 64 GB | 54 - 64 GB | 375 GB | |
g2-standard-24 |
2 GPU | 48 GB GDDR6 | 24 vCPU | 96 GB | 96 - 108 GB | 750 GB | |
g2-standard-32 |
1 GPU | 24 GB GDDR6 | 32 vCPU | 128 GB | 96 - 128 GB | 375 GB | |
g2-standard-48 |
4 GPU | 96 GB GDDR6 | 48 vCPU | 192 GB | 192 - 216 GB | 1.500 GB | |
g2-standard-96 |
8 GPU | 192 GB GDDR6 | 96 vCPU | 384 GB | 384 - 432 GB | 3000 GB |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU vWS NVIDIA T4
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| Workstation Virtual NVIDIA T4 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 16 GB GDDR6 | 1 - 48 vCPU | 1 - 312 GB | Ya |
| 2 GPU | 32 GB GDDR6 | 1 - 48 vCPU | 1 - 312 GB | Ya | ||
| 4 GPU | 64 GB GDDR6 | 1 - 96 vCPU | 1 - 624 GB | Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU vWS NVIDIA P4
Untuk GPU P4, SSD lokal hanya didukung di region tertentu, lihat Ketersediaan SSD lokal menurut region dan zona GPU.
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| Workstation Virtual NVIDIA P4 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 8 GB GDDR5 | 1 - 16 vCPU | 1 - 156 GB | Ya |
| 2 GPU | 16 GB GDDR5 | 1 - 48 vCPU | 1 - 312 GB | Ya | ||
| 4 GPU | 32 GB GDDR5 | 1 - 96 vCPU | 1 - 624 GB | Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
GPU NVIDIA P100 vWS
| Model GPU | Machine type | GPU | Memori GPU* | vCPU yang tersedia | Memori yang tersedia | SSD lokal didukung |
|---|---|---|---|---|---|---|
| Workstation Virtual NVIDIA P100 | Seri mesin N1 kecuali dengan inti bersama N1 | 1 GPU | 16 GB HBM2 | 1 - 16 vCPU | 1 - 104 GB | Ya |
| 2 GPU | 32 GB HBM2 | 1 - 32 vCPU | 1 - 208 GB | Ya | ||
| 4 GPU | 64 GB HBM2 | 1 - 64 vCPU 1 - 96 vCPU |
1 - 208 GB 1 - 624 GB |
Ya |
*Memori GPU adalah memori yang tersedia di perangkat GPU yang dapat digunakan untuk penyimpanan data sementara. Laptop ini terpisah dari memori VM dan dirancang khusus untuk menangani permintaan bandwidth yang lebih tinggi dari workload intensif grafis Anda.
Diagram perbandingan umum
Tabel berikut menjelaskan ukuran memori GPU, ketersediaan fitur, dan jenis beban kerja ideal dari berbagai model GPU yang tersedia di Compute Engine.
| Model GPU | Memori | Interconnect | Dukungan NVIDIA RTX Virtual Workstation (vWS) | Paling baik digunakan untuk |
|---|---|---|---|---|
| H100 80GB | HBM3 80 GB @ 3,35 TBps | NVLink Full Mesh @ 900 GBps | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM | |
| A100 80GB | HBM2e 80 GB @ 1,9 TBps | NVLink Full Mesh @ 600 GBps | Model besar dengan tabel data besar untuk Pelatihan ML, Inferensi, HPC, BERT, DLRM | |
| A100 40GB | HBM2 40 GB @ 1,6 TBps | NVLink Full Mesh @ 600 GBps | Pelatihan ML, Inferensi, HPC | |
| L4 | GDDR6 24 GB @ 300 GBps | T/A | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video, HPC | |
| T4 | GDDR6 16 GB @ 320 GBps | T/A | Inferensi ML, Pelatihan, Workstation Visualisasi Jarak Jauh, Transcoding Video | |
| V100 | HBM2 16 GB @ 900 GBps | Dering NVLink @ 300 GBps | Pelatihan ML, Inferensi, HPC | |
| P4 | GDDR5 8 GB @ 192 GBps | T/A | Workstation Visualisasi Jarak Jauh, Inferensi ML, dan Transcoding Video | |
| P100 | HBM2 16 GB @ 732 GBps | T/A | Pelatihan ML, Inferensi, HPC, Workstation Visualisasi Jarak Jauh | |
| K80EOL | GDDR5 12 GB @ 240 GBps | T/A | Inferensi ML, Pelatihan, HPC |
Guna membandingkan harga GPU untuk berbagai model dan region GPU yang tersedia di Compute Engine, lihat harga GPU.
Diagram perbandingan performa
Tabel berikut menjelaskan spesifikasi performa berbagai model GPU yang tersedia di Compute Engine.
Performa compute
| Model GPU | FP64 | FP32 | FP16 | INT8 |
|---|---|---|---|---|
| H100 80GB | 34 TFLOP | 67 TFLOP | ||
| A100 80GB | 9,7 TFLOP | 19,5 TFLOP | ||
| A100 40GB | 9,7 TFLOP | 19,5 TFLOP | ||
| L4 | 0,5 TFLOP* | 30,3 TFLOP | ||
| T4 | 0,25 TFLOP* | 8,1 TFLOP | ||
| V100 | 7,8 TFLOP | 15,7 TFLOP | ||
| P4 | 0,2 TFLOP* | 5,5 TFLOP | 22 TOPS† | |
| P100 | 4,7 TFLOP | 9,3 TFLOP | 18,7 TFLOP | |
| K80EOL | 1,46 TFLOP | 4,37 TFLOP |
*Agar kode FP64 dapat berfungsi dengan benar, sejumlah kecil unit hardware FP64 disertakan dalam arsitektur GPU T4, L4, dan P4.
†TeraOperations per Detik.
Performa Tensor core
| Model GPU | FP64 | TF32 | FP16/FP32 presisi campuran | INT8 | INT4 | FP8 |
|---|---|---|---|---|---|---|
| H100 80GB | 67 TFLOP | 989 TFLOP† | 1.979 TFLOPS*, † | 3.958 TOPS† | 3.958 TFLOP† | |
| A100 80GB | 19,5 TFLOP | 156 TFLOP | 312 TFLOP* | 624 TOPS | 1248 TOPS | |
| A100 40GB | 19,5 TFLOP | 156 TFLOP | 312 TFLOP* | 624 TOPS | 1248 TOPS | |
| L4 | 120 TFLOP† | 242 TFLOP*, † | 485 TOPS† | 485 TFLOP† | ||
| T4 | 65 TFLOP | 130 TOPS | 260 TOPS | |||
| V100 | 125 TFLOP | |||||
| P4 | ||||||
| P100 | ||||||
| K80EOL |
*Untuk pelatihan presisi campuran, GPU NVIDIA H100, A100, dan L4
juga mendukung jenis data bfloat16.
†Untuk GPU H100 dan L4, ketersebaran struktural didukung yang dapat Anda gunakan untuk menggandakan nilai performa. Nilai yang ditampilkan adalah dengan ketersebaran. Spesifikasi satu setengah lebih rendah tanpa ketersebaran.
Apa langkah selanjutnya?
- Untuk mengetahui informasi selengkapnya tentang GPU di Compute Engine, lihat Tentang GPU.
- Tinjau ketersediaan region dan zona GPU.
- Pelajari harga GPU.