Puoi utilizzare le GPU su Compute Engine per accelerare carichi di lavoro specifici per le tue VM come il machine learning (ML) e l'elaborazione dati. Per utilizzare le GPU, puoi eseguire il deployment di una VM ottimizzata per l'acceleratore a cui sono collegate GPU oppure per collegare le GPU a una VM N1 per uso generico.
Compute Engine fornisce GPU per le VM in modalità passthrough, le VM hanno il controllo diretto sulle GPU e sulla memoria associata.
Per ulteriori informazioni sulle GPU in Compute Engine, consulta Informazioni sulle GPU.
Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, Per il rendering 3D, o applicazioni virtuali, puoi utilizzare NVIDIA RTX (precedentemente noto come NVIDIA GRID).
Questo documento fornisce una panoramica delle diverse VM GPU disponibili su Compute Engine.
Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità di zone e regioni delle GPU.
GPU per carichi di lavoro di calcolo
Per i carichi di lavoro di calcolo, le GPU sono supportate per i seguenti tipi di macchina:
- VM A3: queste VM hanno GPU NVIDIA H100 da 80 GB collegate automaticamente.
- VM A2: queste VM hanno NVIDIA A100 da 80 GB o NVIDIA A100 da 40 GB GPU collegate automaticamente.
- VM G2: queste VM hanno GPU NVIDIA L4 collegate automaticamente.
- VM N1: per queste VM puoi collegare i seguenti modelli di GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 o NVIDIA P4.
Serie di macchine A3
Per eseguire GPU NVIDIA H100 da 80 GB, devi utilizzare un Ottimizzato per l'acceleratore A3 in una macchina virtuale. Ogni tipo di macchina A3 ha un numero di GPU, un numero di vCPU e una dimensione della memoria fissi.
Le serie di macchine A3 sono disponibili in due tipi:
- A3 High (
a3-highgpu-8g
): questi tipi di macchina hanno GPU H100 da 80 GB (nvidia-h100-80gb
) e dischi SSD locali collegati. Oltre alla sezione 200 Gbit/s di larghezza di banda di rete da VM a VM per tutte le VM A3, VM elevate A3 fornisce 800 Gbit/s di larghezza di banda GPU da GPU, fino a un massimo totale velocità di larghezza di banda della rete di 1000 Gbps. - A3 Mega (
a3-megagpu-8g
): questi tipi di macchina hanno GPU H100 Mega da 80 GB (nvidia-h100-mega-80gb
) e dischi SSD locali collegati. Oltre alla sezione 200 Gbit/s di larghezza di banda di rete da VM a VM per tutte le VM A3, VM A3 Mega fornisce 1600 Gbit/s di larghezza di banda GPU per GPU, portando a un numero massimo totale velocità di larghezza di banda della rete di 1800 Gbps.
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Conteggio vCPU | Memoria VM (GB) | SSD locale collegato (GiB) | Larghezza di banda massima di rete (Gbps) | |
---|---|---|---|---|---|---|---|
Da VM a VM | Cluster GPU | ||||||
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 200 | 800 |
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 200 | 1.600 |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
Serie di macchine A2
Per utilizzare le GPU NVIDIA A100 su Google Cloud, devi eseguire il deployment Ottimizzato per l'acceleratore A2 in una macchina virtuale. Ogni tipo di macchina A2 ha un numero di GPU, un numero di vCPU e una dimensione della memoria fissi.
Le serie di macchine A2 sono disponibili in due tipi:
- A2 Standard: questi tipi di macchina hanno GPU A100 da 40 GB (
nvidia-tesla-a100
) in allegato. - A2 Ultra: questi tipi di macchine hanno GPU A100 da 80 GB (
nvidia-a100-80gb
) e Dischi SSD locali collegati.
Standard A2
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM2) | Conteggio vCPU | Memoria VM (GB) | SSD locale supportato | Larghezza di banda massima di rete (Gbps) |
---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Sì | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Sì | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Sì | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Sì | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1.360 | Sì | 100 |
A2 Ultra
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM2e) | Conteggio vCPU | Memoria VM (GB) | SSD locale collegato (GiB) | Larghezza di banda massima di rete (Gbps) |
---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1.360 | 3000 | 100 |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
Serie di macchine G2
Per utilizzare le GPU NVIDIA L4
(nvidia-l4
o nvidia-l4-vws
), devi eseguire il deployment
Ottimizzato per l'acceleratore G2
in una macchina virtuale.
Ogni tipo di macchina G2 ha un numero fisso di GPU NVIDIA L4 e vCPU collegate. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria. L'intervallo di memoria personalizzato definisce la quantità di memoria che che puoi allocare alla tua VM per ogni tipo di macchina. Puoi specificare i tuoi durante la creazione della VM.
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB GDDR6) | Conteggio vCPU | Memoria VM predefinita (GB) | Intervallo di memoria VM personalizzata (GB) | SSD locale massimo supportato (GiB) | Larghezza di banda massima di rete (Gbps) |
---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | Da 16 a 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | Da 32 a 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | Da 48 a 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | Da 54 a 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | Da 96 a 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | Da 96 a 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | Da 192 a 216 | 1500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | Da 384 a 432 | 3000 | 100 |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
Serie di macchine N1
Puoi collegare i seguenti modelli di GPU a un tipo di macchina N1 con del tipo di macchina con core condiviso N1.
Le VM N1 con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero più elevato di GPU consente di creare istanze VM con un di vCPU e memoria.
GPU N1+T4
Puoi collegare NVIDIA T4 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.
Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB GDDR6) | Conteggio vCPU | Memoria VM (GB) | SSD locale supportato |
---|---|---|---|---|---|
nvidia-tesla-t4 o nvidia-tesla-t4-vws
|
1 | 16 | Da 1 a 48 | Da 1 a 312 | Sì |
2 | 32 | Da 1 a 48 | Da 1 a 312 | Sì | |
4 | 64 | Da 1 a 96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
GPU N1+P4
Puoi allegare NVIDIA P4 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.
Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB GDDR5) | Conteggio vCPU | Memoria VM (GB) | SSD locale supportato† |
---|---|---|---|---|---|
nvidia-tesla-p4 o nvidia-tesla-p4-vws
|
1 | 8 | Da 1 a 24 | Da 1 a 156 | Sì |
2 | 16 | Da 1 a 48 | Da 1 a 312 | Sì | |
4 | 32 | Da 1 a 96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
†Per le VM con GPU NVIDIA P4 collegate, dischi SSD locali
sono supportati solo nelle zone us-central1-c
e
northamerica-northeast1-b
.
GPU N1 + V100
Puoi allegare NVIDIA V100 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.
Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB HBM2) | Conteggio vCPU | Memoria VM (GB) | SSD locale supportato† |
---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | Da 1 a 12 | Da 1 a 78 | Sì |
2 | 32 | Da 1 a 24 | Da 1 a 156 | Sì | |
4 | 64 | Da 1 a 48 | Da 1 a 312 | Sì | |
8 | 128 | Da 1 a 96 | Da 1 a 624 | Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
† Per le VM con GPU NVIDIA V100 collegate, dischi SSD locali
non sono supportati in us-east1-c
.
GPU N1+P100
Puoi allegare NVIDIA P100 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.
Per alcune GPU NVIDIA P100, la CPU e la memoria massime disponibili alcune configurazioni dipendono dalla zona in cui è in esecuzione la risorsa GPU.
Tipo di acceleratore | Conteggio GPU | Memoria GPU* (GB HBM2) | Conteggio vCPU | Memoria VM (GB) | SSD locale supportato |
---|---|---|---|---|---|
nvidia-tesla-p100 o nvidia-tesla-p100-vws
|
1 | 16 | Da 1 a 16 | Da 1 a 104 | Sì |
2 | 32 | Da 1 a 32 | Da 1 a 208 | Sì | |
4 | 64 | Da 1 a 64 Da 1 a 96 |
Da 1 a 208 Da 1 a 624 |
Sì |
* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.
Workstation virtuali (vWS) NVIDIA RTX per carichi di lavoro di grafica
Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano NVIDIA RTX Virtual Workstations (vWS) (precedentemente nota come NVIDIA GRID). Quando crei un'istanza viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS). alla tua VM.
Per informazioni sui prezzi per le workstation virtuali, vedi Pagina dei prezzi delle GPU.
Per i carichi di lavoro di grafica, sono disponibili i modelli di workstation virtuali (vWS) NVIDIA RTX:
Serie di macchine G2: per i tipi di macchine G2, puoi attivare Workstation virtuali NVIDIA L4 (vWS):
nvidia-l4-vws
Serie di macchine N1: per i tipi di macchine N1, puoi abilitare le seguenti opzioni workstation virtuali:
- Workstation virtuali NVIDIA T4:
nvidia-tesla-t4-vws
- Workstation virtuali NVIDIA P100:
nvidia-tesla-p100-vws
- Workstation virtuali NVIDIA P4:
nvidia-tesla-p4-vws
- Workstation virtuali NVIDIA T4:
Grafico comparativo generale
La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e tipi di carichi di lavoro ideali sui modelli di GPU disponibili, in Compute Engine.
Modello GPU | Memoria GPU | Interconnessione | Supporto di NVIDIA RTX Virtual Workstation (vWS) | Ideale per |
---|---|---|---|---|
H100 80GB | 80 GB HBM3 a 3,35 TB/s | NVLink Full Mesh a 900 Gbps | Modelli di grandi dimensioni con enormi tabelle di dati per addestramento ML, inferenza, HPC BERT, DLRM | |
A100 80GB | 80 GB HBM2e a 1,9 TB/s | NVLink Full Mesh a 600 Gbps | Modelli di grandi dimensioni con enormi tabelle di dati per addestramento ML, inferenza, HPC BERT, DLRM | |
A100 40GB | 40 GB HBM2 a 1,6 TB/s | NVLink Full Mesh a 600 Gbps | Addestramento ML, inferenza, HPC | |
L4 | 24 GB GDDR6 a 300 GB/s | N/D | Inferenza ML, addestramento, workstation di visualizzazione remota, Transcodifica video, HPC | |
T4 | 16 GB GDDR6 a 320 GBps | N/D | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video | |
V100 | 16 GB HBM2 a 900 GB/s | Anello NVLink a 300 Gbps | Addestramento ML, inferenza, HPC | |
P4 | 8 GB GDDR5 a 192 GBps | N/D | Workstation di visualizzazione remota, inferenza ML e transcodifica video | |
P100 | 16 GB HBM2 a 732 GBps | N/D | Addestramento ML, inferenza, HPC, workstation di visualizzazione remota |
Confrontare i prezzi delle GPU per i diversi modelli di GPU e le regioni corrispondenti disponibili su Compute Engine, consulta i prezzi delle GPU.
Grafico di confronto del rendimento
La tabella seguente descrive le specifiche delle prestazioni di diverse GPU disponibili su Compute Engine.
Prestazioni di calcolo
Modello GPU | FP64 | FP32 | FP16 | INT8 |
---|---|---|---|---|
H100 80GB | 34 TFLOPS | 67 TFLOPS | ||
A100 80GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
A100 40GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
L4 | 0,5 TFLOPS* | 30,3 TFLOPS | ||
T4 | 0,25 TFLOPS* | 8.1 TFLOPS | ||
V100 | 7,8 TFLOPS | 15,7 TFLOPS | ||
P4 | 0,2 TFLOPS* | 5,5 TFLOPS | 22 TOPS† | |
P100 | 4,7 TFLOPS | 9.3 TFLOPS | 18,7 TFLOPS |
* Per consentire il corretto funzionamento del codice FP64, un numero ridotto di FP64 Le unità hardware sono incluse nell'architettura GPU T4, L4 e P4.
†TeraOperations al secondo.
Prestazioni Tensor Core
Modello GPU | FP64 | TF32 | FP16/FP32 a precisione mista | INT8 | INT4 | FP8 |
---|---|---|---|---|---|---|
H100 80GB | 67 TFLOPS | 989 TFLOPS† | 1979 TFLOPS*, † | 3.958 TOPS† | 3958 TFLOPS† | |
A100 80GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
A100 40GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
L4 | 120 TFLOPS† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
T4 | 65 TFLOPS | 130 TOPS | 260 TOPS | |||
V100 | 125 TFLOPS | |||||
P4 | ||||||
P100 |
* Per l'addestramento con precisione mista, GPU NVIDIA H100, A100 e L4
supporta anche il tipo di dati bfloat16
.
†Per le GPU H100 e L4, è supportata la sparsità strutturale, per raddoppiare il valore delle prestazioni. I valori mostrati sono con alla sparsità. Le specifiche sono più basse della metà senza sparsità.
Passaggi successivi
- Per ulteriori informazioni sulle GPU in Compute Engine, consulta Informazioni sulle GPU.
- Esamina la disponibilità di regioni e zone delle GPU.
- Scopri di più sui prezzi delle GPU.