Tipi di macchine GPU

Puoi utilizzare le GPU su Compute Engine per accelerare carichi di lavoro specifici sulle tue VM, come il machine learning (ML) e l'elaborazione di dati. Per utilizzare le GPU, puoi eseguire il deployment di una VM ottimizzata per l'acceleratore a cui sono collegate GPU oppure per collegare le GPU a una VM N1 per uso generico.

Compute Engine fornisce GPU per le VM in modalità passthrough, le VM hanno il controllo diretto sulle GPU e sulla memoria associata.

Per ulteriori informazioni sulle GPU su Compute Engine, consulta Informazioni sulle GPU.

Per carichi di lavoro ad alta intensità di grafica, ad esempio la visualizzazione 3D, Per il rendering 3D, o applicazioni virtuali, puoi utilizzare NVIDIA RTX (precedentemente noto come NVIDIA GRID).

Questo documento fornisce una panoramica delle diverse VM GPU disponibili su Compute Engine.

Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità di zone e regioni delle GPU.

GPU per carichi di lavoro di calcolo

Per i carichi di lavoro di calcolo, le GPU sono supportate per i seguenti tipi di macchina:

  • VM A3: a queste VM sono collegate automaticamente GPU NVIDIA H100 da 80 GB.
  • VM A2: queste VM hanno NVIDIA A100 da 80 GB o NVIDIA A100 da 40 GB GPU collegate automaticamente.
  • VM G2: a queste VM sono collegate automaticamente GPU NVIDIA L4.
  • VM N1: per queste VM puoi collegare i seguenti modelli di GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 o NVIDIA P4.

Serie di macchine A3

Per utilizzare le GPU NVIDIA H100 da 80 GB, devi utilizzare una macchina A3 ottimizzata per l'acceleratore. Ogni tipo di macchina A3 ha un numero di GPU, un numero di vCPU e una dimensione della memoria fissi.

Le serie di macchine A3 sono disponibili in due tipi:

  • A3 High: questi tipi di macchina hanno GPU H100 da 80 GB (nvidia-h100-80gb) e Dischi SSD locali collegati.
  • A3 Mega: questi tipi di macchina hanno GPU H100 da 80 GB Mega (nvidia-h100-mega-80gb) e dischi SSD locali collegati.

A3 alto

Quando esegui il provisioning di tipi di macchine a3-highgpu-1g, a3-highgpu-2g o a3-highgpu-4g, devi utilizzare VM spot o richieste di ridimensionamento in un gruppo di istanze gestite. Per istruzioni dettagliate su una di queste opzioni, consulta quanto segue:
Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegata (GiB) Conteggio NIC fisici Larghezza di banda di rete massima (Gbps)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1500 1 50
a3-highgpu-4g 4 320 104 936 3000 1 100
a3-highgpu-8g 8 640 208 1.872 6000 5 800

A3 Mega

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegata (GiB) Conteggio NIC fisici Larghezza di banda massima della rete (Gbps)‡
a3-megagpu-8g 8 640 208 1.872 6000 9 1800

* La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separato dalla memoria della VM ed è specificamente progettato per gestire le maggiori esigenze di larghezza di banda dei ad alta intensità di grafica.
†Una vCPU viene implementata come un hyperthread hardware su uno dei sulle piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. Effettivo la larghezza di banda in uscita dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda di rete.

Serie di macchine A2

Per utilizzare le GPU NVIDIA A100 su Google Cloud, devi eseguire il deployment di una macchina A2 ottimizzata per l'acceleratore. Ogni tipo di macchina A2 ha un numero di GPU, un numero di vCPU e una dimensione della memoria fissi.

Le serie di macchine A2 sono disponibili in due tipi:

  • A2 Standard: a questi tipi di macchine sono associate GPU A100 da 40 GB (nvidia-tesla-a100).
  • A2 Ultra: questi tipi di macchine hanno GPU A100 da 80 GB (nvidia-a100-80gb) e Dischi SSD locali collegati.

Standard A2

Tipo di macchina Conteggio GPU Memoria GPU* (GB HBM2) Conteggio vCPU Memoria VM (GB) SSD locale supportato Larghezza di banda massima della rete (Gbps)
a2-highgpu-1g 1 40 12 85 Sì 24
a2-highgpu-2g 2 80 24 170 Sì 32
a2-highgpu-4g 4 160 48 340 Sì 50
a2-highgpu-8g 8 320 96 680 Sì 100
a2-megagpu-16g 16 640 96 1.360 Sì 100

A2 Ultra

Tipo di macchina Conteggio GPU Memoria GPU* (GB HBM2e) Conteggio vCPU Memoria VM (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps)
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1500 50
a2-ultragpu-8g 8 640 96 1.360 3000 100

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separato dalla memoria della VM ed è specificamente progettato per gestire le maggiori esigenze di larghezza di banda dei ad alta intensità di grafica.

Serie di macchine G2

Per utilizzare le GPU NVIDIA L4 (nvidia-l4 o nvidia-l4-vws), devi eseguire il deployment Ottimizzato per l'acceleratore G2 in una macchina virtuale.

A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla VM per ciascun tipo di macchina. Puoi specificare i tuoi durante la creazione della VM.

Tipo di macchina Conteggio GPU Memoria GPU* (GB GDDR6) Conteggio vCPU Memoria predefinita della VM (GB) Intervallo di memoria VM personalizzato (GB) SSD locale massimo supportato (GiB) Larghezza di banda di rete massima (Gbps)
g2-standard-4 1 24 4 16 Da 16 a 32 375 10
g2-standard-8 1 24 8 32 Da 32 a 54 375 16
g2-standard-12 1 24 12 48 Da 48 a 54 375 16
g2-standard-16 1 24 16 64 Da 54 a 64 375 32
g2-standard-24 2 48 24 96 Da 96 a 108 750 32
g2-standard-32 1 24 32 128 Da 96 a 128 375 32
g2-standard-48 4 96 48 192 Da 192 a 216 1500 50
g2-standard-96 8 192 96 384 Da 384 a 432 3000 100

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata appositamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.

Serie di macchine N1

Puoi collegare i seguenti modelli di GPU a un tipo di macchina N1 con del tipo di macchina con core condiviso N1.

Le VM N1 con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero più elevato di GPU consente di creare istanze VM con un di vCPU e memoria.

GPU N1+T4

Puoi collegare NVIDIA T4 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB GDDR6) Conteggio vCPU Memoria VM (GB) SSD locale supportato
nvidia-tesla-t4 o
nvidia-tesla-t4-vws 		1 16 Da 1 a 48 Da 1 a 312 Sì
2 32 Da 1 a 48 Da 1 a 312 Sì
4 64 Da 1 a 96 Da 1 a 624 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata appositamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.

GPU N1+P4

Puoi collegare GPU NVIDIA P4 alle VM N1 per uso generale con le seguenti configurazioni VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB GDDR5) Conteggio vCPU Memoria VM (GB) SSD locale supportata†
nvidia-tesla-p4 o
nvidia-tesla-p4-vws 		1 8 Da 1 a 24 Da 1 a 156 Sì
2 16 Da 1 a 48 Da 1 a 312 Sì
4 32 Da 1 a 96 Da 1 a 624 Sì

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per lo stoccaggio temporaneo dei dati. È separata dalla memoria della VM ed è progettata appositamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Per le VM con GPU NVIDIA P4 collegate, i dischi SSD locali sono supportati solo nelle zone us-central1-c e northamerica-northeast1-b.

GPU N1+V100

Puoi collegare GPU NVIDIA V100 alle VM N1 per uso generale con le seguenti configurazioni VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB HBM2) Conteggio vCPU Memoria VM (GB) SSD locale supportata†
nvidia-tesla-v100 1 16 Da 1 a 12 Da 1 a 78 Sì
2 32 Da 1 a 24 Da 1 a 156 Sì
4 64 Da 1 a 48 Da 1 a 312 Sì
8 128 Da 1 a 96 Da 1 a 624 Sì

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per lo stoccaggio temporaneo dei dati. È separata dalla memoria della VM ed è progettata appositamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di risorse grafiche.
†Per le VM con GPU NVIDIA V100 collegate, i dischi SSD locali non sono supportati in us-east1-c.

GPU N1+P100

Puoi allegare NVIDIA P100 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.

Per alcune GPU NVIDIA P100, la CPU e la memoria massime disponibili alcune configurazioni dipendono dalla zona in cui è in esecuzione la risorsa GPU.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB HBM2) Conteggio vCPU Memoria VM (GB) SSD locale supportato
nvidia-tesla-p100 o
nvidia-tesla-p100-vws 		1 16 Da 1 a 16 Da 1 a 104 Sì
2 32 Da 1 a 32 Da 1 a 208 Sì
4 64

Da 1 a 64
(us-east1-c, europe-west1-d, europe-west1-b)

Da 1 a 96
(tutte le zone P100)

Da 1 a 208
(us-east1-c, europe-west1-d, europe-west1-b)

Da 1 a 624
(tutte le zone P100)

 Sì

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per lo stoccaggio temporaneo dei dati. È separato dalla memoria della VM ed è specificamente progettato per gestire le maggiori esigenze di larghezza di banda dei ad alta intensità di grafica.

Workstation virtuali (vWS) NVIDIA RTX per carichi di lavoro di grafica

Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano le workstation virtuali (vWS) NVIDIA RTX (precedentemente note come NVIDIA GRID). Quando crei un'istanza viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS). alla tua VM.

Per informazioni sui prezzi per le workstation virtuali, vedi Pagina dei prezzi delle GPU.

Per i carichi di lavoro grafici, sono disponibili i seguenti modelli di workstation virtuale (vWS) NVIDIA RTX:

  • Serie di macchine G2: per i tipi di macchine G2, puoi attivare Workstation virtuali NVIDIA L4 (vWS): nvidia-l4-vws

  • Serie di macchine N1: per i tipi di macchine N1, puoi attivare le seguenti workstation virtuali:

    • Workstation virtuali NVIDIA T4: nvidia-tesla-t4-vws
    • Workstation virtuali NVIDIA P100: nvidia-tesla-p100-vws
    • Workstation virtuali NVIDIA P4: nvidia-tesla-p4-vws

Grafico comparativo generale

La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e tipi di carichi di lavoro ideali di diversi modelli di GPU disponibili in Compute Engine.

Modello GPU Memoria GPU Interconnessione Supporto della workstation virtuale (vWS) NVIDIA RTX Ideale per
H100 80GB 80 GB HBM3 a 3,35 TB/s NVLink Full Mesh a 900 GBps Modelli di grandi dimensioni con tabelle di dati enormi per addestramento ML, inferenza, HPC, BERT, DLRM
A100 80GB HBM2e da 80 GB a 1,9 TB/s NVLink Full Mesh a 600 GB/s Modelli di grandi dimensioni con enormi tabelle di dati per addestramento ML, inferenza, HPC BERT, DLRM
A100 40GB 40 GB HBM2 a 1,6 TB/s NVLink Full Mesh a 600 GB/s Addestramento ML, inferenza, HPC
L4 24 GB GDDR6 a 300 GB/s N/D Inferenza ML, addestramento, workstation di visualizzazione remota, Transcodifica video, HPC
T4 16 GB GDDR6 a 320 GBps N/D Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video
V100 16 GB HBM2 a 900 GB/s Anello NVLink a 300 Gbps Addestramento ML, inferenza, HPC
P4 8 GB GDDR5 a 192 GB/s N/D Workstation di visualizzazione remota, inferenza ML e transcodifica video
P100 16 GB HBM2 a 732 GBps N/D Addestramento ML, inferenza, HPC, workstation di visualizzazione remota

Confrontare i prezzi delle GPU per i diversi modelli di GPU e le regioni corrispondenti disponibili su Compute Engine, consulta i prezzi delle GPU.

Grafico di confronto del rendimento

La tabella seguente descrive le specifiche delle prestazioni di diverse GPU disponibili su Compute Engine.

Prestazioni di calcolo

Modello GPU FP64 FP32 FP16 INT8
H100 da 80 GB 34 TFLOPS 67 TFLOPS
A100 80 GB 9,7 TFLOPS 19,5 TFLOPS
A100 40GB 9,7 TFLOPS 19,5 TFLOPS
L4 0,5 TFLOPS* 30,3 TFLOPS
T4 0,25 TFLOPS* 8.1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9,3 TFLOPS 18,7 TFLOPS

* Per consentire il corretto funzionamento del codice FP64, un numero ridotto di FP64 Le unità hardware sono incluse nell'architettura GPU T4, L4 e P4.
†TeraOperations al secondo.

Prestazioni del core tensor

Modello GPU FP64 TF32 FP16/FP32 a precisione mista INT8 INT4 FP8
H100 da 80 GB 67 TFLOPS 989 TFLOPS† 1979 TFLOPS*, † 3958 TOPS† 3958 TFLOPS†
A100 80 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100

* Per l'addestramento con precisione mista, GPU NVIDIA H100, A100 e L4 supporta anche il tipo di dati bfloat16.
†Per le GPU H100 e L4, è supportata la sparsità strutturale, per raddoppiare il valore delle prestazioni. I valori mostrati sono con alla sparsità. Le specifiche sono più basse della metà senza sparsità.

Passaggi successivi