Tipi di macchine GPU

Puoi utilizzare le GPU su Compute Engine per accelerare carichi di lavoro specifici per le tue VM come il machine learning (ML) e l'elaborazione dati. Per utilizzare le GPU, puoi eseguire il deployment di una VM ottimizzata per l'acceleratore a cui sono collegate GPU oppure per collegare le GPU a una VM N1 per uso generico.

Compute Engine fornisce GPU per le VM in modalità passthrough, le VM hanno il controllo diretto sulle GPU e sulla memoria associata.

Per ulteriori informazioni sulle GPU in Compute Engine, consulta Informazioni sulle GPU.

Per carichi di lavoro ad alta intensità di grafica, ad esempio la visualizzazione 3D, Per il rendering 3D, o applicazioni virtuali, puoi utilizzare NVIDIA RTX (precedentemente noto come NVIDIA GRID).

Questo documento fornisce una panoramica delle diverse VM GPU disponibili su Compute Engine.

Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità di zone e regioni delle GPU.

GPU per carichi di lavoro di calcolo

Per i carichi di lavoro di calcolo, le GPU sono supportate per i seguenti tipi di macchina:

  • VM A3: queste VM hanno GPU NVIDIA H100 da 80 GB collegate automaticamente.
  • VM A2: queste VM hanno NVIDIA A100 da 80 GB o NVIDIA A100 da 40 GB GPU collegate automaticamente.
  • VM G2: queste VM hanno GPU NVIDIA L4 collegate automaticamente.
  • VM N1: per queste VM puoi collegare i seguenti modelli di GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 o NVIDIA P4.

Serie di macchine A3

Per eseguire GPU NVIDIA H100 da 80 GB, devi utilizzare un Ottimizzato per l'acceleratore A3 in una macchina virtuale. Ogni tipo di macchina A3 ha un numero di GPU, un numero di vCPU e una dimensione della memoria fissi.

Le serie di macchine A3 sono disponibili in due tipi:

  • a3-highgpu-8g: questi tipi di macchina hanno GPU H100 da 80 GB (nvidia-h100-80gb) e dischi SSD locali collegati, oltre a una velocità di larghezza di banda di rete massima totale pari a 1000 Gbit/s.
  • a3-megagpu-8g: questi tipi di macchina hanno GPU H100 Mega da 80 GB (nvidia-h100-mega-80gb) e dischi SSD locali collegati e un numero massimo totale di velocità di larghezza di banda della rete di 1800 Gbps.
Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Conteggio vCPU Memoria VM (GB) SSD locale collegato (GiB) Larghezza di banda di rete massima (Gbps)
VM Cluster GPU
a3-highgpu-8g 8 640 208 1.872 6000 200 800
a3-megagpu-8g 8 640 208 1.872 6000 200 1.600

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

Serie di macchine A2

Per utilizzare le GPU NVIDIA A100 su Google Cloud, devi eseguire il deployment Ottimizzato per l'acceleratore A2 in una macchina virtuale. Ogni tipo di macchina A2 ha un numero di GPU, un numero di vCPU e una dimensione della memoria fissi.

Le serie di macchine A2 sono disponibili in due tipi:

  • A2 Standard: questi tipi di macchina hanno GPU A100 da 40 GB (nvidia-tesla-a100) in allegato.
  • A2 Ultra: questi tipi di macchine hanno GPU A100 da 80 GB (nvidia-a100-80gb) e Dischi SSD locali collegati.

Standard A2

Tipo di macchina Conteggio GPU Memoria GPU* (GB HBM2) Conteggio vCPU Memoria VM (GB) SSD locale supportato Larghezza di banda di rete massima (Gbps)
a2-highgpu-1g 1 40 12 85 Sì 24
a2-highgpu-2g 2 80 24 170 Sì 32
a2-highgpu-4g 4 160 48 340 Sì 50
a2-highgpu-8g 8 320 96 680 Sì 100
a2-megagpu-16g 16 640 96 1.360 Sì 100

A2 Ultra

Tipo di macchina Conteggio GPU Memoria GPU* (GB HBM2e) Conteggio vCPU Memoria VM (GB) SSD locale collegato (GiB) Larghezza di banda di rete massima (Gbps)
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1500 50
a2-ultragpu-8g 8 640 96 1.360 3000 100

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

Serie di macchine G2

Per utilizzare le GPU NVIDIA L4 (nvidia-l4 o nvidia-l4-vws), devi eseguire il deployment Ottimizzato per l'acceleratore G2 in una macchina virtuale.

Ogni tipo di macchina G2 ha un numero fisso di GPU NVIDIA L4 e vCPU collegate. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria. L'intervallo di memoria personalizzato definisce la quantità di memoria che che puoi allocare alla tua VM per ogni tipo di macchina. Puoi specificare i tuoi durante la creazione della VM.

Tipo di macchina Conteggio GPU Memoria GPU* (GB GDDR6) Conteggio vCPU Memoria VM predefinita (GB) Intervallo di memoria VM personalizzata (GB) SSD locale massimo supportato (GiB) Larghezza di banda di rete massima (Gbps)
g2-standard-4 1 24 4 16 Da 16 a 32 375 10
g2-standard-8 1 24 8 32 Da 32 a 54 375 16
g2-standard-12 1 24 12 48 Da 48 a 54 375 16
g2-standard-16 1 24 16 64 Da 54 a 64 375 32
g2-standard-24 2 48 24 96 Da 96 a 108 750 32
g2-standard-32 1 24 32 128 Da 96 a 128 375 32
g2-standard-48 4 96 48 192 Da 192 a 216 1500 50
g2-standard-96 8 192 96 384 Da 384 a 432 3000 100

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

Serie di macchine N1

Puoi collegare i seguenti modelli di GPU a un tipo di macchina N1 con del tipo di macchina con core condiviso N1.

Le VM N1 con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero più elevato di GPU consente di creare istanze VM con un di vCPU e memoria.

GPU N1+T4

Puoi collegare NVIDIA T4 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB GDDR6) Conteggio vCPU Memoria VM (GB) SSD locale supportato
nvidia-tesla-t4 o
nvidia-tesla-t4-vws 		1 16 Da 1 a 48 Da 1 a 312 Sì
2 32 Da 1 a 48 Da 1 a 312 Sì
4 64 Da 1 a 96 Da 1 a 624 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

GPU N1+P4

Puoi allegare NVIDIA P4 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB GDDR5) Conteggio vCPU Memoria VM (GB) SSD locale supportato†
nvidia-tesla-p4 o
nvidia-tesla-p4-vws 		1 8 Da 1 a 24 Da 1 a 156 Sì
2 16 Da 1 a 48 Da 1 a 312 Sì
4 32 Da 1 a 96 Da 1 a 624 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

†Per le VM con GPU NVIDIA P4 collegate, dischi SSD locali sono supportati solo nelle zone us-central1-c e northamerica-northeast1-b.

GPU N1 + V100

Puoi allegare NVIDIA V100 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB HBM2) Conteggio vCPU Memoria VM (GB) SSD locale supportato†
nvidia-tesla-v100 1 16 Da 1 a 12 Da 1 a 78 Sì
2 32 Da 1 a 24 Da 1 a 156 Sì
4 64 Da 1 a 48 Da 1 a 312 Sì
8 128 Da 1 a 96 Da 1 a 624 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

† Per le VM con GPU NVIDIA V100 collegate, dischi SSD locali non sono supportati in us-east1-c.

GPU N1+P100

Puoi allegare NVIDIA P100 Da GPU a VM per uso generico N1 con le seguenti configurazioni di VM.

Per alcune GPU NVIDIA P100, la CPU e la memoria massime disponibili alcune configurazioni dipendono dalla zona in cui è in esecuzione la risorsa GPU.

Tipo di acceleratore Conteggio GPU Memoria GPU* (GB HBM2) Conteggio vCPU Memoria VM (GB) SSD locale supportato
nvidia-tesla-p100 o
nvidia-tesla-p100-vws 		1 16 Da 1 a 16 Da 1 a 104 Sì
2 32 Da 1 a 32 Da 1 a 208 Sì
4 64

Da 1 a 64
(us-east1-c, europe-west1-d, europe-west1-b)

Da 1 a 96
(tutte le zone P100)

Da 1 a 208
(us-east1-c, europe-west1-d, europe-west1-b)

Da 1 a 624
(tutte le zone P100)

 Sì

* La memoria GPU è la memoria disponibile su un dispositivo GPU utilizzabili per l'archiviazione temporanea dei dati. È separato dalle VM ed è progettato specificamente per gestire le maggiori esigenze di larghezza di banda per i carichi di lavoro ad alta intensità di grafica.

Workstation virtuali (vWS) NVIDIA RTX per carichi di lavoro di grafica

Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano NVIDIA RTX Virtual Workstations (vWS) (precedentemente nota come NVIDIA GRID). Quando crei un'istanza viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS). alla tua VM.

Per informazioni sui prezzi per le workstation virtuali, vedi Pagina dei prezzi delle GPU.

Per i carichi di lavoro di grafica, sono disponibili i modelli di workstation virtuali (vWS) NVIDIA RTX:

  • Serie di macchine G2: per i tipi di macchine G2, puoi attivare Workstation virtuali NVIDIA L4 (vWS): nvidia-l4-vws

  • Serie di macchine N1: per i tipi di macchine N1, puoi abilitare le seguenti opzioni workstation virtuali:

    • Workstation virtuali NVIDIA T4: nvidia-tesla-t4-vws
    • Workstation virtuali NVIDIA P100: nvidia-tesla-p100-vws
    • Workstation virtuali NVIDIA P4: nvidia-tesla-p4-vws

Grafico comparativo generale

La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e tipi di carichi di lavoro ideali sui modelli di GPU disponibili, in Compute Engine.

Modello GPU Memoria GPU Interconnessione Supporto di NVIDIA RTX Virtual Workstation (vWS) Ideale per
H100 80GB 80 GB HBM3 a 3,35 TB/s NVLink Full Mesh a 900 Gbps Modelli di grandi dimensioni con enormi tabelle di dati per addestramento ML, inferenza, HPC BERT, DLRM
A100 80GB 80 GB HBM2e a 1,9 TB/s NVLink Full Mesh a 600 Gbps Modelli di grandi dimensioni con enormi tabelle di dati per addestramento ML, inferenza, HPC BERT, DLRM
A100 40GB 40 GB HBM2 a 1,6 TB/s NVLink Full Mesh a 600 Gbps Addestramento ML, inferenza, HPC
L4 24 GB GDDR6 a 300 GB/s N/D Inferenza ML, addestramento, workstation di visualizzazione remota, Transcodifica video, HPC
T4 16 GB GDDR6 a 320 GBps N/D Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video
V100 16 GB HBM2 a 900 GB/s Anello NVLink a 300 Gbps Addestramento ML, inferenza, HPC
P4 8 GB GDDR5 a 192 GB/s N/D Workstation di visualizzazione remota, inferenza ML e transcodifica video
P100 16 GB HBM2 a 732 GBps N/D Addestramento ML, inferenza, HPC, workstation di visualizzazione remota

Confrontare i prezzi delle GPU per i diversi modelli di GPU e le regioni corrispondenti disponibili su Compute Engine, consulta i prezzi delle GPU.

Grafico di confronto del rendimento

La tabella seguente descrive le specifiche delle prestazioni di diverse GPU disponibili su Compute Engine.

Prestazioni di calcolo

Modello GPU FP64 FP32 FP16 INT8
H100 80GB 34 TFLOPS 67 TFLOPS
A100 80GB 9,7 TFLOPS 19,5 TFLOPS
A100 40GB 9,7 TFLOPS 19,5 TFLOPS
L4 0,5 TFLOPS* 30,3 TFLOPS
T4 0,25 TFLOPS* 8.1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9.3 TFLOPS 18,7 TFLOPS

* Per consentire il corretto funzionamento del codice FP64, un numero ridotto di FP64 Le unità hardware sono incluse nell'architettura GPU T4, L4 e P4.

†TeraOperations al secondo.

Prestazioni Tensor Core

Modello GPU FP64 TF32 FP16/FP32 a precisione mista INT8 INT4 FP8
H100 80GB 67 TFLOPS 989 TFLOPS† 1979 TFLOPS*, † 3.958 TOPS† 3958 TFLOPS†
A100 80GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100

* Per l'addestramento con precisione mista, GPU NVIDIA H100, A100 e L4 supporta anche il tipo di dati bfloat16.

†Per le GPU H100 e L4, è supportata la sparsità strutturale, per raddoppiare il valore delle prestazioni. I valori mostrati sono con alla sparsità. Le specifiche sono più basse della metà senza sparsità.

Passaggi successivi