Piattaforme GPU

Compute Engine fornisce unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue VM, come machine learning ed elaborazione di dati.

Compute Engine fornisce GPU NVIDIA per le tue VM in modalità passthrough, in modo che le VM abbiano il controllo diretto sulle GPU e sulla memoria associata.

Se disponi di carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, il rendering 3D o le applicazioni virtuali, puoi utilizzare le workstation virtuali NVIDIA RTX (precedentemente note come NVIDIA GRID).

Questo documento fornisce una panoramica dei diversi modelli di GPU disponibili su Compute Engine.

Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità delle zone e delle regioni delle GPU.

GPU NVIDIA per carichi di lavoro di calcolo

Per i carichi di lavoro di calcolo, i modelli GPU sono disponibili nelle seguenti fasi:

  • NVIDIA H100 da 80 GB: nvidia-h100-80gb: disponibile a livello generale
  • NVIDIA L4: nvidia-l4: disponibile a livello generale
  • NVIDIA A100
    • NVIDIA A100 da 40 GB: nvidia-tesla-a100: disponibile a livello generale
    • NVIDIA A100 da 80 GB: nvidia-a100-80gb: disponibile a livello generale
  • NVIDIA T4: nvidia-tesla-t4: disponibile a livello generale
  • NVIDIA V100: nvidia-tesla-v100: disponibile a livello generale
  • NVIDIA P100: nvidia-tesla-p100: disponibile a livello generale
  • NVIDIA P4: nvidia-tesla-p4: disponibile a livello generale
  • NVIDIA K80: nvidia-tesla-k80: disponibili a livello generale. Consulta la pagina Fine del supporto di NVIDIA K80.

GPU NVIDIA H100

Per eseguire GPU NVIDIA H100 da 80 GB, devi utilizzare un tipo di macchina ottimizzato per l'acceleratore A3.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA H100 a3-highgpu-8g 8 GPU HBM3 da 640 GB 208 vCPU 1872 GB In bundle (6000 GB)

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA L4

Per eseguire le GPU NVIDIA L4, devi utilizzare un tipo di macchina ottimizzato per l'acceleratore G2.

A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla tua VM per ogni tipo di macchina. Puoi specificare la tua memoria personalizzata durante la creazione della VM.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPUs Memoria predefinita Intervallo di memoria personalizzato Numero massimo di SSD locali supportati
NVIDIA L4 g2-standard-4 1 GPU GDDR6 da 24 GB 4 vCPU 16 GB 16 - 32 GB 375 GB
g2-standard-8 1 GPU GDDR6 da 24 GB 8 vCPU 32 GB 32 - 54 GB 375 GB
g2-standard-12 1 GPU GDDR6 da 24 GB 12 vCPU 48 GB 48 - 54 GB 375 GB
g2-standard-16 1 GPU GDDR6 da 24 GB 16 vCPU 64 GB 54 - 64 GB 375 GB
g2-standard-24 2 GPU GDDR6 da 48 GB 24 vCPU 96 GB 96 - 108 GB 750 GB
g2-standard-32 1 GPU GDDR6 da 24 GB 32 vCPU 128 GB 96 - 128 GB 375 GB
g2-standard-48 4 GPU GDDR6 da 96 GB 48 vCPU 192 GB 192 - 216 GB 1500 GB
g2-standard-96 8 GPU GDDR6 da 192 GB 96 vCPU 384 GB 384 - 432 GB 3000 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA A100

Per eseguire GPU NVIDIA A100, devi utilizzare il tipo di macchina ottimizzato per l'acceleratore A2.

Ogni tipo di macchina A2 ha un numero di GPU, numero di vCPU e dimensioni della memoria fissi.

A100 40GB

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA A100 da 40 GB a2-highgpu-1g 1 GPU HBM2 da 40 GB 12 vCPU 85 GB
a2-highgpu-2g 2 GPU HBM2 da 80 GB 24 vCPU 170 GB
a2-highgpu-4g 4 GPU HBM2 da 160 GB 48 vCPU 340 GB
a2-highgpu-8g 8 GPU HBM2 da 320 GB 96 vCPU 680 GB
a2-megagpu-16g 16 GPU HBM2 da 640 GB 96 vCPU 1360 GB

A100 80GB

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA A100 da 80 GB a2-ultragpu-1g 1 GPU HBM2e da 80 GB 12 vCPU 170 GB In bundle (375 GB)
a2-ultragpu-2g 2 GPU HBM2e da 160 GB 24 vCPU 340 GB In bundle (750 GB)
a2-ultragpu-4g 4 GPU HBM2e da 320 GB 48 vCPU 680 GB In bundle (1,5 TB)
a2-ultragpu-8g 8 GPU HBM2e da 640 GB 96 vCPU 1360 GB In bundle (3 TB)

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA T4

Le VM con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero maggiore di GPU consente di creare istanze con un numero maggiore di vCPU e memoria.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA T4 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU GDDR6 da 16 GB 1-48 vCPU 1 - 312 GB
2 GPU GDDR6 da 32 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR6 da 64 GB 1-96 vCPU 1 - 624 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA P4

Per le GPU P4, l'SSD locale è supportato solo in alcune regioni. Consulta la pagina relativa alla disponibilità degli SSD locali per zone e regioni GPU.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA P4 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU GDDR5 da 8 GB 1-24 vCPU 1 - 156 GB
2 GPU GDDR5 da 16 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR5 da 32 GB 1-96 vCPU 1 - 624 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA V100

Per le GPU V100, l'SSD locale è supportato solo in alcune regioni, consulta Disponibilità di SSD locali per regioni e zona GPU.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA V100 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU HBM2 da 16 GB 1-12 vCPU 1 - 78 GB
2 GPU HBM2 da 32 GB 1-24 vCPU 1 - 156 GB
4 GPU HBM2 da 64 GB 1-48 vCPU 1 - 312 GB
8 GPU HBM2 da 128 GB 1-96 vCPU 1 - 624 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA P100

Per alcune GPU P100, la quantità massima di CPU e memoria disponibile per alcune configurazioni dipende dalla zona in cui è in esecuzione la risorsa GPU.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA P100 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU HBM2 da 16 GB 1-16 vCPU 1 - 104 GB
2 GPU HBM2 da 32 GB 1-32 vCPU 1 - 208 GB
4 GPU HBM2 da 64 GB

1 - 64 vCPU
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 96 vCPU
(tutte le zone P100)

1 - 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 624 GB
(tutte le zone P100)

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA K80

Le schede NVIDIA K80 contengono due GPU ciascuna. Il prezzo delle GPU K80 viene calcolato per singola GPU, non per scheda.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
NVIDIA K80 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU GDDR5 da 12 GB 1-8 vCPU 1 - 52 GB
2 GPU GDDR5 da 24 GB 1-16 vCPU 1 - 104 GB
4 GPU GDDR5 da 48 GB 1-32 vCPU 1 - 208 GB
8 GPU GDDR5 da 96 GB 1-64 vCPU

1 - 416 GB
(asia-east1-a e us-east1-d)

1-208 GB
(tutte le zone K80)

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

Workstation virtuali NVIDIA RTX (vWS) per carichi di lavoro di grafica

Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano NVIDIA RTX Virtual Workstations (vWS) (precedentemente note come NVIDIA GRID). Quando crei una workstation virtuale, viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS) alla VM.

Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

Per i carichi di lavoro di grafica, i modelli di workstation virtuale NVIDIA RTX (vWS) sono disponibili nelle seguenti fasi:

  • Workstation virtuali NVIDIA L4: nvidia-l4-vws: disponibili a livello generale
  • Workstation virtuali NVIDIA T4: nvidia-tesla-t4-vws: disponibili a livello generale
  • Workstation virtuali NVIDIA P100: nvidia-tesla-p100-vws: disponibili a livello generale
  • Workstation virtuali NVIDIA P4: nvidia-tesla-p4-vws: disponibili a livello generale

GPU NVIDIA L4 vWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPUs Memoria predefinita Intervallo di memoria personalizzato Numero massimo di SSD locali supportati
Workstation virtuale NVIDIA L4 g2-standard-4 1 GPU GDDR6 da 24 GB 4 vCPU 16 GB 16 - 32 GB 375 GB
g2-standard-8 1 GPU GDDR6 da 24 GB 8 vCPU 32 GB 32 - 54 GB 375 GB
g2-standard-12 1 GPU GDDR6 da 24 GB 12 vCPU 48 GB 48 - 54 GB 375 GB
g2-standard-16 1 GPU GDDR6 da 24 GB 16 vCPU 64 GB 54 - 64 GB 375 GB
g2-standard-24 2 GPU GDDR6 da 48 GB 24 vCPU 96 GB 96 - 108 GB 750 GB
g2-standard-32 1 GPU GDDR6 da 24 GB 32 vCPU 128 GB 96 - 128 GB 375 GB
g2-standard-48 4 GPU GDDR6 da 96 GB 48 vCPU 192 GB 192 - 216 GB 1500 GB
g2-standard-96 8 GPU GDDR6 da 192 GB 96 vCPU 384 GB 384 - 432 GB 3000 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA T4 vWS

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
Workstation virtuale NVIDIA T4 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU GDDR6 da 16 GB 1-48 vCPU 1 - 312 GB
2 GPU GDDR6 da 32 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR6 da 64 GB 1-96 vCPU 1 - 624 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA P4 vWS

Per le GPU P4, l'SSD locale è supportato solo in alcune regioni. Consulta la pagina relativa alla disponibilità degli SSD locali per zone e regioni GPU.

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
Workstation virtuale NVIDIA P4 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU GDDR5 da 8 GB 1-16 vCPU 1 - 156 GB
2 GPU GDDR5 da 16 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR5 da 32 GB 1-96 vCPU 1 - 624 GB

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

GPU NVIDIA P100 vWS

Modello GPU Tipo di macchina GPU Memoria GPU* vCPU disponibili Memoria disponibile SSD locali supportati
Workstation virtuale NVIDIA P100 Serie di macchine N1 eccetto N1 con core condiviso 1 GPU HBM2 da 16 GB 1-16 vCPU 1 - 104 GB
2 GPU HBM2 da 32 GB 1-32 vCPU 1 - 208 GB
4 GPU HBM2 da 64 GB

1 - 64 vCPU
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 96 vCPU
(tutte le zone P100)

1 - 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1 - 624 GB
(tutte le zone P100)

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificatamente per gestire le esigenze di larghezza di banda maggiori dei carichi di lavoro ad alta intensità di grafica.

Grafico di confronto generale

La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e i tipi di carichi di lavoro ideali dei diversi modelli GPU disponibili su Compute Engine.

Modello GPU Memoria Interconnessione Supporto di NVIDIA RTX Virtual Workstation (vWS) Ideale per
H100 da 80 GB HBM3 da 80 GB a 3,35 TBps Mesh completo NVLink a 900 GB/s Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM
A100 80GB HBM2e da 80 GB a 1,9 TBps Mesh completo NVLink a 600 GB/s Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM
A100 40GB 40 GB HBM2 a 1,6 TBps Mesh completo NVLink a 600 GB/s Addestramento ML, inferenza, HPC
L4 GDDR6 da 24 GB a 300 GBps N/A Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video, HPC
T4 GDDR6 da 16 GB a 320 GBps N/A Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video
V100 16 GB HBM2 a 900 GBps NVLink Ring a 300 GB/s Addestramento ML, inferenza, HPC
P4 GDDR5 da 8 GB a 192 GB/s N/A Workstation di visualizzazione remota, inferenza ML e transcodifica video
P100 16 GB HBM2 a 732 GBps N/A Workstation di addestramento ML, inferenza, HPC, visualizzazione remota
K80EOL 12 GB GDDR5 a 240 GBps N/A Inferenza ML, addestramento, HPC

Per confrontare i prezzi dei diversi modelli di GPU e le regioni disponibili per Compute Engine, vedi Prezzi delle GPU.

Grafico di confronto del rendimento

La seguente tabella descrive le specifiche delle prestazioni dei diversi modelli di GPU disponibili su Compute Engine.

Prestazioni di calcolo

Modello GPU FP64 FP32 FP16 INT8
H100 da 80 GB 34 TFLOPS 67 TFLOPS
A100 80GB 9,7 TFLOPS 19,5 TFLOPS
A100 40GB 9,7 TFLOPS 19,5 TFLOPS
L4 0,5 TFLOPS* 30,3 TFLOPS
T4 0,25 TFLOPS* 8.1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 POMPE
P100 4,7 TFLOPS 9,3 TFLOPS 18,7 TFLOPS
K80EOL 1,46 TFLOPS 4,37 TFLOPS

* Per consentire il corretto funzionamento del codice FP64, nell'architettura GPU T4, L4 e P4 è incluso un numero ridotto di unità hardware FP64.

Teraoperazioni al secondo.

Prestazioni Tensor Core

Modello GPU FP64 TF32 FP16/FP32 a precisione mista INT8 INT4 FP8
H100 da 80 GB 67 TFLOPS 989 TFLOPS 1979 TFLOPS*, † 3958 TOPS 3958 TFLOPS
A100 80GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 MASSIMA 1248 MASSIMA
A100 40GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 MASSIMA 1248 MASSIMA
L4 120 TFLOPS 242 TFLOPS*, † 485 TOPS 485 TFLOPS
T4 65 TFLOPS 130 MASSIMA 260 MASSIMA
V100 125 TFLOPS
P4
P100
K80EOL

* Per l'addestramento a precisione mista, le GPU NVIDIA H100, A100 ed L4 supportano anche il tipo di dati bfloat16.

Per le GPU H100 e L4, è supportata la sparsità strutturale, che puoi utilizzare per raddoppiare il valore delle prestazioni. I valori mostrati sono espressi con sparsità. Le specifiche sono dimezzate in meno senza sparsità.

Che cosa succede dopo?