Piattaforme GPU

Compute Engine fornisce le unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue VM come machine learning ed elaborazione di dati.

Compute Engine fornisce GPU NVIDIA per le VM in modalità passthrough, in modo che le VM abbiano il controllo diretto sulle GPU e sulla memoria associata.

Se hai carichi di lavoro che richiedono grafica, ad esempio visualizzazione 3D, rendering 3D o applicazioni virtuali, puoi utilizzare le workstation virtuali RTX NVIDIA (precedentemente note come NVIDIA GRID).

Questo documento fornisce una panoramica dei diversi modelli di GPU disponibili su Compute Engine.

Per visualizzare le aree geografiche e le zone disponibili per le GPU in Compute Engine, consulta Aree geografiche e disponibilità delle GPU.

GPU NVIDIA per carichi di lavoro di computing

Per i carichi di lavoro di computing, i modelli GPU sono disponibili nelle seguenti fasi:

  • NVIDIA L4: generalmente disponibile
  • NVIDIA A100
    • NVIDIA A100 40 GB: generalmente disponibile
    • NVIDIA A100 da 80 GB: generalmente disponibile
  • NVIDIA T4: nvidia-tesla-t4: disponibile pubblicamente
  • NVIDIA V100: nvidia-tesla-v100: disponibile pubblicamente
  • NVIDIA P100: nvidia-tesla-p100: disponibile pubblicamente
  • NVIDIA P4: nvidia-tesla-p4: disponibile pubblicamente
  • NVIDIA K80: nvidia-tesla-k80: disponibile pubblicamente. Vedi NVIDIA K80 EOL.

GPU NVIDIA L4

Per eseguire le GPU NVIDIA L4, devi utilizzare un tipo di macchina ottimizzato per l'acceleratore G2.

Ogni tipo di macchina G2 ha un numero fisso di GPU NVIDIA L4 e vCPU collegate. Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla tua VM per ogni tipo di macchina. Puoi specificare la memoria personalizzata durante la creazione della VM.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU Memoria predefinita Intervallo di memoria personalizzato SSD locale massimo supportato
NVIDIA L4 g2-standard-4 1 GPU GDDR6 da 24 GB 4 vCPU 16 GB 16 - 32 GB 375 GB
g2-standard-8 1 GPU GDDR6 da 24 GB 8 vCPU 32 GB 32 - 54 GB 375 GB
g2-standard-12 1 GPU GDDR6 da 24 GB 12 vCPU 48 GB 48 - 54 GB 375 GB
g2-standard-16 1 GPU GDDR6 da 24 GB 16 vCPU 64 GB 54 - 64 GB 375 GB
g2-standard-24 2 GPU GDDR6 da 48 GB 24 vCPU 96 GB 96 - 108 GB 750 GB
g2-standard-32 1 GPU GDDR6 da 24 GB 32 vCPU 128 GB 96 - 128 GB 375 GB
g2-standard-48 4 GPU GDDR6 da 96 GB 48 vCPU 192 GB 192 - 216 GB 1500 GB
g2-standard-96 8 GPU GDDR6 da 192 GB 96 vCPU 384 GB 384 - 432 GB 3000 GB

GPU NVIDIA A100

Per eseguire le GPU NVIDIA A100, devi utilizzare il tipo di macchina ottimizzata per l'acceleratore A2.

Ogni tipo di macchina A2 ha un numero di GPU fisso, un numero di vCPU e dimensioni della memoria.

A100 da 40 GB

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA A100 da 40 GB a2-highgpu-1g 1 GPU HBM2 da 40 GB 12 vCPU 85 GB Sì
a2-highgpu-2g 2 GPU HBM2 da 80 GB 24 vCPU 170 GB Sì
a2-highgpu-4g 4 GPU HBM2 da 160 GB 48 vCPU 340 GB Sì
a2-highgpu-8g 8 GPU HBM2 da 320 GB 96 vCPU 680 GB Sì
a2-megagpu-16g 16 GPU HBM2 da 640 GB 96 vCPU 1360 GB Sì

A100 da 80 GB

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA A100 da 80 GB a2-ultragpu-1g 1 GPU HBM2e da 80 GB 12 vCPU 170 GB In bundle (375 GB)
a2-ultragpu-2g 2 GPU HBM2e da 160 GB 24 vCPU 340 GB In bundle (750 GB)
a2-ultragpu-4g 4 GPU HBM2e da 320 GB 48 vCPU 680 GB In bundle (1,5 TB)
a2-ultragpu-8g 8 GPU HBM2e da 640 GB 96 vCPU 1360 GB In bundle (3 TB)

GPU NVIDIA T4

Le VM con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero più elevato di GPU consente di creare istanze con un numero di vCPU e memoria più elevato.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA T4 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU GDDR6 da 16 GB 1-48 vCPU 1 - 312 GB Sì
2 GPU GDDR6 da 32 GB 1-48 vCPU 1 - 312 GB Sì
4 GPU GDDR6 da 64 GB 1-96 vCPU 1 - 624 GB Sì

GPU NVIDIA P4

Per le GPU P4, l'SSD locale è supportato solo in alcune regioni. Consulta la pagina Disponibilità di SSD locali per regioni e zone GPU.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA P4 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU GDDR5 da 8 GB 1-24 vCPU 1 - 156 GB Sì
2 GPU GDDR5 da 16 GB 1-48 vCPU 1 - 312 GB Sì
4 GPU GDDR5 da 32 GB 1-96 vCPU 1 - 624 GB Sì

GPU NVIDIA V100

Per le GPU V100, l'SSD locale è supportato solo in alcune aree geografiche. Consulta la pagina Disponibilità di SSD locali per aree geografiche e zone GPU.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA V100 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU HBM2 da 16 GB 1-12 vCPU 1 - 78 GB Sì
2 GPU HBM2 da 32 GB 1-24 vCPU 1 - 156 GB Sì
4 GPU HBM2 da 64 GB 1-48 vCPU 1 - 312 GB Sì
8 GPU HBM2 da 128 GB 1-96 vCPU 1 - 624 GB Sì

GPU NVIDIA P100

Per alcune GPU P100, la CPU e la memoria massime disponibili per alcune configurazioni dipendono dalla zona in cui viene eseguita la risorsa GPU.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA P100 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU HBM2 da 16 GB 1-16 vCPU 1 - 104 GB Sì
2 GPU HBM2 da 32 GB 1-32 vCPU 1 - 208 GB Sì
4 GPU HBM2 da 64 GB

1-64 vCPU
(us-east1-c, europe-west1-d, europe-west1-b)

1-96 vCPU
(tutte le zone P100)

1 - 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1-624 GB
(tutte le zone P100)

 Sì

GPU NVIDIA K80

Le schede NVIDIA K80 contengono due GPU ciascuna. Il prezzo delle GPU K80 si basa sulle singole GPU, non sulla scheda.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
NVIDIA K80 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU GDDR5 da 12 GB 1-8 vCPU 1 - 52 GB Sì
2 GPU GDDR5 da 24 GB 1-16 vCPU 1 - 104 GB Sì
4 GPU GDDR5 da 48 GB 1-32 vCPU 1 - 208 GB Sì
8 GPU GDDR5 da 96 GB 1-64 vCPU

1-416 GB
(asia-east1-a e us-east1-d)

1-208 GB
(tutte le zone K80)

 Sì

NVIDIA RTX Virtual Workstations (vWS) per carichi di lavoro grafici

Se disponi di carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano workstation NVIDIA RTX virtuali (vWS) (precedentemente noto come NVIDIA GRID). Quando crei una workstation virtuale, una licenza Workstation virtuale NVIDIA RTX (vWS) viene aggiunta automaticamente alla tua VM.

Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

Per i carichi di lavoro grafici, i modelli di workstation virtuali (vWS) NVIDIA RTX sono disponibili nelle seguenti fasi:

  • Workstation virtuali NVIDIA L4: nvidia-l4-vws: generalmente disponibili
  • Workstation virtuali NVIDIA T4: nvidia-tesla-t4-vws: generalmente disponibili
  • Workstation virtuali NVIDIA P100: nvidia-tesla-p100-vws: generalmente disponibili
  • Workstation virtuali NVIDIA P4: nvidia-tesla-p4-vws: generalmente disponibili

GPU NVIDIA L4 vWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPU Memoria predefinita Intervallo di memoria personalizzato SSD locale massimo supportato
Workstation virtuale NVIDIA L4 g2-standard-4 1 GPU GDDR6 da 24 GB 4 vCPU 16 GB 16 - 32 GB 375 GB
g2-standard-8 1 GPU GDDR6 da 24 GB 8 vCPU 32 GB 32 - 54 GB 375 GB
g2-standard-12 1 GPU GDDR6 da 24 GB 12 vCPU 48 GB 48 - 54 GB 375 GB
g2-standard-16 1 GPU GDDR6 da 24 GB 16 vCPU 64 GB 54 - 64 GB 375 GB
g2-standard-24 2 GPU GDDR6 da 48 GB 24 vCPU 96 GB 96 - 108 GB 750 GB
g2-standard-32 1 GPU GDDR6 da 24 GB 32 vCPU 128 GB 96 - 128 GB 375 GB
g2-standard-48 4 GPU GDDR6 da 96 GB 48 vCPU 192 GB 192 - 216 GB 1500 GB
g2-standard-96 8 GPU GDDR6 da 192 GB 96 vCPU 384 GB 384 - 432 GB 3000 GB

GPU NVIDIA T4 vWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
Workstation virtuale NVIDIA T4 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU GDDR6 da 16 GB 1-48 vCPU 1 - 312 GB Sì
2 GPU GDDR6 da 32 GB 1-48 vCPU 1 - 312 GB Sì
4 GPU GDDR6 da 64 GB 1-96 vCPU 1 - 624 GB Sì

GPU NVIDIA P4 vWS

Per le GPU P4, l'SSD locale è supportato solo in alcune regioni. Consulta la pagina Disponibilità di SSD locali per regioni e zone GPU.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
Workstation virtuale NVIDIA Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU GDDR5 da 8 GB 1-16 vCPU 1 - 156 GB Sì
2 GPU GDDR5 da 16 GB 1-48 vCPU 1 - 312 GB Sì
4 GPU GDDR5 da 32 GB 1-96 vCPU 1 - 624 GB Sì

GPU NVIDIA P100 vWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile SSD locale supportato
workstation virtuale NVIDIA P100 Serie di macchine N1 tranne quelle con core condiviso N1 1 GPU HBM2 da 16 GB 1-16 vCPU 1 - 104 GB Sì
2 GPU HBM2 da 32 GB 1-32 vCPU 1 - 208 GB Sì
4 GPU HBM2 da 64 GB

1-64 vCPU
(us-east1-c, europe-west1-d, europe-west1-b)

1-96 vCPU
(tutte le zone P100)

1 - 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1-624 GB
(tutte le zone P100)

 Sì

Grafico di confronto generale

La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e i tipi di carichi di lavoro ideali dei diversi modelli GPU disponibili su Compute Engine.

Modello GPU Memoria Interconnect Supporto per workstation virtuale RTX NVIDIA (vWS) Ideale per
A100 da 80 GB 80 GB HBM2e a 1,9 TB/s NVLink Full Mesh a 600 GB/s Modelli di grandi dimensioni con grandi tabelle di dati per addestramento ML, inferenza, HPC, BERT, DLRM
A100 da 40 GB 40 GB HBM2 a 1,6 TB/s NVLink Full Mesh a 600 GB/s Formazione ML, inferenza, HPC (computing ad alte prestazioni)
L4 GDDR6 a 24 GB a 300 GB/s N/A Inferenza ML, formazione, workstation di visualizzazione remota, transcodifica video, HPC
T4 GDDR6 da 16 GB a 320 GB/s N/A Inferenza ML, formazione, workstation di visualizzazione remota, transcodifica video
V100 16 GB HBM2 a 900 GB/s Anello NVLink @ 300 GB/s Formazione ML, inferenza, HPC (computing ad alte prestazioni)
P4 GDDR5 da 8 GB a 192 GB/s N/A Workstation di visualizzazione remota, inferenza ML e transcodifica video
P100 16 GB HBM2 a 732 GB/s N/A ML Training, Inference, HPC, workstation di visualizzazione remota
K80EOL GDDR5 da 12 GB a 240 GB/s N/A Inferenza ML, addestramento, HPC

Per confrontare i prezzi delle GPU per le diverse aree geografiche e i modelli di GPU disponibili in Compute Engine, consulta i prezzi delle GPU.

Grafico di confronto dei rendimenti

La seguente tabella descrive le specifiche delle prestazioni dei diversi modelli di GPU disponibili su Compute Engine.

Prestazioni di calcolo

Modello GPU FP64 FP32 FP16 INT8
A100 da 80 GB 9,7 TFLOPS 19,5 TFLOPS
A100 da 40 GB 9,7 TFLOPS 19,5 TFLOPS
L4 0,5 TFLOPS* 30,3 TFLOPS
T4 0,25 TFLOPS* 8.1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9.3 TFLOPS 18,7 TFLOPS
K80EOL 1,46 TFLOPS 4,37 TFLOPS

*Per consentire il corretto funzionamento del codice FP64, è necessario includere un numero ridotto di unità hardware FP64 nell'architettura GPU T4, L4 e P4 (in inglese).

†TeraOperazioni al secondo.

Prestazioni di base di Tensor

Modello GPU FP64 TF32 FP16/FP32 a precisione mista INT8 INT4 8 FP
A100 da 80 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 PS 1248 PS
A100 da 40 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 PS 1248 PS
L4 60,6 TFLOPS† 121 TFLOPS† 242 TOPS† 485 TOPS† 242 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 PS
V100 125 TFLOPS
P4
P100
K80EOL

* Per l'addestramento di precisione misto, NVIDIA A100 supporta anche il tipo di dati bfloat16.

†Per le GPU L4, è supportata la sparsità strutturale che puoi utilizzare per raddoppiare il valore delle prestazioni indicato.

Quali sono i passaggi successivi?