Piattaforme GPU

Compute Engine fornisce le unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue VM, ad esempio machine learning ed elaborazione di dati.

Compute Engine fornisce le GPU NVIDIA per le VM in modalità passthrough, così le VM hanno il controllo diretto sulle GPU e sulla memoria associata.

Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, il rendering 3D o applicazioni virtuali, puoi utilizzare le workstation virtuali RTX di NVIDIA (precedentemente note come NVIDIA GRID).

Questo documento offre una panoramica dei diversi modelli GPU disponibili su Compute Engine.

Per visualizzare le aree geografiche e le zone disponibili per le GPU in Compute Engine, consulta la pagina Disponibilità delle aree geografiche e delle zone delle GPU.

GPU NVIDIA per carichi di lavoro di computing

Per i carichi di lavoro di computing, i modelli GPU sono disponibili nelle seguenti fasi:

  • NVIDIA A100: generale disponibile
  • NVIDIA T4: nvidia-tesla-t4: disponibilità generale
  • NVIDIA V100: nvidia-tesla-v100: disponibilità generale
  • NVIDIA P100: nvidia-tesla-p100: disponibile pubblicamente
  • NVIDIA P4: nvidia-tesla-p4: disponibile pubblicamente
  • NVIDIA K80: nvidia-tesla-k80: disponibilità generale

GPU NVIDIA A100

Per eseguire le GPU NVIDIA A100, devi utilizzare il tipo di macchina ottimizzato dall'acceleratore (A2).

Ogni tipo di macchina A2 ha un numero di GPU fisso, un numero di vCPU e dimensioni di memoria.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
NVIDIA A100 a2-highgpu-1g 1 GPU HBM2 da 40 GB 12 vCPU 85 GB
a2-highgpu-2g 2 GPU HBM2 da 80 GB 24 vCPU 170 GB
a2-highgpu-4g 4 GPU HBM2 da 160 GB 48 vCPU 340 GB
a2-highgpu-8g 8 GPU HBM2 da 320 GB 96 vCPU 680 GB
a2-megagpu-16g 16 GPU HBM2 da 640 GB 96 vCPU 1360 GB

GPU NVIDIA T4

Le VM con un numero inferiore di GPU sono limitate a un numero massimo di vCPU. In generale, un numero più elevato di GPU ti consente di creare istanze con un numero più elevato di vCPU e memoria.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
NVIDIA T4 Serie di macchine N1 tranne il core condiviso N1 1 GPU GDDR6 da 16 GB 1-48 vCPU 1 - 312 GB
2 GPU GDDR6 da 32 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR6 da 64 GB 1-96 vCPU 1 - 624 GB

GPU NVIDIA P4

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
NVIDIA P4 Serie di macchine N1 tranne il core condiviso N1 1 GPU GDDR5 da 8 GB 1-24 vCPU 1 - 156 GB
2 GPU GDDR5 da 16 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR5 da 32 GB 1-96 vCPU 1 - 624 GB

GPU NVIDIA V100

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
NVIDIA V100 Serie di macchine N1 tranne il core condiviso N1 1 GPU HBM2 da 16 GB 1-12 vCPU 1 - 78 GB
2 GPU HBM2 da 32 GB 1-24 vCPU 1 - 156 GB
4 GPU HBM2 da 64 GB 1-48 vCPU 1 - 312 GB
8 GPU HBM2 da 128 GB 1-96 vCPU 1 - 624 GB

GPU NVIDIA P100

Per alcune GPU P100, la CPU e la memoria massime disponibili per alcune configurazioni dipendono dalla zona in cui viene eseguita la risorsa GPU.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
NVIDIA P100 Serie di macchine N1 tranne il core condiviso N1 1 GPU HBM2 da 16 GB 1-16 vCPU 1 - 104 GB
2 GPU HBM2 da 32 GB 1-32 vCPU 1 - 208 GB
4 GPU HBM2 da 64 GB

1-64 vCPU
(us-east1-c, europe-west1-d, europe-west1-b)

1-96 vCPU
(tutte le zone P100)

1-208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1-624 GB
(tutte le zone P100)

GPU NVIDIA K80

Le schede NVIDIA K80 contengono due GPU ciascuna. Il prezzo delle GPU K80 si basa sulla singola GPU, non sul pannello.

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
NVIDIA K80 Serie di macchine N1 tranne il core condiviso N1 1 GPU GDDR5 da 12 GB 1-8 vCPU 1 - 52 GB
2 GPU GDDR5 da 24 GB 1-16 vCPU 1 - 104 GB
4 GPU GDDR5 da 48 GB 1-32 vCPU 1 - 208 GB
8 GPU GDDR5 da 96 GB 1-64 vCPU

1-416 GB
(asia-east1-a e us-east1-d)

1-208 GB
(tutte le zone K80)

Workstation virtuali NVIDIA RTX per carichi di lavoro grafici

Se hai carichi di lavoro ad alta intensità di grafica, come la visualizzazione 3D, puoi creare workstation virtuali che utilizzano le stazioni di lavoro virtuali NVIDIA RTX (precedentemente note come NVIDIA GRID). Quando crei una workstation virtuale, alla tua VM viene aggiunta automaticamente una licenza workstation virtuale NVIDIA RTX. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.

Per i carichi di lavoro grafici, i modelli di workstation virtuali NVIDIA RTX sono disponibili nelle seguenti fasi:

  • Workstation virtuali NVIDIA T4: nvidia-tesla-t4-vws: generalmente disponibili
  • Workstation virtuali NVIDIA P100: nvidia-tesla-p100-vws: Informazioni generali disponibili
  • Workstation virtuali NVIDIA P4: nvidia-tesla-p4-vws: generalmente disponibili

GPU NVIDIA T4 VWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
Postazione di lavoro virtuale NVIDIA T4 Serie di macchine N1 tranne il core condiviso N1 1 GPU GDDR6 da 16 GB 1-48 vCPU 1 - 312 GB
2 GPU GDDR6 da 32 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR6 da 64 GB 1-96 vCPU 1 - 624 GB

GPU NVIDIA P4 VWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
Postazione di lavoro virtuale NVIDIA P4 Serie di macchine N1 tranne il core condiviso N1 1 GPU GDDR5 da 8 GB 1-16 vCPU 1 - 156 GB
2 GPU GDDR5 da 16 GB 1-48 vCPU 1 - 312 GB
4 GPU GDDR5 da 32 GB 1-96 vCPU 1 - 624 GB

GPU NVIDIA P100 VWS

Modello GPU Tipo di macchina GPU Memoria GPU vCPU disponibili Memoria disponibile
workstation virtuale NVIDIA P100 Serie di macchine N1 tranne il core condiviso N1 1 GPU HBM2 da 16 GB 1-16 vCPU 1 - 104 GB
2 GPU HBM2 da 32 GB 1-32 vCPU 1 - 208 GB
4 GPU HBM2 da 64 GB

1-64 vCPU
(us-east1-c, europe-west1-d, europe-west1-b)

1-96 vCPU
(tutte le zone P100)

1-208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1-624 GB
(tutte le zone P100)

Grafico di confronto generale

La tabella riportata di seguito descrive le dimensioni di memoria, la disponibilità delle funzionalità e i tipi di carichi di lavoro ideali dei diversi modelli di GPU disponibili in Compute Engine.

Metrica A100 T4 - V100 P4 P100 K80
Memoria 40 GB HBM2 a 1,6 TB/s GDDR6 da 16 GB a 320 GB/s 16 GB HBM2 a 900 GB/s GDDR5 da 8 GB a 192 GB/s 16 GB HBM2 a 732 GB/s GDDR5 da 12 GB a 240 GB/s
Interconnessione NVLink Full Mesh a 600 GB/s N/D Anello NVLink a 300 GB/s N/D N/D N/D
Supporto per workstation virtuale NVIDIA RTX
Ideale per Formazione ML, Inferenza, HPC Inferenza ML, formazione, workstation di visualizzazione remota, transcodifica video Formazione ML, Inferenza, HPC Workstation di visualizzazione remota, inferenza ML e transcodifica video Formazione ML, Inferenza, HPC, workstation di visualizzazione remota Inferenza ML, formazione, HPC
Prezzi Per confrontare i prezzi delle GPU per i diversi modelli e aree geografiche GPU disponibili su Compute Engine, consulta la pagina Prezzi delle GPU.

Grafico di confronto del rendimento

La seguente tabella descrive le specifiche delle prestazioni dei diversi modelli di GPU disponibili su Compute Engine.

Metrica A100 T4 - V100 P4 P100 K80
Prestazioni di calcolo
64 FP 9,7 TFLOPS 0,25 TFLOPS1 7,8 TFLOPS 0,2 TFLOPS1 4,7 TFLOPS 1,46 TFLOPS
FP32 19,5 TFLOPS 8.1 TFLOPS 15,7 TFLOPS 5,5 TFLOPS 9,3 TFLOPS 4,37 TFLOPS
FP16 18,7 TFLOPS
INT8 22 PIANI2
Rendimento di base di Tensor
64 FP 19,5 TFLOPS
TF32 156 TFLOPS
FP16/FP32 a precisione mista 312 TFLOPS3 65 TFLOPS 125 TFLOPS
INT8 624 PIANI2 180 TOPS2
INT4 1248 TOPS2 260 PIANI2

1 Per consentire il corretto funzionamento del codice FP64, un numero ridotto di unità hardware FP64 è incluso nell'architettura GPU T4 e P4.

2 Operazioni al secondo.

3 Per l'addestramento di precisione mista, NVIDIA A100 supporta anche il tipo di dati bfloat16.

Passaggi successivi