Larghezza di banda della rete e GPU

Le larghezze di banda di rete più elevate possono migliorare le prestazioni dei carichi di lavoro distribuiti in esecuzione sulle istanze di macchine virtuali (VM) di Compute Engine.

Panoramica

La larghezza di banda di rete massima disponibile per le VM con GPU collegate su Compute Engine è la seguente:

  • Per le VM ottimizzate per l'acceleratore A3, puoi ottenere una larghezza di banda massima della rete fino a 1800 Gbps.
  • Per le VM A2 e G2 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al tipo di macchina.
  • Per le VM generiche N1 con GPU P100 e P4 collegate, è disponibile una larghezza di banda di rete massima di 32 Gbps. È simile alla frequenza massima disponibile per le VM N1 a cui non sono collegate GPU. Per ulteriori informazioni sulle larghezze di banda di rete, consulta la sezione relativa alla velocità in uscita massima dei dati.
  • Per le VM N1 per uso generale con GPU T4 e V100 collegate, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base alla combinazione di GPU e vCPU.

Larghezza di banda della rete e Google Virtual NIC (gVNIC)

Per applicare le larghezza di banda di rete più elevate (50 Gbps o superiori) alle VM GPU, ti consigliamo di utilizzare la vNIC (virtual NIC) di Google. Per ulteriori informazioni sulla creazione di VM GPU che utilizzano gVNIC, consulta Creare VM GPU che utilizzano larghezze di banda più elevate.

VM ottimizzate per l'acceleratore

Questa sezione illustra la larghezza di banda massima della rete disponibile per le VM ottimizzate per l'acceleratore A3, A2 e G2.

VM A3

A ogni tipo di macchina A3 è collegato un numero fisso di GPU NVIDIA H100 da 80 GB, un numero fisso di vCPU e una dimensione fissa della memoria VM.

  • VM A3 con una sola NIC: per le VM A3 con 1-4 GPU collegate, è disponibile solo una singola scheda di interfaccia di rete (NIC) fisica.
  • VM A3 con più NIC: per le VM A3 con 8 GPU collegate, sono disponibili più NIC fisiche. Per questi tipi di macchine A3, le NIC sono disposte come segue su un bus Peripheral Component Interconnect Express (PCIe):
    • Per il tipo di macchina A3 Mega: è disponibile una disposizione di NIC 8+1. Con questa disposizione, 8 NIC condividono lo stesso bus PCIe e 1 NIC risiede su un bus PCIe separato.
    • Per il tipo di macchina A3 High: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
    • Per il tipo di macchina A3 Edge: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato. Queste 5 NIC forniscono una larghezza di banda di rete totale di 400 Gbps per ogni VM.

    Le NIC che condividono lo stesso bus PCIe hanno un allineamento NUMA (accesso alla memoria non uniforme) di una NIC per due GPU NVIDIA H100 da 80 GB. Queste NIC sono ideali per la comunicazione GPU-GPU ad alta larghezza di banda dedicata. La NIC fisica che risiede su un bus PCIe separato è ideale per altre esigenze di rete.

A3 Mega

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegata (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-megagpu-8g 8 640 208 1.872 6000 9 1800

A3 High

Quando esegui il provisioning di tipi di macchine a3-highgpu-1g, a3-highgpu-2g o a3-highgpu-4g, devi utilizzare VM spot o una funzionalità che utilizza Dynamic Workload Scheduler (DWS), ad esempio le richieste di ridimensionamento in un gruppo di istanze gestite. Per istruzioni dettagliate su una di queste opzioni, consulta quanto segue:
Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegata (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1500 1 50
a3-highgpu-4g 4 320 104 936 3000 1 100
a3-highgpu-8g 8 640 208 1.872 6000 5 800

A3 Edge

Tipo di macchina Conteggio GPU Memoria GPU*
(GB HBM3)		 Numero di vCPU† Memoria VM (GB) SSD locale collegata (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)‡
a3-edgegpu-8g 8 640 208 1.872 6000 5
  • 800: per asia-south1 e northamerica-northeast2
  • 400: per tutte le altre regioni A3 Edge

*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda della rete.

VM A2

A ogni tipo di macchina A2 è collegato un numero fisso di GPU NVIDIA A100 da 40 GB o NVIDIA A100 da 80 GB. Ogni tipo di macchina ha anche un numero fisso di vCPU e una dimensione della memoria.

Le serie di macchine A2 sono disponibili in due tipi:

  • A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB e dischi SSD locali.
  • A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB.

A2 Ultra

Tipo di macchina Conteggio GPU Conteggio vCPU Memoria VM (GB) Larghezza di banda massima della rete (Gbps)
a2-ultragpu-1g 1 12 170 24
a2-ultragpu-2g 2 24 340 32
a2-ultragpu-4g 4 48 680 50
a2-ultragpu-8g 8 96 1360 100

A2 Standard

Tipo di macchina Conteggio GPU Conteggio vCPU Memoria VM (GB) Larghezza di banda massima della rete (Gbps)
a2-highgpu-1g 1 12 85 24
a2-highgpu-2g 2 24 170 32
a2-highgpu-4g 4 48 340 50
a2-highgpu-8g 8 96 680 100
a2-highgpu-16g 16 96 1360 100

Configurazione della VM G2

A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un'intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla VM per ciascun tipo di macchina. Puoi specificare la memoria personalizzata durante la creazione della VM.

Tipo di macchina Conteggio GPU Conteggio vCPU Memoria VM predefinita (GB) Intervallo di memoria VM personalizzato (GB) Larghezza di banda massima della rete(Gbps)
g2-standard-4 1 4 16 Da 16 a 32 10
g2-standard-8 1 8 32 Da 32 a 54 16
g2-standard-12 1 12 48 Da 48 a 54 16
g2-standard-16 1 16 64 Da 54 a 64 32
g2-standard-24 2 24 96 Da 96 a 108 32
g2-standard-32 1 32 128 Da 96 a 128 32
g2-standard-48 4 48 192 Da 192 a 216 50
g2-standard-96 8 96 384 Da 384 a 432 100

VM N1 con GPU

Per le VM N1 per uso generale con GPU T4 e V100 collegate, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base alla combinazione di GPU e vCPU. Per tutte le altre VM N1 con GPU, consulta la Panoramica.

Consulta la sezione seguente per calcolare la larghezza di banda di rete massima disponibile per le VM T4 e V100 in base al modello di GPU, al numero di vCPU e di GPU.

Meno di 5 vCPU

Per le VM T4 e V100 con massimo 5 vCPU, è disponibile una larghezza di banda di rete massima di 10 Gbps.

Più di 5 vCPU

Per le VM T4 e V100 con più di 5 vCPU, la larghezza di banda di rete massima viene calcolata in base al numero di vCPU e GPU per la VM.

Modello GPU Numero di GPU Calcolo della larghezza di banda massima della rete
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

Creare VM ad alta larghezza di banda

Per creare VM che utilizzano larghezze di banda di rete superiori, consulta Utilizzare una larghezza di banda di rete superiore.

Per testare o verificare la velocità della larghezza di banda per qualsiasi configurazione, puoi utilizzare il test di benchmarking. Per ulteriori informazioni, consulta la sezione Verificare la larghezza di banda di rete.

Passaggi successivi