La famiglia di macchine ottimizzate per l'acceleratore è progettata da Google Cloud per offrire le prestazioni e l'efficienza necessarie per i carichi di lavoro accelerati da GPU, come l'intelligenza artificiale (AI), il machine learning (ML) e il calcolo ad alte prestazioni (HPC).
La famiglia di macchine ottimizzate per l'acceleratore è disponibile nelle seguenti serie di macchine: A3, A2 e G2. Ogni tipo di macchina all'interno di una serie ha un modello e un numero specifico di GPU NVIDIA collegate. Puoi anche collegare alcuni modelli di GPU ai tipi di macchine N1 per uso generale.
Suggerimento per la serie di macchine in base al tipo di carico di lavoro
La sezione seguente fornisce le serie di macchine consigliate in base ai carichi di lavoro GPU.
Modelli di IA di grandi dimensioni
Tipo di workload | Vestibilità ottimale | Buona alternativa |
---|---|---|
Addestramento su più server (distribuiti) | A3 Mega | A3 High, A2 |
Inferenza | A3 High, A3 Edge | A2 |
Per eseguire il provisioning dei cluster per l'addestramento e l'ottimizzazione di modelli su larga scala, consulta Eseguire l'addestramento e l'ottimizzazione di modelli su larga scala.
Modelli tradizionali
Tipo di workload | Vestibilità ottimale | Buona alternativa (nell'ordine consigliato) |
---|---|---|
Addestramento su più server (distribuiti) | A3 Mega, A3 High |
|
Addestramento con un solo server | A3 High, A3 Edge |
|
Inferenza | A3 Edge, G2 |
|
Per eseguire il provisioning dei cluster per l'esecuzione di modelli mainstream, consulta Eseguire l'addestramento e la messa a punto di modelli mainstream.
Carichi di lavoro ad alta intensità di grafica
Tipo di workload | Adattamento migliore (nell'ordine consigliato) |
---|---|
Streaming e transcodifica video, workstation virtuali remote, gemelli digitali |
|
Per eseguire il provisioning delle VM per carichi di lavoro ad alta intensità di grafica, consulta queste opzioni.
Computing ad alte prestazioni
Per i carichi di lavoro di calcolo ad alte prestazioni, qualsiasi serie di macchine ottimizzata per l'acceleratore funziona bene. La scelta migliore dipende dalla quantità di calcoli che deve essere trasferita alla GPU.
Prezzi e sconti
Tutti i tipi di macchine ottimizzate per l'acceleratore supportano le seguenti opzioni di sconto e consumo:
I tipi di macchine ottimizzate per l'acceleratore vengono fatturati in base alle GPU, alle vCPU predefinite, alla memoria e all'SSD locale in bundle (se applicabile) collegate. Per ulteriori informazioni sui prezzi delle VM ottimizzate per l'acceleratore, consulta la sezione Famiglia di tipo di macchina ottimizzate per l'acceleratore nella pagina dei prezzi delle istanze VM.
La serie di macchine A3
La serie di macchine A3 ha 208 vCPU e 1872 GB di memoria. Questa serie di macchine è ottimizzata per l'addestramento ML con vincoli di rete, ad alta intensità di calcolo e memoria, nonché per i carichi di lavoro HPC.
La serie di macchine A3 offre anche le seguenti funzionalità:
Hardware di nuova generazione: a ogni tipo di macchina A3 sono collegate GPU NVIDIA H100 SXM, che offrono 80 GB di memoria GPU per GPU ed è ideale per HPC, database e modelli linguistici basati su transformer di grandi dimensioni.
Questa serie di macchine è basata sul processore scalabile Intel Xeon di 4ª generazione (Sapphire Rapids) e offre una frequenza turbo massima single-core sostenuta fino a 3,3 GHz.
Scalabilità NVLink leader del settore: le GPU NVIDIA H100 offrono una larghezza di banda NVLink della GPU di picco di 450 GB/s in modo unidirezionale. Con una topologia NVLink all-to-all tra 8 GPU in un sistema, la larghezza di banda NVLink aggregata può arrivare a 7,2 TB/s. Queste GPU possono essere utilizzate come un singolo acceleratore ad alte prestazioni con spazio di memoria unificato per fornire fino a 25 petaFLOPS di potenza di calcolo AI/DL/ML e fino a 50 petaFLOPS di potenza di calcolo di inferenza.
Velocità di calcolo e rete migliorate: le GPU NVIDIA H100 offrono fino a un miglioramento di 2,5 volte della velocità di calcolo rispetto alle GPU NVIDIA A100. Il tipo di macchina
a3-highgpu-8g
offre una larghezza di banda di rete 10 volte superiore rispetto ai tipi di macchine A2 di generazione precedente. Il tipo di macchinaa3-megagpu-8g
offre il doppio della larghezza di banda di rete rispetto aa3-highgpu-8g
e 20 volte la larghezza di banda di rete rispetto ai tipi di macchine A2.- VM A3 con una sola NIC: per le VM A3 con da 1 a 4 GPU collegate, è disponibile solo una singola scheda di interfaccia di rete (NIC) fisica.
- VM A3 con più NIC: per le VM A3 con 8 GPU collegate, sono disponibili più NIC fisiche. Per questi tipi di macchine A3, le NIC sono disposte come segue su un bus Peripheral Component Interconnect Express (PCIe):
- Per il tipo di macchina A3 Mega: è disponibile una disposizione di NIC 8+1. Con questa disposizione, 8 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
- Per il tipo di macchina A3 High: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
- Per il tipo di macchina A3 Edge: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato. Queste 5 NIC forniscono una larghezza di banda di rete totale di 400 Gbps per ogni VM.
Le NIC che condividono lo stesso bus PCIe hanno un allineamento NUMA (accesso alla memoria non uniforme) di una NIC per due GPU NVIDIA H100 da 80 GB. Queste NIC sono ideali per la comunicazione GPU-GPU ad alta larghezza di banda dedicata. La scheda NIC fisica che si trova su un bus PCIe separato è ideale per altre esigenze di rete.
Miglioramento delle prestazioni del cluster GPU con GPUDirect-TCPX e GPUDirect-TCPXO:
Per i tipi di macchine A3 Mega, GPUDirect-TCPXO migliora ulteriormente GPUDirect-TCPX offloadando l'elaborazione del protocollo TCP sui core ACC della SmartNIC. Sfruttando GPUDirect-TCPXO, il tipo di macchina
a3-megagpu-8g
raddoppia la larghezza di banda della rete rispetto al tipo di macchinaa3-highgpu-8g
.Per i tipi di macchine A3 Edge e A3 High, GPUDirect-TCPX aumenta le prestazioni della rete consentendo il trasferimento dei payload dei pacchetti di dati direttamente dalla memoria della GPU all'interfaccia di rete. Sfruttando GPUDirect-TCPX, il tipo di macchina
a3-highgpu-8g
raggiunge un throughput molto più elevato tra le VM in un cluster rispetto ai tipi di macchina G2 o A2 ottimizzati per l'acceleratore.
Ottimizzazioni della virtualizzazione: la topologia Peripheral Component Interconnect Express (PCIe) delle VM A3 fornisce informazioni sulla località più precise che i carichi di lavoro possono utilizzare per ottimizzare i trasferimenti di dati.
Le GPU NVIDIA H100 espongono anche il ripristino a livello di funzione (FLR) per il recupero graduale dagli errori e il supporto delle operazioni atomiche per i miglioramenti della concorrenza in determinati scenari.
Spazio di archiviazione: 6000 GiB di SSD locale vengono aggiunti automaticamente alle VM create utilizzando uno dei tipi di macchine A3. L'SSD locale può essere utilizzata per dischi scratch rapidi o per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O.
Puoi anche collegare fino a 257 TiB di spazio di archiviazione su Persistent Disk ai tipi di macchine di queste serie per le applicazioni che richiedono prestazioni di archiviazione più elevate.
Supporto dei criteri di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle VM all'interno dei data center. In questo modo, puoi usufruire di una latenza inferiore e di una maggiore larghezza di banda per il posizionamento delle VM all'interno di una singola zona di disponibilità. Il criterio di posizionamento compatto supporta fino a 96 VM in un sottoinsieme della rete con latenza inferiore all'interno di una determinata zona. Per ulteriori informazioni, consulta la sezione Ridurre la latenza utilizzando i criteri di posizionamento compatto.
Per la serie di macchine A3 sono disponibili i seguenti tipi di macchine.
Tipo di macchina A3 Mega
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 9 | 1800 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipo di macchina A3 High
Quando esegui il provisioning di tipi di macchinea3-highgpu-1g
, a3-highgpu-2g
o a3-highgpu-4g
, devi utilizzare VM spot o una funzionalità che utilizza Dynamic Workload Scheduler (DWS), ad esempio le richieste di ridimensionamento in un gruppo di istanze gestite. Per istruzioni dettagliate su una di queste opzioni, consulta quanto segue:
- Per creare VM spot, consulta
Creare una VM ottimizzata per l'acceleratore
e ricordati di impostare il modello di provisioning su
SPOT
- Per creare una richiesta di ridimensionamento in un gruppo di istanze gestite che utilizza Dynamic Workload Scheduler, consulta Creare un gruppo di istanze gestite con VM GPU.
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 5 | 800 |
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipo di macchina A3 Edge
Tipo di macchina | Conteggio GPU | Memoria GPU* (GB HBM3) |
Numero di vCPU† | Memoria VM (GB) | SSD locale collegata (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps)‡ |
---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6000 | 5 |
|
*La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per la memorizzazione temporanea dei dati. È separata dalla memoria della VM ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei carichi di lavoro con uso intensivo di grafica.
†Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Tipi di dischi supportati per la serie A3
Le VM A3 possono utilizzare i seguenti tipi di archiviazione a blocchi:
- Disco permanente bilanciato (
pd-balanced
) - Persistent Disk SSD (prestazionale) (
pd-ssd
) - Hyperdisk bilanciato (
hyperdisk-balanced
): Hyperdisk bilanciato è supportato solo per i tipi di macchinea3-megagpu-8g
,a3-highgpu-8g
ea3-edgegpu-8g
. - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extreme (
hyperdisk-extreme
) - Velocità effettiva Hyperdisk (
hyperdisk-throughput
) - SSD locale: viene aggiunto automaticamente alle VM create utilizzando il tipo di macchina A3
A3 Mega
Numero massimo di dischi per VM* | ||||||
---|---|---|---|---|---|---|
Tipi di macchine |
Tutti i dischi† | Hyperdisk bilanciato | Velocità effettiva Hyperdisk | Hyperdisk ML | Hyperdisk Extreme | Dischi SSD locali collegati |
a3-megagpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
A3 High
Numero massimo di dischi per VM* | ||||||
---|---|---|---|---|---|---|
Tipi di macchine |
Tutti i dischi† | Hyperdisk bilanciato | Velocità effettiva Hyperdisk | Hyperdisk ML | Hyperdisk Extreme | Dischi SSD locali collegati |
a3-highgpu-1g |
128 | N/D | 64 | 64 | N/D | 2 |
a3-highgpu-2g |
128 | N/D | 64 | 64 | N/D | 4 |
a3-highgpu-4g |
128 | N/D | 64 | 64 | 8 | 8 |
a3-highgpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
A3 Edge
Numero massimo di dischi per VM* | ||||||
---|---|---|---|---|---|---|
Tipi di macchina | Tutti i dischi† | Hyperdisk bilanciato | Velocità effettiva Hyperdisk | Hyperdisk ML | Hyperdisk Extreme | SSD locale collegata |
a3-edgegpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
* L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente rispetto ai
prezzi dei tipi di macchine. Per i prezzi dei dischi, consulta
Prezzi di Persistent Disk e HyperDisk.
†Questo limite si applica a Persistent Disk e Hyperdisk, ma non include i dischi SSD locali.
Limiti di disco e capacità
Puoi utilizzare una combinazione di volumi di Persistent Disk e Hyperdisk con una VM, ma valgono le seguenti limitazioni:
- Il numero combinato di volumi Hyperdisk e di Persistent Disk non può superare i 128 per VM.
La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:
Per i tipi di macchine con meno di 32 vCPU:
- 257 TiB per tutti gli Hyperdisk o tutti i Persistent Disk
- 257 TiB per una combinazione di Hyperdisk e Persistent Disk
Per i tipi di macchine con 32 o più vCPU:
- 512 TiB per tutti gli Hyperdisk
- 512 TiB per una combinazione di Hyperdisk e Persistent Disk
- 257 TiB per tutti i Persistent Disk
Per informazioni dettagliate sui limiti di capacità, consulta Limiti di capacità di Hyperdisk per VM e Capacità massima del disco permanente.
Networking e serie di macchine A3
Per applicare le velocità di larghezza di banda della rete più elevate alle VM GPU, ti consigliamo di utilizzare la vNIC (virtual NIC) di Google. Per ulteriori informazioni sulla creazione di VM GPU che utilizzano gVNIC, consulta Creare VM GPU che utilizzano larghezze di banda più elevate.
Limitazioni per la serie A3
Le seguenti limitazioni si applicano alle VM che utilizzano i tipi di macchine A3 Edge, A3 High e A3 Mega:
- Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A3.
- Puoi utilizzare i tipi di macchine A3 solo in determinate regioni e zone.
- Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano tipi di macchine A3.
- La serie di macchine A3 è disponibile solo sulla piattaforma Sapphire Rapids.
- Se la VM utilizza un tipo di macchina A3, non puoi modificarlo. Se devi modificare il tipo di macchina, devi creare una nuova VM.
- Non puoi cambiare il tipo di macchina di una VM in un tipo di macchina A3. Se hai bisogno di una VM che utilizzi un tipo di macchina A3, devi creare una nuova VM.
- I tipi di macchine A3 non supportano la modalità single-tenant.
- Non puoi eseguire sistemi operativi Windows sui tipi di macchine A3.
- Puoi prenotare i tipi di macchine A3 solo tramite determinate prenotazioni.
- Per i tipi di macchine
a3-highgpu-1g
,a3-highgpu-2g
ea3-highgpu-4g
, si applicano le seguenti limitazioni:-
Per questi tipi di macchine,
devi utilizzare VM spot o una funzionalità che utilizza il
Dynamic Workload Scheduler (DWS), come le richieste di ridimensionamento in un MIG. Per istruzioni dettagliate su una di queste opzioni, consulta quanto segue:
- Per creare VM spot, consulta
Creare una VM ottimizzata per l'acceleratore
e ricordati di impostare il modello di provisioning su
SPOT
- Per creare una richiesta di ridimensionamento in un gruppo di istanze gestite che utilizza Dynamic Workload Scheduler, consulta Creare un gruppo di istanze gestite con VM GPU.
- Per creare VM spot, consulta
Creare una VM ottimizzata per l'acceleratore
e ricordati di impostare il modello di provisioning su
- Non puoi utilizzare Hyperdisk bilanciato con questi tipi di macchine.
- Non puoi creare prenotazioni.
-
Per questi tipi di macchine,
devi utilizzare VM spot o una funzionalità che utilizza il
Dynamic Workload Scheduler (DWS), come le richieste di ridimensionamento in un MIG. Per istruzioni dettagliate su una di queste opzioni, consulta quanto segue:
La serie di macchine A2
La serie di macchine A2 è disponibile nei tipi di macchine A2 Standard e A2 Ultra. Questi tipi di macchine hanno da 12 a 96 vCPU e fino a 1360 GB di memoria.
La serie di macchine A2 offre anche le seguenti funzionalità:
GPU NVIDIA collegate: ogni tipo di macchina A2 ha GPU NVIDIA A100. Sono disponibili sia nelle opzioni A100 da 40 GB che A100 da 80 GB.
Scalabilità NVLink leader del settore che offre una larghezza di banda NVLink da GPU a GPU di picco di 600 GB/s. Ad esempio, i sistemi con 16 GPU hanno una larghezza di banda NVLink aggregata fino a 9,6 TB/s. Queste 16 GPU possono essere utilizzate come un singolo acceleratore ad alte prestazioni con spazio di memoria unificato per fornire fino a 10 petaflop di potenza di calcolo e fino a 20 petaflop di potenza di calcolo di inferenza che possono essere utilizzati per i carichi di lavoro di intelligenza artificiale, deep learning e machine learning.
Velocità di calcolo migliorata: le GPU NVIDIA A100 collegate offrono fino a 10 volte la velocità di calcolo rispetto alle GPU NVIDIA V100 di generazione precedente.
Con la serie di macchine A2, puoi ottenere una larghezza di banda di rete fino a 100 Gbps.
Archiviazione: per dischi scratch veloci o per l'alimentazione di dati alle GPU evitando al contempo i colli di bottiglia I/O, i tipi di macchine A2 supportano l'SSD locale come segue:
- Per i tipi di macchine A2 Standard, puoi aggiungere fino a 3000 GiB di SSD locale.
- Per i tipi di macchine A2 Ultra, l'SSD locale viene collegata automaticamente quando crei la VM.
Puoi anche collegare fino a 257 TiB di spazio di archiviazione su Persistent Disk alle VM A2 per le applicazioni che richiedono queste prestazioni di archiviazione più elevate.
Supporto dei criteri di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle VM all'interno dei data center. In questo modo, puoi usufruire di una latenza inferiore e di una maggiore larghezza di banda per il posizionamento delle VM all'interno di una singola zona di disponibilità. Per ulteriori informazioni, consulta la sezione Ridurre la latenza utilizzando i criteri di posizionamento compatto.
Tipi di dischi supportati per A2
Le VM A2 possono utilizzare i seguenti tipi di archiviazione a blocchi:
- Hyperdisk ML (
hyperdisk-ml
) - Disco permanente bilanciato (
pd-balanced
) - Persistent Disk SSD (prestazionale) (
pd-ssd
) - Disco rigido permanente standard (
pd-standard
) - SSD locale: viene collegata automaticamente alle VM create utilizzando i tipi di macchine A2 Ultra.
Puoi utilizzare una combinazione di volumi di Persistent Disk e Hyperdisk con una VM, ma valgono le seguenti limitazioni:
- Il numero combinato di volumi Hyperdisk e di Persistent Disk non può superare i 128 per VM.
La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:
Per i tipi di macchine con meno di 32 vCPU:
- 257 TiB per tutti gli Hyperdisk o tutti i Persistent Disk
- 257 TiB per una combinazione di Hyperdisk e Persistent Disk
Per i tipi di macchine con 32 o più vCPU:
- 512 TiB per tutti gli Hyperdisk
- 512 TiB per una combinazione di Hyperdisk e Persistent Disk
- 257 TiB per tutti i Persistent Disk
Per informazioni dettagliate sui limiti di capacità, consulta Limiti di capacità di Hyperdisk per VM e Capacità massima del disco permanente.
Tipi di macchine A2 Ultra
Questi tipi di macchine hanno un numero fisso di GPU A100 da 80 GB. L'unità SSD locale viene collegata automaticamente alle VM create utilizzando i tipi di macchine A2 Ultra.
Tipi di macchina | Conteggio GPU | vCPU* | Memoria VM (GB) | Numero massimo di volumi su Persistent Disk permanenti† | Numero massimo di volumi Hyperdisk ML per VM | SSD locale collegata (GiB) | Larghezza di banda in uscita massima (Gbps)‡ |
---|---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 12 | 170 | 128 | 32 | 375 | 24 |
a2-ultragpu-2g |
2 | 24 | 340 | 128 | 48 | 750 | 32 |
a2-ultragpu-4g |
4 | 48 | 680 | 128 | 64 | 1500 | 50 |
a2-ultragpu-8g |
8 | 96 | 1360 | 128 | 64 | 3000 | 100 |
*Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
†L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente dai
prezzi dei tipi di macchine.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Limitazioni di A2 Ultra
- Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A2 Ultra.
- Puoi utilizzare i tipi di macchine A2 Ultra solo in determinate regioni e zone.
- Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano i tipi di macchine A2 Ultra.
- Il tipo di macchina A2 Ultra è disponibile solo sulla piattaforma Cascade Lake.
- Se la VM utilizza un tipo di macchina A2 Ultra, non puoi modificarlo. Se devi utilizzare un altro tipo di macchina A2 Ultra o qualsiasi altro tipo di macchina, devi creare una nuova VM.
- Non puoi modificare un altro tipo di macchina in un tipo A2 Ultra. Se hai bisogno di una VM che utilizzi un tipo di macchina A2 Ultra, devi creare una nuova VM.
- Non puoi eseguire un formato rapido delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine A2 Ultra. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità
diskpart e specificando
format fs=ntfs label=tmpfs
.
Tipi di macchine A2 standard
Questi tipi di macchine hanno un numero fisso di GPU A100 da 40 GB.
Tipi di macchina | Conteggio GPU | vCPU* | Memoria VM (GB) | Numero massimo di volumi su Persistent Disk permanenti† | Numero massimo di volumi Hyperdisk ML per VM | SSD locale supportato | Larghezza di banda in uscita massima (Gbps)‡ |
---|---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 12 | 85 | 128 | 32 | Sì | 24 |
a2-highgpu-2g |
2 | 24 | 170 | 128 | 48 | Sì | 32 |
a2-highgpu-4g |
4 | 48 | 340 | 128 | 64 | Sì | 50 |
a2-highgpu-8g |
8 | 96 | 680 | 128 | 64 | Sì | 100 |
a2-megagpu-16g |
16 | 96 | 1360 | 128 | 64 | Sì | 100 |
*Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
†L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente dai
prezzi dei tipi di macchine.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Limitazioni di A2 Standard
- Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A2 standard.
- Puoi utilizzare i tipi di macchine A2 standard solo in determinate regioni e zone.
- Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano i tipi di macchine A2 standard.
- Il tipo di macchina A2 standard è disponibile solo sulla piattaforma Cascade Lake.
- Se la VM utilizza un tipo di macchina A2 standard, puoi passare solo da un tipo di macchina A2 standard a un altro tipo di macchina A2 standard. Non puoi passare a un altro tipo di macchina. Per ulteriori informazioni, consulta Modificare le VM ottimizzate per l'acceleratore.
- Non puoi utilizzare il sistema operativo Windows con i tipi di macchine A2 standard <codea2-megagpu-16g< code="" dir="ltr" translate="no">. Quando utilizzi sistemi operativi Windows, scegli un tipo di macchina A2 Standard diverso.</codea2-megagpu-16g<>
- Non puoi eseguire un formato rapido delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine A2 Standard. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità
diskpart e specificando
format fs=ntfs label=tmpfs
. - I tipi di macchine A2 standard non supportano la modalità single-tenant.
La serie di macchine G2
La serie di macchine G2 è disponibile in tipi di macchine standard con da 4 a 96 vCPU e fino a 432 GB di memoria. Questa serie di macchine è ottimizzata per i workload di inferenza e grafica.
La serie di macchine G2 offre anche le seguenti funzionalità:
GPU NVIDIA collegate: ogni tipo di macchina G2 ha GPU NVIDIA L4.
Miglioramento dei tassi di inferenza: i tipi di macchine G2 supportano il tipo di dato FP8 (virgola mobile a 8 bit) che accelera i tassi di inferenza ML e riduce i requisiti di memoria.
Prestazioni grafiche di nuova generazione: le GPU NVIDIA L4 offrono un miglioramento fino a tre volte delle prestazioni grafiche grazie all'utilizzo di core RT di terza generazione e della tecnologia NVIDIA DLSS 3 (Deep Learning Super Sampling).
Larghezza di banda di rete ad alte prestazioni: con la serie di macchine G2, puoi ottenere fino a 100 Gbps di larghezza di banda di rete.
Spazio di archiviazione: puoi aggiungere fino a 3000 GiB di SSD locale alle VM G2. Questo può essere utilizzato per dischi scratch veloci o per alimentare i dati nelle GPU evitando al contempo i colli di bottiglia I/O.
Puoi anche collegare volumi Hyperdisk e di Persistent Disk alle VM G2 per le applicazioni che richiedono più spazio di archiviazione permanente. La capacità di archiviazione massima dipende dal numero di vCPU della VM. Per maggiori dettagli, consulta Tipi di dischi supportati.
Supporto dei criteri di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle VM all'interno dei data center. In questo modo, puoi usufruire di una latenza inferiore e di una maggiore larghezza di banda per il posizionamento delle VM all'interno di una singola zona di disponibilità. Per ulteriori informazioni, consulta la sezione Ridurre la latenza utilizzando i criteri di posizionamento compatto.
Tipi di dischi supportati per G2
Le VM G2 possono utilizzare i seguenti tipi di archiviazione a blocchi:
- Disco permanente bilanciato (
pd-balanced
) - Persistent Disk SSD (prestazionale) (
pd-ssd
) - Hyperdisk ML (
hyperdisk-ml
) - Velocità effettiva Hyperdisk (
hyperdisk-throughput
) - SSD locale
Puoi utilizzare una combinazione di volumi di Persistent Disk e Hyperdisk con una VM, ma valgono le seguenti limitazioni:
- Il numero combinato di volumi Hyperdisk e di Persistent Disk non può superare i 128 per VM.
La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:
Per i tipi di macchine con meno di 32 vCPU:
- 257 TiB per tutti gli Hyperdisk o tutti i Persistent Disk
- 257 TiB per una combinazione di Hyperdisk e Persistent Disk
Per i tipi di macchine con 32 o più vCPU:
- 512 TiB per tutti gli Hyperdisk
- 512 TiB per una combinazione di Hyperdisk e Persistent Disk
- 257 TiB per tutti i Persistent Disk
Per informazioni dettagliate sui limiti di capacità, consulta Limiti di capacità di Hyperdisk per VM e Capacità massima del disco permanente.
Tipi di macchine G2
A ogni tipo di macchina G2 è collegato un numero fisso di GPU NVIDIA L4 e vCPU. Ogni tipo di macchina G2 ha anche una memoria predefinita e un'intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare alla VM per ciascun tipo di macchina. Puoi specificare la memoria personalizzata durante la creazione della VM.
Tipi di macchina | Conteggio GPU | vCPU* | Memoria VM predefinita (GB) | Intervallo di memoria VM personalizzato (GB) | Numero massimo di dischi per VM, su tutti i dischi# |
Volume Hyperdisk totale massimo per VM |
SSD locale massima supportata (GiB) | Larghezza di banda in uscita massima (Gbps)‡ |
---|---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 4 | 16 | Da 16 a 32 | 128 | 24 | 375 | 10 |
g2-standard-8 |
1 | 8 | 32 | Da 32 a 54 | 128 | 32 | 375 | 16 |
g2-standard-12 |
1 | 12 | 48 | Da 48 a 54 | 128 | 32 | 375 | 16 |
g2-standard-16 |
1 | 16 | 64 | Da 54 a 64 | 128 | 48 | 375 | 32 |
g2-standard-24 |
2 | 24 | 96 | Da 96 a 108 | 128 | 64 | 750 | 32 |
g2-standard-32 |
1 | 32 | 128 | Da 96 a 128 | 128 | 64 | 375 | 32 |
g2-standard-48 |
4 | 48 | 192 | Da 192 a 216 | 128 | 64 | 1500 | 50 |
g2-standard-96 |
8 | 96 | 384 | Da 384 a 432 | 128 | 64 | 3000 | 100 |
*Una vCPU viene implementata come un singolo hyperthread hardware su una delle
piattaforme CPU disponibili.
†L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente dai
prezzi dei tipi di macchine.
‡La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori.
Vedi Larghezza di banda della rete.
Limitazioni di G2
- Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine G2.
- Puoi utilizzare i tipi di macchine G2 solo in determinate regioni e zone.
- Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano tipi di macchine G2.
- Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
- I dischi permanenti standard (
pd-standard
) non sono supportati nelle VM che utilizzano tipi di macchina G2 standard. Per i tipi di dischi supportati, consulta Tipi di dischi supportati per G2. - Non puoi creare GPU con più istanze sui tipi di macchine G2.
- Se devi modificare il tipo di macchina di una VM G2, consulta Modificare le VM ottimizzate per l'acceleratore.
- Non puoi utilizzare le immagini VM per il deep learning come dischi di avvio per le tue VM che utilizzano tipi di macchine G2.
- L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Container-Optimized OS supporta anche solo un insieme selezionato di driver.
Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, consulta le seguenti note:
- Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata
del driver NVIDIA
525.60.13
o successive. Per ulteriori informazioni, consulta le note di rilascio di Container-Optimized OS. - Quando installi il driver,
specifica la versione più recente disponibile che funziona per le GPU L4.
Ad esempio,
sudo cos-extensions install gpu -- -version=525.60.13
.
- Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata
del driver NVIDIA
- Devi utilizzare Google Cloud CLI o REST per
creare VM G2
per i seguenti scenari:
- Vuoi specificare valori di memoria personalizzati.
- Vuoi personalizzare il numero di core della CPU visibili.