Informazioni su Hyperdisk ML

Questo documento descrive le funzionalità di Hyperdisk ML, che offre il throughput più elevato tra tutti i tipi di Google Cloud Hyperdisk. Google consiglia di utilizzare Hyperdisk ML per il machine learning e per i workload che richiedono un elevato throughput in lettura su set di dati immutabili. Il throughput elevato di Hyperdisk ML consente di ottenere tempi di caricamento dei dati più rapidi, tempi di inattività dell'acceleratore più brevi e costi di calcolo inferiori.

Per workload di inferenza, addestramento e computing ad alte prestazioni (HPC) di grandi dimensioni, puoi collegare un singolo volume Hyperdisk ML a più istanze di computing in modalità di sola lettura.

Puoi specificare fino a 1.200.000 MiB/s di throughput per un singolo volume Hyperdisk ML. Non puoi eseguire il provisioning di un livello di IOPS, ma ogni MiB/s di throughput riservato è associato a 16 IOPS e a un massimo di 19.200.00 IOPS.

Per saperne di più su Hyperdisk e sugli altri tipi di Hyperdisk, consulta Informazioni su Hyperdisk.

Per creare un volume Hyperdisk ML, consulta Crea un volume Hyperdisk.

Casi d'uso

Hyperdisk ML è adatto ai seguenti casi d'uso:

  • Workload con computing ad alte prestazioni
  • Machine learning
  • Workload ottimizzati per l'acceleratore

Serie di macchine supportate

Puoi utilizzare Hyperdisk ML con le seguenti serie di macchine:

Informazioni sul provisioning delle prestazioni

Non devi eseguire il provisioning delle prestazioni quando crei i volumi Hyperdisk. Se non esegui il provisioning delle prestazioni, Compute Engine crea il volume con valori predefiniti che puoi modificare in un secondo momento. Per informazioni dettagliate sui valori predefiniti, consulta Valori predefiniti di IOPS e throughput.

Se conosci le tue esigenze in termini di prestazioni, puoi specificare limiti di IOPS e throughput per un volume Hyperdisk ML quando lo crei e modificare i valori di provisioning dopo la creazione. Non puoi specificare un livello di IOPS o di throughput se non specifichi una dimensione.

Limiti di dimensioni e prestazioni

I seguenti limiti si applicano ai valori di dimensione, throughput e IOPS che puoi specificare per un volume Hyperdisk ML.

  • Dimensione: tra 4 GiB e 64 TiB. La dimensione predefinita è 100 GiB.

  • Throughput: tra 400 MiB/s e 1.200.000 MiB/s, con le seguenti limitazioni:

    • Throughput minimo: per volumi da 6 a 3341 GiB, il throughput minimo è di 400 MiB/s. Per i volumi superiori a 3342 GiB, il throughput minimo varia da 401 a 7680 MiB/s.
    • Throughput massimo: per volumi superiori a 750 GiB, il throughput massimo è di 1.200.000 MiB/s. Per i volumi da 4 a 749 GiB, il throughput massimo varia in base alle dimensioni. Per esempi, consulta Limiti per throughput riservato.

  • IOPS: non è possibile specificare un limite di IOPS per i volumi Hyperdisk ML. Le IOPS sottoposte a provisioning, invece, dipendono dal throughput riservato. Per ogni volume Hyperdisk ML viene eseguito il provisioning con 16 IOPS per ogni MiB/s di throughput, fino a un massimo di 19.200.000 IOPS.

Limiti per il throughput riservato

La tabella seguente elenca i limiti per il throughput riservato per le dimensioni dei volumi più comuni. Se una dimensione non è presente in elenco, utilizza la seguente formula per calcolare i valori consentiti, dove x è la dimensione del volume in GiB:

  • Throughput minimo configurabile: MAX (400, 0.12x)
  • Throughput massimo configurabile: MIN (1200000, 1600x)
Dimensioni Throughput minimo Throughput massimo
4 400 6400
10 400 16.000
50 400 80.000
64 400 102.400
100 400 160.000
300 400 480.000
500 400 800.000
1000 400 1.200.000
5000 600 1.200.000
25.000 3000 1.200.000
64.000 7680 1.200.000

Valori predefiniti di IOPS e throughput

Se non specifichi un limite di IOPS o di throughput durante la creazione di un volume Hyperdisk ML, Compute Engine assegna i valori predefiniti. Il valore assegnato si basa sulle seguenti formule, dove x è la dimensione del volume in GiB.

  • Throughput predefinito: MAX (24x, 400) MiB/s
  • Dimensione predefinita: 100 GiB

Modifica le dimensioni o le prestazioni di cui è stato eseguito il provisioning

Puoi modificare le dimensioni di cui è stato eseguito il provisioning ogni 4 ore e il relativo throughput ogni 6 ore. Per istruzioni su come modificare le dimensioni o le prestazioni, consulta Modifica un volume Hyperdisk.

Limiti di prestazioni in caso di collegamento a un'istanza

Questa sezione illustra i limiti di prestazioni per Hyperdisk ML. Puoi specificare fino a 1.200.000 MiB/s di throughput per un singolo volume Hyperdisk ML. Non puoi eseguire il provisioning di un livello di IOPS, ma ogni MiB/s di throughput riservato è associato a 16 IOPS e a un massimo di 19.200.00 IOPS.

La tabella seguente elenca le prestazioni massime che i volumi Hyperdisk ML possono raggiungere per ogni istanza supportata. Le prestazioni di un volume Hyperdisk ML quando è collegato a un'istanza non possono superare i limiti del tipo di macchina dell'istanza. I limiti di prestazioni sono inoltre condivisi tra tutti i volumi Hyperdisk ML collegati alla stessa istanza, indipendentemente dalle prestazioni di cui è stato eseguito il provisioning per ciascun volume.

Scenari che richiedono più istanze per raggiungere le prestazioni di cui è stato eseguito il provisioning

Il throughput riservato per un volume Hyperdisk ML viene condiviso tra ogni istanza a cui è collegato il volume, fino al limite massimo per il tipo di macchina riportato nella tabella seguente. Se le prestazioni di cui è stato eseguito il provisioning di un volume Hyperdisk ML sono superiori al limite di prestazioni di un'istanza, il volume può raggiungere le prestazioni di cui è stato eseguito il provisioning solo se è collegato a più istanze. Le istanze a3-ultragpu-8 hanno un limite di throughput di 4000 MiB/s.

Ad esempio, supponi di aver eseguito il provisioning di 500.000 MiB/s di throughput per un volume Hyperdisk ML e di voler collegare il volume a istanze a3-ultragpu-8. Una singola istanza a3-ultragpu-8 non può raggiungere un throughput superiore a 4000 MiB/s. Pertanto, per raggiungere il throughput riservato del volume, devi collegare il volume ad almeno 125 (500.000/4000) istanze a3-ultragpu-8. Invece, per il tipo di macchina a2-highgpu-1g sono necessarie 272 istanze.

Tipo di macchina dell'istanza IOPS massime Throughput massimo (MiB/s)
a2-*-1g 28.800 1800
a2-*-2g 38.400 2400
a2-*-4g 38.400 2400
a2-*-8g 38.400 2400
a2-megagpu-16g 38.400 2400
a3-*-1g 28.800 1800
a3-*-2g 38.400 2400
a3-*-4g 38.400 2400
a3-*-8g (in modalità di sola lettura)1 64.000 4000
a3-*-8g (in modalità di lettura e scrittura)1 38.400 2400
c3-*-4 6400 400
c3-*-8 12.800 800
c3-*-22 28.800 1800
c3-*-44 38.400 2400
c3-*-88 38.400 2400
c3-*-176 38.400 2400
c3-*-192 38.400 2400
c3d-*-4 6400 400
c3d-*-8 12.800 800
c3d-*-16 19.200 1200
c3d-*-30 19.200 1200
c3d-*-60 38.400 2400
c3d-*-90 38.400 2400
c3d-*-180 38.400 2400
c3d-*-360 38.400 2400
ct6e-standard-1t 19.200 1200
ct6e-standard-4t 28.800 1800
ct6e-standard-8t 28.800 1800
g2-standard-4 12.800 800
g2-standard-8 19.200 1200
g2-standard-12 28.800 1800
g2-standard-16 38.400 2400
g2-standard-24 38.400 2400
g2-standard-32 38.400 2400
g2-standard-48 38.400 2400
g2-standard-96 38.400 2400

1 Per le istanze a3-*-8g, le prestazioni dipendono dalla modalità del collegamento del volume Hyperdisk ML all'istanza, di sola lettura o di lettura e scrittura.

Disponibilità regionale per Hyperdisk ML

Hyperdisk ML è disponibile nelle seguenti regioni e zone:

Regione Zone disponibili
Contea di Changhua, Taiwan - asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
Tokyo, Giappone - asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
Seul, Corea del Sud - asia-northeast3 asia-northeast3-a
asia-northeast3-b
Jurong West, Singapore - asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
Mumbai, India - asia-south1 asia-south1-b
asia-south1-c
Saint-Ghislain, Belgio - europe-west1 europe-west1-b
europe-west1-c
Londra, Inghilterra - europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
Eemshaven, Paesi Bassi - europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
Zurigo, Svizzera - europe-west6 europe-west6-b
europe-west6-c
Tel Aviv, Israele - me-west1 me-west1-b
me-west1-c
Council Bluffs, Iowa - us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
Moncks Corner, Carolina del Sud - us-east1 us-east1-b
us-east1-c
us-east1-d
Ashburn, Virginia - us-east4 us-east4-a
us-east4-b
us-east4-c
Columbus, Ohio - us-east5 us-east5-a
us-east5-b
us-east5-c
Dallas, Texas - us-south1 us-south1-a
The Dalles, Oregon - us-west1 us-west1-a
us-west1-b
us-west1-c
Salt Lake City, Utah - us-west3 us-west3-b
Las Vegas, Nevada - us-west4 us-west4-a
us-west4-b
us-west4-c

Protezione in caso di emergenza per i volumi Hyperdisk ML

Puoi eseguire il backup di un volume Hyperdisk ML con snapshot standard. Gli snapshot eseguono il backup dei dati su un volume Hyperdisk ML in un momento specifico.

Replica tra zone

Non puoi replicare i volumi Hyperdisk ML in un'altra zona. Per replicare i dati in un'altra zona all'interno della stessa regione devi utilizzare volumi Hyperdisk Balanced ad alta affidabilità.

Condividi un volume Hyperdisk ML tra le VM

Per i workload di machine learning ottimizzati per l'acceleratore, puoi collegare lo stesso volume Hyperdisk ML a più istanze. In questo modo, è possibile accedere contemporaneamente in sola lettura a un singolo volume da più VM. È una soluzione più economica rispetto all'utilizzo di più dischi con gli stessi dati.

La condivisione di un disco tra VM non comporta costi aggiuntivi. Il collegamento di un disco in modalità di sola lettura a più VM non influisce sulle prestazioni del disco. Ogni VM può comunque raggiungere le prestazioni massime del disco raggiungibili dalla serie di macchine della VM.

Limitazioni per la condivisione di Hyperdisk ML tra VM

  • I volumi Hyperdisk ML non supportano la modalità multi-writer. Puoi condividere un volume Hyperdisk ML tra più istanze se il volume è in modalità di sola lettura.
  • I volumi Hyperdisk ML non possono essere collegati a una singola istanza in modalità di sola lettura.
  • Se condividi un volume Hyperdisk ML in modalità di sola lettura, non puoi riattivare l'accesso in scrittura al disco.
  • Puoi collegare un volume Hyperdisk ML a un massimo di 100 istanze durante ogni intervallo di 30 secondi.
  • Per i volumi Hyperdisk ML, il numero massimo di istanze dipende dalle
    • le dimensioni di cui è stato eseguito il provisioning, come segue:
    • Volumi di dimensioni inferiori a 256 GiB: 2500 VM
    • Volumi con capacità di almeno 256 GiB e inferiore a 1 TiB: 1500 VM
    • Volumi con capacità di almeno 1 TiB e inferiore a 2 TiB: 600 VM
    • Volumi con capacità di almeno 2 TiB: 30 VM

Se il volume è collegato a più di 20 VM, devi eseguire il provisioning di almeno 100 MiB/s di throughput per ogni VM. Ad esempio, se colleghi un disco a 500 VM, devi eseguire il provisioning del volume con un throughput di almeno 50.000 MiB/s.

Per saperne di più, consulta Modalità di sola lettura per Hyperdisk.

Prezzi

Sono previsti addebiti per il throughput e le dimensioni totali di cui è stato eseguito il provisioning dei volumi Hyperdisk ML fino a quando questi non vengono eliminati. Gli addebiti vengono effettuati anche se il volume non è collegato a nessuna istanza o se l'istanza è sospesa o arrestata. Per ulteriori informazioni, consulta la sezione Prezzi dei dischi.

Limitazioni

  • I volumi Hyperdisk ML sono volumi a livello di zona e sono accessibili solo dalla zona in cui li hai creati.
  • Non puoi creare un'immagine della macchina da un volume Hyperdisk.
  • Non puoi creare uno snapshot istantaneo da un volume Hyperdisk ML.
  • Non puoi utilizzare Hyperdisk ML come dischi di avvio.
  • Non puoi creare un disco Hyperdisk ML in modalità lettura/scrittura singola da uno snapshot o un'immagine disco. Devi creare il disco in modalità di sola lettura multipla.
  • Puoi modificare le dimensioni di un volume Hyperdisk ML ogni 4 ore e il relativo throughput ogni 6 ore.

Passaggi successivi