Opzioni di archiviazione per i dati di Cloud TPU

Questo documento descrive le opzioni di archiviazione dati che possono essere utilizzate durante l'addestramento di modelli su Cloud TPU.

Introduzione

Cloud TPU richiede l'archiviazione dei dati per:

  • download e pre-elaborazione del set di dati
  • elaborazione della pipeline di input dell'host
  • input di addestramento del modello
  • output di addestramento del modello

Esistono cinque opzioni di archiviazione per i dati delle applicazioni e i set di dati di addestramento di Cloud TPU:

Per maggiori dettagli sui costi e sulle prestazioni di archiviazione, vedi Opzioni di archiviazione.

Il disco di avvio per una VM TPU o un nodo TPU

Per impostazione predefinita, ogni VM Cloud TPU ha un disco permanente ad avvio singolo da 100 GB contenente il sistema operativo. Il disco di avvio può essere utilizzato anche per archiviare i set di dati scaricati per la pre-elaborazione e i dati di input e di output del modello, a condizione che la quantità totale non superi lo spazio disponibile sul disco di avvio.

Se la tua applicazione di addestramento richiede ulteriore spazio di archiviazione oltre a quello predefinito del disco di avvio, puoi aggiungere uno o più dischi permanenti alla tua VM o all'istanza VM TPU. Esistono diverse procedure per aggiungere un disco permanente a un nodo TPU (una VM Compute Engine) o a una VM TPU.

Un disco permanente collegato a una VM TPU o a un nodo TPU

I dischi permanenti sono dispositivi di archiviazione di rete durevoli a cui le istanze VM possono accedere come se si trattasse di dischi fisici su un computer o un server. I dati su ciascun disco permanente sono distribuiti tra diversi dischi fisici. Compute Engine gestisce i dischi fisici e la distribuzione dei dati al posto tuo, per garantire ridondanza e prestazioni ottimali.

I dischi permanenti vengono creati in modo indipendente dalle istanze delle macchine virtuali (VM), così puoi conservare i dati anche dopo aver eliminato le istanze VM. Le prestazioni dei dischi permanenti scalano in maniera automatica insieme alla dimensione, perciò puoi ridimensionare i dischi permanenti esistenti o aggiungerne altri a un'istanza per soddisfare le tue esigenze di prestazioni e spazio di archiviazione.

I dischi permanenti dispongono di ridondanza integrata per proteggere i dati da guasti delle apparecchiature e per garantirne la disponibilità tramite gli eventi di manutenzione del data center. I checksum vengono calcolati per tutte le operazioni su disco permanente, in modo da garantire che ciò che leggi sia quanto scritto.

Inoltre, puoi creare snapshot di dischi permanenti per proteggerti dalla perdita di dati dovuta a errori utente. Gli snapshot sono incrementali e la loro creazione richiede solo minuti, anche se crei snapshot di dischi collegati a istanze in esecuzione.

Per ulteriori informazioni sull'utilizzo dei dischi permanenti con le VM TPU, consulta Aggiungere un disco permanente a una VM TPU.

Bucket Cloud Storage

I bucket Cloud Storage sono l'opzione di archiviazione più flessibile, scalabile e durevole per le tue istanze VM. Se il job di addestramento non richiede la latenza inferiore dei dischi permanenti, puoi archiviare il set di dati in un bucket Cloud Storage.

Le prestazioni dei bucket Cloud Storage dipendono dalla classe di archiviazione selezionata e dalla località del bucket rispetto alla tua istanza.

La creazione del bucket Cloud Storage nella stessa zona dell'istanza VM (per i nodi TPU) o della VM TPU offre prestazioni paragonabili a quelle dei dischi permanenti, ma con latenza più alta e caratteristiche di velocità effettiva meno coerenti.

Tutti i bucket Cloud Storage dispongono di ridondanza integrata per proteggere i dati da malfunzionamenti delle apparecchiature e per garantirne la disponibilità durante gli eventi di manutenzione dei data center. I checksum vengono calcolati per tutte le operazioni di Cloud Storage, per garantire che ciò che leggi sia quanto scritto.

A differenza dei dischi permanenti, i bucket Cloud Storage non sono limitati alla zona in cui si trova l'istanza. Inoltre, puoi leggere e scrivere dati in un bucket da più istanze contemporaneamente. Ad esempio, puoi configurare le istanze in più zone per leggere e scrivere dati nello stesso bucket, anziché replicarli su dischi permanenti in più zone.

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. che permette di leggere e scrivere oggetti nel bucket usando la semantica standard del file system.

Consulta la documentazione di FUSE di Cloud Storage per dettagli sul funzionamento di Cloud Storage FUSE e una descrizione di come le operazioni di Cloud Storage FUSE vengono mappate alle operazioni di Cloud Storage. Puoi trovare ulteriori informazioni sull'utilizzo di Cloud Storage FUSE, ad esempio su come installare l'interfaccia a riga di comando di Cloud Storage FUSE e montare i bucket su GitHub.

Condivisione file Filestore

La condivisione file Filestore è una soluzione NAS (Network Attached Storage) completamente gestita per Compute Engine. Filestore offre compatibilità con le applicazioni aziendali esistenti e supporta qualsiasi client compatibile con NFSv3.

Filestore offre una bassa latenza per le operazioni sui file. Per carichi di lavoro sensibili alla latenza, Filestore supporta capacità fino a 100 TB e una velocità effettiva di 25 GB al secondo e 720.000 IOPS, con una minima variabilità delle prestazioni.

Con Filestore, puoi montare le condivisioni file sulle VM TPU.

Passaggi successivi