Opzioni di archiviazione per i dati di Cloud TPU

Questo documento descrive le opzioni di archiviazione dei dati che possono essere utilizzate per l'addestramento dei modelli su Cloud TPU.

Introduzione

Cloud TPU richiede lo spazio di archiviazione dei dati per:

  • download e pre-elaborazione dei set di dati
  • elaborazione della pipeline di input dell'host
  • input per l'addestramento del modello
  • output dell'addestramento del modello

Esistono cinque opzioni di archiviazione per i dati dell'applicazione Cloud TPU e per i set di dati di addestramento:

Per i dettagli sui costi e sulle prestazioni dell'archiviazione, consulta Opzioni di archiviazione.

Il disco di avvio di una VM TPU

Per impostazione predefinita, ogni VM Cloud TPU dispone di un disco permanente di avvio singolo da 100 GB che contiene il sistema operativo. Il disco di avvio può essere utilizzato anche per archiviare i set di dati scaricati per la preelaborazione e i dati di input e output del modello, a condizione che la quantità totale non superi lo spazio disponibile sul disco di avvio.

Se l'applicazione di addestramento richiede spazio di archiviazione aggiuntivo oltre a quello del disco di avvio predefinito, puoi aggiungere uno o più dischi permanenti all'istanza VM o VM TPU. Esistono procedure diverse per aggiungere un disco permanente a una VM Compute Engine o a una VM TPU.

Un disco permanente collegato a una VM TPU

I dischi permanenti sono dispositivi di archiviazione di rete durevoli a cui le istanze VM possono accedere come se si trattasse di dischi fisici su un computer desktop o un server. I dati su ciascun disco permanente sono distribuiti tra più dischi fisici. Compute Engine gestisce i dischi fisici e la distribuzione dei dati per garantire ridondanza e prestazioni ottimali.

I dischi permanenti vengono creati indipendentemente dalle istanze di macchine virtuali (VM), per consentirti di conservare i dati anche dopo aver eliminato le istanze VM. Le prestazioni dei dischi permanenti scalano in maniera automatica insieme alla dimensione, perciò puoi ridimensionare i dischi permanenti esistenti o aggiungerne altri a un'istanza per soddisfare le tue esigenze di prestazioni e spazio di archiviazione.

I dischi permanenti hanno una ridondanza integrata per proteggere i dati da guasti dell'apparecchiatura e per garantire la disponibilità dei dati tramite eventi di manutenzione del data center. I checksum vengono calcolati per tutte le operazioni disco permanente, in modo da assicurarci che ciò che leggi sia ciò che hai scritto.

Inoltre, puoi creare snapshot di dischi permanenti per proteggerti dalla perdita di dati a causa di errori dell'utente. Gli snapshot sono incrementali e richiedono solo pochi minuti per essere creati, anche se esegui lo snapshot di dischi collegati a istanze in esecuzione.

Per ulteriori informazioni sull'utilizzo dei dischi permanenti con le VM TPU, consulta Aggiunta di un disco permanente a una VM TPU.

Bucket Cloud Storage

I bucket Cloud Storage sono l'opzione di archiviazione più flessibile, scalabile e durevole per le tue istanze VM. Se il tuo job di addestramento non richiede la latenza inferiore dei dischi permanenti, puoi archiviare il set di dati in un bucket Cloud Storage.

Le prestazioni dei bucket Cloud Storage dipendono dalla classe di archiviazione selezionata e dalla posizione del bucket rispetto all'istanza.

La creazione del bucket Cloud Storage nella stessa zona della VM TPU offre prestazioni paragonabili ai dischi permanenti, ma con una latenza più elevata e caratteristiche di throughput meno coerenti.

Tutti i bucket Cloud Storage dispongono di ridondanza integrata per proteggere i dati da guasti dell'apparecchiatura e per garantire la disponibilità dei dati tramite eventi di manutenzione del data center. I checksum vengono calcolati per tutte le operazioni di Cloud Storage per garantire che ciò che leggi sia ciò che hai scritto.

A differenza dei dischi permanenti, i bucket Cloud Storage non sono limitati alla zona in cui si trova l'istanza. Inoltre, puoi leggere e scrivere dati in un bucket da più istanze contemporaneamente. Ad esempio, puoi configurare istanze in più zone per leggere e scrivere dati nello stesso bucket anziché replicare i dati su dischi permanenti in più zone.

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. In questo modo, le applicazioni possono leggere e scrivere oggetti nel tuo bucket utilizzando la semantica del file system standard.

Consulta la documentazione di Cloud Storage FUSE per informazioni dettagliate sul funzionamento di Cloud Storage FUSE e una descrizione di come le operazioni di Cloud Storage FUSE vengono mappate alle operazioni di Cloud Storage. Puoi trovare altre informazioni su come utilizzare Cloud Storage FUSE, ad esempio su come installare Cloud Storage FUSE CLI e montare i bucket su GitHub.

Condivisione file Filestore

La condivisione file Filestore è un NAS (Network Attached Storage) completamente gestito per Compute Engine. Filestore offre compatibilità con le applicazioni aziendali esistenti e supporta qualsiasi client compatibile con NFSv3.

Filestore offre bassa latenza per le operazioni con i file. Per i carichi di lavoro sensibili alla latenza, Filestore supporta una capacità fino a 100 TB e un throughput di 25 GB al secondo e 720.000 IOPS, con una minima variazione delle prestazioni.

Con Filestore puoi montare le condivisioni file su VM TPU.

Passaggi successivi