Google Cloud Managed Lustre
File system parallelo ad alte prestazioni
Accelera l'addestramento e l'erogazione dell'AI e dell'HPC con il file system parallelo di Google ad alte prestazioni e conforme a POSIX.
Funzionalità
Prestazioni e scalabilità per i workload IA/ML
L'addestramento di modelli di deep learning di grandi dimensioni richiede set di dati di grandi dimensioni. Managed Lustre, basato su DDN EXAScaler, distribuisce l'accesso ai dati, riducendo i tempi di addestramento e consentendo insight più rapidi, una maggiore accuratezza e la gestione di progetti di AI complessi. La sua scalabilità assicura che le prestazioni riescano a stare al passo con la crescita dei dati, prevenendo i colli di bottiglia di archiviazione.
Accelera l'inferenza dell'AI con la KV Cache
L'AI agentica continua a guidare le grandi finestre contestuali e questo può rappresentare una sfida di archiviazione per fornire all'utente finale un'esperienza adattabile mentre interagisce con gli LLM. Le finestre contestuali di grandi dimensioni aumentano la sensibilità alla latenza poiché la memoria locale sugli acceleratori è spesso esaurita, il che richiede al modello di accedere alla unità di archiviazione esterna. Managed Lustre, che offre tempi di risposta inferiori al millisecondo, può migliorare il TCO fino al 35% e migliorare il throughput di inferenza complessivo.
Massimizza le prestazioni per dollaro per le risorse di archiviazione e di calcolo
Ottimizza l'utilizzo delle risorse distribuendo in modo efficiente dati e attività di elaborazione. Migliora l'utilizzo di GPU/TPU, le letture e le scritture dei checkpoint, con conseguente riduzione dei costi di archiviazione, diminuzione dei costi di calcolo e miglioramento generale dell'efficienza in termini di costi.
Come funziona
La configurazione e l'utilizzo dell'infrastruttura HPC on-premise è costosa e richiede una manutenzione continua. Inoltre, l'infrastruttura on-premise in genere non può essere scalata rapidamente per adattarsi alle variazioni della domanda. Pianificare, acquistare, eseguire il deployment e dismettere l'hardware on-premise richiede molto tempo, con conseguente ritardo nell'aggiunta di risorse HPC o capacità sottoutilizzate. Nel cloud, puoi eseguire il provisioning in modo efficiente dell'infrastruttura HPC che utilizza la tecnologia più recente e puoi scalare la tua capacità on demand. Scienziati, ricercatori e analisti possono accedere rapidamente a una capacità HPC aggiuntiva per i loro progetti quando ne hanno bisogno.
La configurazione e l'utilizzo dell'infrastruttura HPC on-premise è costosa e richiede una manutenzione continua. Inoltre, l'infrastruttura on-premise in genere non può essere scalata rapidamente per adattarsi alle variazioni della domanda. Pianificare, acquistare, eseguire il deployment e dismettere l'hardware on-premise richiede molto tempo, con conseguente ritardo nell'aggiunta di risorse HPC o capacità sottoutilizzate. Nel cloud, puoi eseguire il provisioning in modo efficiente dell'infrastruttura HPC che utilizza la tecnologia più recente e puoi scalare la tua capacità on demand. Scienziati, ricercatori e analisti possono accedere rapidamente a una capacità HPC aggiuntiva per i loro progetti quando ne hanno bisogno.
Utilizzi comuni
Workload di intelligenza artificiale (AI) o machine learning (ML)
Managed Lustre accelera le applicazioni di AI e ML
I file system paralleli accelerano notevolmente l'addestramento e l'inferenza dell'AI fornendo un accesso a bassa latenza e ad alta velocità effettiva a enormi set di dati. Questi sistemi distribuiscono i dati su più nodi di archiviazione, consentendo l'accesso simultaneo da parte di numerose unità di elaborazione o GPU. Questo accesso parallelo elimina i colli di bottiglia che si verificano con i file system tradizionali, consentendo ai modelli di AI di importare ed elaborare rapidamente le grandi quantità di dati richieste per l'addestramento.
Risorse per l'apprendimento
Managed Lustre accelera le applicazioni di AI e ML
I file system paralleli accelerano notevolmente l'addestramento e l'inferenza dell'AI fornendo un accesso a bassa latenza e ad alta velocità effettiva a enormi set di dati. Questi sistemi distribuiscono i dati su più nodi di archiviazione, consentendo l'accesso simultaneo da parte di numerose unità di elaborazione o GPU. Questo accesso parallelo elimina i colli di bottiglia che si verificano con i file system tradizionali, consentendo ai modelli di AI di importare ed elaborare rapidamente le grandi quantità di dati richieste per l'addestramento.
Computing ad alte prestazioni (HPC)
Le applicazioni HPC richiedono una solida infrastruttura di archiviazione
I file system paralleli sono fondamentali per l'high performance computing (HPC, computing ad alte prestazioni). Per le previsioni meteo, gestiscono enormi quantità di dati meteorologici per previsioni accurate. Gli ingegneri li utilizzano per complesse simulazioni di fluidodinamica, migliorando il design di aerei e automobili. Gli istituti finanziari accelerano le valutazioni dei rischi e le previsioni di mercato elaborando enormi set di dati finanziari. Questi sistemi forniscono il throughput elevato e la bassa latenza necessarie per i workload ad alta intensità di dati, consentendo un'analisi più rapida ed efficiente in tutte le applicazioni HPC critiche.
Risorse per l'apprendimento
Le applicazioni HPC richiedono una solida infrastruttura di archiviazione
I file system paralleli sono fondamentali per l'high performance computing (HPC, computing ad alte prestazioni). Per le previsioni meteo, gestiscono enormi quantità di dati meteorologici per previsioni accurate. Gli ingegneri li utilizzano per complesse simulazioni di fluidodinamica, migliorando il design di aerei e automobili. Gli istituti finanziari accelerano le valutazioni dei rischi e le previsioni di mercato elaborando enormi set di dati finanziari. Questi sistemi forniscono il throughput elevato e la bassa latenza necessarie per i workload ad alta intensità di dati, consentendo un'analisi più rapida ed efficiente in tutte le applicazioni HPC critiche.
Prezzi
| Prezzi di Managed Lustre | I prezzi di Managed Lustre si basano principalmente sulla località e sul livello di servizio. |
|---|---|
| Livello del servizio | Prezzi |
1000 MB/s/TiB Il meglio per i workload ad alte prestazioni, come l'addestramento AI/ML, in cui il throughput è fondamentale. | A partire da 0,60 $ per GiB al mese |
1000 MB/s/TiB Ideale per un equilibrio tra prestazioni elevate: eccellente per workload di AI/ML impegnativi, applicazioni HPC complesse e analisi ad alta intensità di dati che richiedono un throughput sostanziale, ma possono trarre vantaggio da un rapporto prezzo/prestazioni più equilibrato. | A partire da 0,34 $ per GiB al mese |
250 MB/s/TiB Ideale per HPC per uso generico e AI a elevato throughput: adatto a un'ampia gamma di workload HPC, inferenza AI/ML, pre-elaborazione dei dati e applicazioni che necessitano di prestazioni significativamente migliori rispetto all'NFS tradizionale, a un prezzo conveniente. | A partire da 0,21 $ per GiB al mese |
125 MB/s/TiB Ideale per workload incentrati sulla capacità con esigenze di accesso parallelo: progettato per scenari in cui sono fondamentali grandi capacità e accesso al file system parallelo. Ideale per attività parallele meno vincolate all'I/O. | A partire da 0,145 $ per GiB al mese |
Ulteriori informazioni sui prezzi di Google Cloud Visualizza tutti i dettagli sui prezzi.
Prezzi di Managed Lustre
I prezzi di Managed Lustre si basano principalmente sulla località e sul livello di servizio.
1000 MB/s/TiB
Il meglio per i workload ad alte prestazioni, come l'addestramento AI/ML, in cui il throughput è fondamentale.
A partire da 0,60 $ per GiB al mese
1000 MB/s/TiB
Ideale per un equilibrio tra prestazioni elevate: eccellente per workload di AI/ML impegnativi, applicazioni HPC complesse e analisi ad alta intensità di dati che richiedono un throughput sostanziale, ma possono trarre vantaggio da un rapporto prezzo/prestazioni più equilibrato.
A partire da 0,34 $ per GiB al mese
250 MB/s/TiB
Ideale per HPC per uso generico e AI a elevato throughput: adatto a un'ampia gamma di workload HPC, inferenza AI/ML, pre-elaborazione dei dati e applicazioni che necessitano di prestazioni significativamente migliori rispetto all'NFS tradizionale, a un prezzo conveniente.
A partire da 0,21 $ per GiB al mese
125 MB/s/TiB
Ideale per workload incentrati sulla capacità con esigenze di accesso parallelo: progettato per scenari in cui sono fondamentali grandi capacità e accesso al file system parallelo. Ideale per attività parallele meno vincolate all'I/O.
A partire da 0,145 $ per GiB al mese
Ulteriori informazioni sui prezzi di Google Cloud Visualizza tutti i dettagli sui prezzi.
Business case
Impara dai clienti di Managed Lustre
Perché Resemble AI sceglie Managed Lustre per eseguire workload ad alte prestazioni
Zohaib Ahmed, CEO Resemble AI
"La nostra capacità di aiutare le aziende a identificare e bloccare audio, video e immagini deepfake dipende esclusivamente dalla qualità dei nostri modelli. Managed Lustre è fondamentale per l'addestramento di successo del nostro modello con i nostri set di dati dinamici. Satura completamente le nostre GPU ed è 6 volte più veloce delle altre soluzioni di archiviazione che abbiamo valutato".
