Archiviazione di file su Compute Engine

Last reviewed 2024-07-24 UTC

L'archiviazione di file, nota anche come NAS (Network Attached Storage), fornisce a livello di file accesso alle applicazioni per leggere e aggiornare le informazioni che possono essere condivise più macchine. Alcune soluzioni di archiviazione di file on-premise hanno una scalabilità verticale e aggiunge spazio di archiviazione a una quantità fissa di risorse di calcolo. Altre soluzioni di archiviazione di file hanno un'architettura di scale out in cui capacità il computing (prestazioni) può essere aggiunto in modo incrementale a un file system esistente necessaria. In entrambe le architetture di archiviazione, una o più macchine virtuali (VM) possono accedere allo spazio di archiviazione.

Anche se alcuni file system utilizzano un client POSIX nativo, molti sistemi di archiviazione utilizzano un che consente alle macchine client di montare un file system e di accedere come se fossero ospitati localmente. I protocolli più comuni per l'esportazione le condivisioni di file sono Network File System (NFS) per Linux (e in alcuni casi Windows) e Server Message Block (SMB) per Windows.

In questo documento vengono descritte le seguenti opzioni per la condivisione dei file:

Un fattore di base delle prestazioni e della prevedibilità di tutti i servizi Google Cloud è lo stack di rete che Google ha sviluppato nel corso di molti anni. Con Tessuto di Jupiter Google ha creato uno stack di networking solido, scalabile e stabile che può continuare senza incidere sui tuoi carichi di lavoro. Mentre Google migliora e rafforza le sue funzionalità di rete interne, la soluzione di condivisione file trae vantaggio dall'aggiunta le prestazioni dei dispositivi.

Una funzionalità di Google Cloud che può aiutarti a ottenere il massimo dal tuo è la capacità di specificare Tipi di VM personalizzate. Quando scegli le dimensioni del filer, puoi scegliere esattamente la giusta combinazione di di memoria e CPU, in modo che il filer stia funzionando con prestazioni ottimali senza sottoscritti in eccesso.

Inoltre, è importante scegliere il Compute Engine corretto del disco permanente e il numero di vCPU per garantire che i dispositivi di archiviazione ricevono la larghezza di banda e gli IOP necessari, e la larghezza di banda della rete. Una VM riceve 2 Gbps di velocità effettiva di rete per ogni vCPU (fino al massimo). Per l'ottimizzazione di un disco permanente, consulta Ottimizzazione delle prestazioni disco permanente e degli SSD locali

Tieni presente che Cloud Storage è anche un ottimo modo per archiviare petabyte di dati con alti livelli ridondanza a basso costo, ma Cloud Storage ha un del profilo prestazioni e dell'API rispetto ai file server discussi qui.

Riepilogo delle soluzioni file-server

La seguente tabella riassume le soluzioni e le funzionalità dei file server:

Soluzione Set di dati ottimale Velocità effettiva Assistenza gestita Esporta protocolli
Filestore Basic Da 1 TiB a 64 TiB Fino a 1,2 GiB/s Completamente gestito da Google NFSv3
Zona Filestore Da 1 TiB a 100 TiB Fino a 26 GiB/s Completamente gestito da Google NFSv3
Filestore a livello di regione Da 1 TiB a 100 TiB Fino a 26 GiB/s Completamente gestito da Google NFSv3
Google Cloud NetApp Volumes Da 1 GiB a 100 TiB Da MB/s a 4,5 GiB/s Completamente gestito da Google NFSv3, NFSv4.1, SMB2, SMB3
NetApp Cloud Volumes ONTAP Da 1 GiB a 1 PiB varia Gestita dal cliente NFSv3, NFSv4.1, SMB2, SMB3, iSCSI
Nasuni Da 10 s di TB a > 1 PB Fino a 1,2 Gbps Gestita da Nasuni e dal cliente NFSv3, NFSv4, NFSv4.1, NFSv4.2, SMB2, SMB3
Persistent Disk di sola lettura < 64 TB Da 240 a 1200 Mbps No Allegato diretto

Persistent Disk e SSD locale

Se hai dati a cui è necessario accedere solo da una singola VM o che non cambiano nel tempo, potresti usare i volumi evitare del tutto un file server. I dischi permanenti possono essere formattati un file system come Ext4 o XFS e colleghi i volumi in lettura/scrittura modalità di sola lettura. Ciò significa che puoi prima collegare un volume a un'istanza, caricarla con i dati necessari e quindi collegarlo come disco di sola lettura fino a centinaia di VM contemporaneamente. L'impiego di dischi permanenti di sola lettura funziona per tutti i casi d'uso, ma può ridurre notevolmente la complessità rispetto all'uso un file server.

I dischi permanenti offrono prestazioni costanti. Tutti i dischi delle stesse dimensioni (e, per i dischi permanenti SSD, lo stesso numero di vCPU) che colleghi le stesse caratteristiche di prestazioni dell'istanza. Non è necessario preriscalda o testa i dischi permanenti prima di utilizzarli in produzione.

Il costo dei dischi permanenti è semplice da determinare perché non sono presenti I/O e i costi da considerare dopo il provisioning del volume. I dischi permanenti possono anche e ridimensionarli quando necessario. Ciò ti consente di iniziare con un modello di prezzi senza dover creare istanze o dischi aggiuntivi e scalare la capacità.

Se il requisito principale è la capacità di archiviazione totale, puoi usare gli standard dei dischi permanenti standard. Per un rendimento ottimale senza compromettere la durabilità, puoi usare i dischi permanenti SSD.

Se i tuoi dati sono temporanei e richiedono una latenza inferiore al millisecondo e un I/O elevato operazioni al secondo (IOPS), potete sfruttare fino a 9 TB di SSD locali per prestazioni estreme. Gli SSD locali forniscono GBps di larghezza di banda e milioni di IOPS, il tutto senza consumare le istanze larghezza di banda di rete assegnata. È è importante ricordare, tuttavia, che gli SSD locali presentano alcuni disponibilità, durabilità e flessibilità.

Per un confronto dei numerosi tipi di disco disponibili in Compute Engine vedere le istanze di Compute Engine, documentazione sull'archiviazione a blocchi.

Considerazioni sulla scelta di una soluzione di archiviazione file

La scelta di una soluzione di archiviazione di file richiede compromessi in termini di gestibilità, costi, prestazioni e scalabilità. A prendere la decisione semplifica il lavoro con un carico di lavoro ben definito, cosa che non accade spesso. Nei casi in cui i carichi di lavoro si evolvono nel tempo o sono molto varianti, è prudente scambia i risparmi sui costi per flessibilità ed elasticità, in modo da poter crescere la tua soluzione. D'altra parte, se hai un modello temporale e per un carico di lavoro, puoi creare un'architettura di archiviazione di file distruggere e ricreare per soddisfare le tue esigenze immediate di archiviazione.

Una delle prime decisioni da prendere è se vuoi pagare per un un servizio di archiviazione, una soluzione che include assistenza per i prodotti o soluzione non supportata.

  • I servizi di archiviazione di file gestiti sono i più facili da utilizzare, perché Tutte le operazioni sono gestite da Google o da un partner. Questi servizi potrebbero anche fornire un accordo sul livello del servizio (SLA) per la disponibilità, come e altri servizi Google Cloud.
  • Le soluzioni non gestite, ma supportate, offrono una maggiore flessibilità. Partner può risolvere qualsiasi problema, ma il funzionamento quotidiano dello spazio di archiviazione viene lasciata all'utente.
  • Le soluzioni non supportate richiedono il massimo sforzo per il deployment e la gestione, lasciando all'utente tutti i problemi. Queste soluzioni non sono trattate in questo documento.

La prossima decisione riguarda la determinazione della durabilità della soluzione requisiti di disponibilità. La maggior parte delle soluzioni per i file sono soluzioni a livello di zona forniscono protezione per impostazione predefinita in caso di errore della zona. Quindi è importante considerare se una soluzione di ripristino di emergenza (RE) che protegge da errori a livello di zona obbligatorio. Inoltre, è importante comprendere i requisiti dell'applicazione durabilità e disponibilità. Ad esempio, la scelta di SSD locali o i dischi permanenti nel deployment ha un grande impatto, così come la configurazione del file di sviluppo software. Ogni soluzione richiede un'attenta pianificazione per ottenere in termini di durabilità, disponibilità e persino errori.

Infine, considera le località (ovvero zone, regioni, dati on-premise center) da cui devi accedere ai dati. Le località dei carichi di lavoro le aziende agricole che accedono ai tuoi dati influenzano la scelta della soluzione di archiviazione poiché solo alcune soluzioni consentono l'accesso ibrido on-premise e nel cloud.

Soluzioni gestite di archiviazione di file

Questa sezione descrive le soluzioni gestite da Google per l'archiviazione di file.

Filestore Basic

Filestore è la soluzione NAS completamente gestita di Google.

Filestore Basic sono adatte per la condivisione di file, lo sviluppo di software e GKE carichi di lavoro con scale out impegnativi. Per l'archiviazione dei dati puoi scegliere tra HDD o SSD. SSD fornisce prestazioni migliori. Con entrambe le opzioni, la capacità viene scalata in modo incrementale e puoi proteggere i dati utilizzando i backup.

Filestore Zonal

Zona Filestore semplifica l'archiviazione aziendale e la gestione dei dati su Google Cloud e nei cloud ibridi. Filestore a livello di zona offre accesso parallelo ad alte prestazioni ai dati globali mantenendo rigide coerenza basata su un file system distribuito e scalabile dinamicamente. Con Il servizio di zona Filestore, le applicazioni NFS esistenti e i flussi di lavoro NAS possono possono essere eseguite nel cloud senza richiedere il refactoring, mantenendo comunque i vantaggi e servizi per i dati aziendali, come snapshot e backup. La Driver CSI Filestore consente persistenza, portabilità e condivisione dei dati senza interruzioni carichi di lavoro con scale out impegnativi.

Puoi scalare le istanze di zona Filestore on demand. Questo consente di creare ed espandere l'infrastruttura del file system quando necessario, assicurando che le prestazioni e la capacità dello spazio di archiviazione devono essere sempre in linea con il flusso di lavoro dinamico i tuoi requisiti. Quando un cluster di zona Filestore si espande, entrambi i metadati e le prestazioni di I/O in modo lineare. Questa scalabilità consente di migliorare e accelerare un'ampia gamma di flussi di lavoro ad alta intensità di dati, tra cui computing ad alte prestazioni, analytics, aggregazione di dati tra siti, DevOps e molto altro. Di conseguenza, Filestore a livello di zona è ideale per l'utilizzo in settori incentrati sui dati scienze biologiche (ad esempio il sequenziamento del genoma), servizi finanziari e media e intrattenimento.

Filestore a livello di regione

Filestore a livello di regione è una soluzione NFS cloud-native completamente gestita che consente di eseguire il deployment di Google Cloud, supportate da uno SLA (accordo sul livello del servizio) che Disponibilità regionale del 99,99%. Con uno SLA (accordo sul livello del servizio) con disponibilità regionale del 99,99%, Filestore Regional è progettato per le applicazioni che richiedono l'alta disponibilità. Con pochi clic del mouse (o alcuni comandi gcloud o API ), puoi eseguire il provisioning delle condivisioni NFS replicate in modo sincrono tre zone all'interno di una regione. Se una zona all'interno della regione non è più disponibile, Filestore regionale continua a fornire dati in modo trasparente un'applicazione senza alcun intervento operativo da parte tua.

Per proteggere ulteriormente i dati critici, Filestore consente inoltre e conservare snapshot periodici del file system. Con Filestore, puoi recuperare un singolo file o un intero file system in meno di a 10 minuti da uno dei Recovery Point precedenti.

Per applicazioni critiche come SAP, sia il livello di database che quello di applicazione devono per l'alta disponibilità. Per soddisfare questo requisito, puoi eseguire il deployment livello di database a Google Cloud Hyperdisk Extreme, in più zone utilizzando l'alta disponibilità del database integrato. Analogamente, il livello di applicazione NetWeaver, che richiede eseguibili condivisi su molte VM. può essere eseguito a livello di regione Filestore, che replica Dati NetWeaver in più zone all'interno di una regione. Il risultato finale è un processo l'architettura delle applicazioni mission-critical a tre livelli disponibile.

Le organizzazioni IT stanno inoltre implementando sempre più applicazioni stateful di container su Google Kubernetes Engine (GKE). Questo spesso li spinge a ripensare quale infrastruttura di archiviazione utilizzare per supportare queste applicazioni. Puoi utilizzare l'archiviazione a blocchi (Persistent Disk), l'archiviazione di file (Filestore Basic, a livello di zona o di regione) o di archiviazione di oggetti (Cloud Storage). Condivisioni multiple di Filestore per GKE combinato con Driver CSI Filestore consente alle organizzazioni che richiedono più pod GKE di avere ai file condivisi, offrendo un maggiore livello di disponibilità carichi di lavoro mission critical.

NetApp Volumes

Volumi NetApp è un servizio Google completamente gestito che consente montare rapidamente l'archiviazione di file condivisa nelle istanze di computing Google Cloud. NetApp Volumes supporta l'accesso SMB, NFS e multiprotocollo. NetApp Volumes offre prestazioni elevate alle tue applicazioni su bassa latenza, con solide funzionalità di protezione dei dati: istantanee, copie la replica tra regioni e il backup. Il servizio è adatto alle applicazioni richiedono carichi di lavoro sia sequenziali che casuali, che possono scalare in centinaia o migliaia di istanze Compute Engine. In secondi, i volumi che vanno di dimensioni comprese tra 100 GiB e 100 TiB può essere sottoposto a provisioning funzionalità di protezione dei dati. Con tre livelli di servizio (Standard, Premium e estrema) che si può cambiare on demand, NetApp Volumes offre le prestazioni appropriate per il tuo carico di lavoro, senza influire sulla disponibilità. Per informazioni sulle località di Google Cloud in cui NetApp Volumes è disponibile, consulta Località NetApp Volumes.

Soluzioni dei partner in Cloud Marketplace

Le seguenti soluzioni fornite dai partner sono disponibili in Google Cloud Marketplace.

NetApp Cloud Volumes ONTAP

NetApp Cloud Volumes ONTAP (NetApp CVO) è una soluzione basata su cloud e gestita dal cliente che offre l'intero set di funzionalità ONTAP Il principale sistema operativo di gestione dei dati di NetApp fino a Google Cloud. NetApp Il deployment della CVO viene eseguito all'interno del tuo VPC, con fatturazione e assistenza da parte in tutti i canali Google. Il software ONTAP viene eseguito su una VM di Compute Engine e utilizza un combinazione di dischi permanenti e bucket Cloud Storage (se disponi di livelli attiva) per archiviare i dati NAS. Il filer integrato ospita il sistema NAS i volumi usando il thin provisioning, così paghi solo per lo spazio di archiviazione che utilizzi. Come aumenta il volume dei dati, alla capacità aggregata vengono aggiunti altri dischi piscina.

NetApp CVO astrae l'infrastruttura sottostante e ti consente di creare volumi di dati estratti dal pool aggregato che sono coerenti con tutti volumi ONTAP in qualsiasi ambiente cloud o on-premise. I volumi di dati che create e devono supportare tutte le versioni di NFS, SMB, NFS/SMB multiprotocollo e iSCSI. Loro supportare una vasta gamma di carichi di lavoro basati su file, tra cui web e rich media contenuti, utilizzati in molti settori, come l'Electronic Design automation (EDA) media e intrattenimento.

NetApp CVO supporta istantanee point-in-time istantanee e a risparmio di spazio, a livello di blocco, il backup incrementale per sempre replica asincrona tra regioni per il ripristino di emergenza. L'opzione per il tipo di istanza Compute Engine e i dischi permanenti consentono a ottenere le prestazioni desiderate per i tuoi carichi di lavoro. Anche quando si opera in un ad alte prestazioni, NetApp CVO implementa di efficienza come deduplicazione, compattazione e compressione nonché livello automatico dei dati usati raramente nel bucket Cloud Storage che ti consente di archiviare petabyte di dati riducendo in modo significativo le quantità complessive i costi di archiviazione.

DDN EXAScaler Cloud

La piattaforma EXAScaler Cloud di DDN è un file condiviso parallelo leader del settore soluzione per l'elaborazione dati ad alte prestazioni e per la gestione di grandi volumi dei dati necessari per supportare i carichi di lavoro di AI, HPC e analisi. Scienze biologiche energia, veicoli autonomi, servizi finanziari e altre attività che richiedono un uso intensivo dei dati i clienti possono sfruttare EXAScaler Cloud per AI e l'analisi nel per massimizzare il ritorno dalle risorse Google Cloud e creare flussi di lavoro agili con cloud bursting e conservazione dei dati a lungo termine.

Gli usi ideali di EXAScaler Cloud includono AI di deep learning e inferenza cloud ibrido, architetture cloud ibride per il cloud bursting per sfruttare l'elaborazione on demand ad alte prestazioni e come repository per conservare un'archiviazione a lungo termine gli asset di un deployment EXAScaler on-premise. EXAScaler basato su cloud semplice da implementare e sfrutta il file system parallelo di DDN, oltre i due terzi dei primi 100 supercomputer.

EXAScaler Cloud è progettato per ottimizzare i carichi di lavoro cloud ad alta intensità di dati per ridurre il time-to-insight riducendo i conflitti di I/O e garantendo un accesso resiliente spazio di archiviazione condiviso per un numero elevato di client. EXAScaler Cloud ottimizza dell'intero ambiente per prestazioni elevate dall'applicazione all'archiviazione tra cui la rete e le istanze di calcolo.

Grazie alle configurazioni flessibili, EXAScaler Cloud è utile per prestazioni carichi di lavoro temporanei, IOPS più permanenti o applicazioni orientate alla velocità effettiva anche i dati persistenti a lungo termine. Mimando le architetture on-premise i clienti possono eseguire la transizione dei carichi di lavoro senza problemi, interruzione delle applicazioni durante lo spostamento dei carichi di lavoro.

DDN EXAScaler Cloud gestisce carichi di lavoro scalabili ed è supportata dalle competenze appreso supportando i più grandi ambienti di dati del mondo. Con Premium di supporto tecnico, i clienti usufruiscono della stessa esperienza di assistenza da parte di esperti on-premise e nel cloud.

Per ulteriori informazioni, consulta le seguenti risorse:

Archiviazione dei file su cloud Nasuni

Nasuni sostituisce i file server aziendali, i dispositivi NAS e tutti i dispositivi associati per la sicurezza, compreso l'hardware di backup e RE, con una soluzione un'alternativa cloud. Nasuni utilizza l'archiviazione di oggetti Google Cloud per distribuire soluzione di archiviazione Software as a Service (SaaS) più efficiente che scala per gestire una crescita rapida e non strutturata dei dati dei file. Nasuni è progettato per condivisioni di file a livello di organizzazione, di progetto e di lavoro e flussi di lavoro dell'applicazione per ogni dipendente, ovunque lavori.

Cloud File Storage di Nasuni.

Nasuni offre tre pacchetti, con prezzi per aziende e organizzazioni di di tutte le dimensioni, in modo che possano crescere ed espandersi a seconda delle esigenze.

I vantaggi di questa funzionalità includono:

  • Archiviazione dei file principali basata su cloud fino al 70% in meno. Nasuni sfrutta il ciclo di vita integrato degli oggetti i criteri di gestione. Questi criteri consentono la massima flessibilità per l'utilizzo di Cloud Storage, tra cui Standard, Nearline, Coldline e Archive. Utilizzando il modello Archivia la classe per l'archiviazione principale con Nasuni, puoi ottenere costi fino al 70%.

  • Condivisioni di file a livello di organizzazione e dipartimentale nel cloud. Nasuni basata su cloud offre un unico spazio dei nomi globale regioni di Google Cloud, senza limiti relativi a numero di file, di dimensioni o snapshot, che consentono di archiviare i file direttamente dal desktop Google Cloud tramite protocolli di mappatura delle unità NAS (SMB) standard.

  • Backup e ripristino di emergenza integrati. "Set-it andforgot-it" di Nasuni semplifica la gestione dell'archiviazione globale dei file. Backup & RE è incluso e un'unica console di gestione ti consente di supervisionare e controllare dell'ambiente ovunque e in qualsiasi momento.

  • Sostituisce i file server obsoleti. Nasuni semplifica la migrazione dei file server Microsoft Windows e di altre i file system esistenti in Google Cloud, riducendo i costi e e una gestione complessa di questi ambienti.

Per ulteriori informazioni, consulta le seguenti risorse:

Archiviazione Sycomp basata su IBM Spectrum Scale

Sycomp Storage Alimentato da IBM Spectrum Scale in Google Cloud Marketplace ti consente di eseguire computing ad alte prestazioni (HPC), intelligenza artificiale (AI), machine learning (ML) e carichi di lavoro di big data in Google Cloud. Con Sycomp Storage puoi accedere contemporaneamente ai dati di migliaia di VM, ridurre i costi gestire livelli di archiviazione ed eseguire l'applicazione on-premise in Google Cloud. Sycomp Storage Alimentato da IBM Spectrum Scale è disponibile in può essere implementato rapidamente e supporta l'accesso tramite NFS e il client IBM Spectrum Scale.

IBM Spectrum Scale è un file system parallelo che consente di proteggere gestire grandi volumi di dati (PB). File system parallelo di IBM Spectrum Scale è particolarmente adatta per HPC, AI, ML, big data e altre applicazioni che richiedono File system condiviso compatibile con POSIX. Con capacità di archiviazione adattabile scalabilità delle prestazioni, Sycomp Storage può supportare HPC, AI e ML di piccole e grandi dimensioni carichi di lavoro con scale out impegnativi.

Dopo aver eseguito il deployment di un cluster in Google Cloud, sei tu a decidere in che modo vuoi usarlo. Scegli se vuoi usarlo solo nel cloud o in modalità ibrida mediante la connessione a un cluster IBM Spectrum Scale esistente on-premise.

Per ulteriori informazioni, consulta le seguenti risorse:

Collaboratori

Autore: Sean Derrington | Product Manager di Group Outbound, Storage

Altri collaboratori: