Questa guida ti aiuta a valutare i requisiti di archiviazione del tuo carico di lavoro cloud, a comprendere le opzioni di archiviazione disponibili in Google Cloud e a progettare una strategia di archiviazione che offra un valore commerciale ottimale.
Per un riepilogo visivo dei principali consigli di progettazione, consulta il diagramma di albero decisionale.
Per informazioni sulla selezione dei servizi di archiviazione per i carichi di lavoro di AI e ML, consulta Progettare lo spazio di archiviazione per i carichi di lavoro di AI e ML in Google Cloud.
Panoramica del processo di progettazione
In qualità di architetto del cloud, quando pianifichi lo spazio di archiviazione per un carico di lavoro cloud, devi prima considerare le caratteristiche funzionali del carico di lavoro, i vincoli di sicurezza, i requisiti di resilienza, le aspettative di prestazioni e gli obiettivi di costo. Successivamente, devi esaminare i servizi e le funzionalità di archiviazione disponibili in Google Cloud. Poi, in base ai tuoi requisiti e alle opzioni disponibili, seleziona i servizi e le funzionalità di archiviazione di cui hai bisogno. Il seguente diagramma illustra questa procedura di progettazione in tre fasi:
Definisci i tuoi requisiti
Utilizza i questionari in questa sezione per definire i requisiti di archiviazione principali del carico di lavoro che vuoi eseguire in Google Cloud.
Linee guida per la definizione dei requisiti di archiviazione
Quando rispondi ai questionari, tieni presenti le seguenti linee guida:
Definire i requisiti in modo granulare
Ad esempio, se la tua applicazione richiede lo stoccaggio di file basato su Network File System (NFS), identifica la versione NFS richiesta.
Valutare i requisiti futuri
Ad esempio, l'implementazione attuale potrebbe servire gli utenti dei paesi asiatici, ma potresti pianificare di espandere l'attività in altri continenti. In questo caso, tieni conto di eventuali requisiti normativi relativi allo spazio di archiviazione dei nuovi territori aziendali.
Valutare opportunità e requisiti specifici del cloud
Sfrutta le opportunità specifiche del cloud.
Ad esempio, per ottimizzare il costo di archiviazione dei dati archiviati in Cloud Storage, puoi controllare la durata dell'archiviazione utilizzando i criteri di conservazione dei dati e le configurazioni del ciclo di vita.
Considera i requisiti specifici del cloud.
Ad esempio, i dati on-premise potrebbero esistere in un unico data center e potresti dover replicare i dati di cui è stata eseguita la migrazione in due località Google Cloud per la ridondanza.
Questionari
I questionari che seguono non sono elenchi di controllo esaustivi per la pianificazione. Utilizzale come punto di partenza per analizzare sistematicamente tutti i requisiti di archiviazione del carico di lavoro che vuoi implementare in Google Cloud.
Valuta le caratteristiche del carico di lavoro
Di che tipo di dati hai bisogno di archiviare?
Esempi
- Contenuti di siti web statici
- Backup e archivi per il ripristino di emergenza
- Audit log per la conformità
- Oggetti di dati di grandi dimensioni scaricati direttamente dagli utenti
- Dati transazionali
- Dati non strutturati ed eterogenei
Quanta capacità ti serve? Tieni conto dei tuoi requisiti attuali e futuri.
La capacità deve essere scalata automaticamente in base all'utilizzo?
Quali sono i requisiti di accesso? Ad esempio, i dati devono essere accessibili dall'esterno di Google Cloud?
Quali sono i pattern di lettura/scrittura previsti?
Esempi
- Scritture e letture frequenti
- Scritture frequenti, ma letture occasionali
- Scritture e letture occasionali
- Scritture occasionali, ma letture frequenti
Il carico di lavoro richiede l'accesso basato su file, ad esempio utilizzando NFS?
Più client devono essere in grado di leggere o scrivere dati contemporaneamente?
Identifica i vincoli di sicurezza
Quali sono i tuoi requisiti di crittografia dei dati? Ad esempio, hai bisogno di utilizzare chiavi che controlli?
Esistono requisiti di residenza dei dati?
Definisci i requisiti di resilienza dei dati
- Il tuo workload ha bisogno di spazio di lavoro o memorizzazione nella cache a bassa latenza?
- Devi replicare i dati nel cloud per la ridondanza?
- Hai bisogno di una coerenza di lettura/scrittura rigorosa per i set di dati replicati?
Impostare le aspettative di rendimento
Qual è la frequenza di I/O richiesta?
Quali livelli di throughput in lettura e scrittura sono necessari per la tua applicazione?
Per quali ambienti hai bisogno di spazio di archiviazione? Per un determinato carico di lavoro, potresti avere bisogno di uno spazio di archiviazione ad alte prestazioni per l'ambiente di produzione, ma potresti scegliere un'opzione con prestazioni inferiori per gli ambienti non di produzione.
Esamina le opzioni di archiviazione
Google Cloud offre servizi di archiviazione per tutti i principali formati di archiviazione: blocchi, file e oggetti. Esamina e valuta le funzionalità, le opzioni di design e i vantaggi relativi dei servizi disponibili per ogni formato di archiviazione.
Panoramica
Archiviazione a blocchi
I dati archiviati nell'archiviazione a blocchi sono suddivisi in blocchi, ognuno memorizzato come blocco separato con un indirizzo univoco. Le applicazioni accedono ai dati facendo riferimento agli indirizzi dei blocchi appropriati. L'archiviazione a blocchi è ottimizzata per carichi di lavoro con un numero elevato di operazioni in IOPS, come l'elaborazione delle transazioni. È simile alle SAN (Storage Area Network) on-premise e ai sistemi DAS (Directly Attached Storage).
Le opzioni di archiviazione a blocchi in Google Cloud fanno parte del servizio Compute Engine.
| Opzione | Panoramica |
|---|---|
| Persistent Disk | Unità disco rigido (HDD) e unità a stato solido (SSD) dedicate per applicazioni aziendali e di database di cui è stato eseguito il deployment su VM Compute Engine e cluster Google Kubernetes Engine (GKE). |
| Hyperdisk di Google Cloud | Archiviazione di rete rapida e ridondante per le VM di Compute Engine, con prestazioni configurabili e volumi ridimensionabili in modo dinamico. |
| SSD locale | Archiviazione a blocchi temporanea collegata in locale per applicazioni ad alte prestazioni. |
Archiviazione di file
I dati sono organizzati e rappresentati in una gerarchia di file che vengono archiviati in cartelle, in modo simile al NAS (Network Attached Storage) on-premise. I file system possono essere montati sui client utilizzando protocolli come NFS e Server Message Block (SMB). Le applicazioni accedono ai dati utilizzando il nome file e il percorso della directory pertinenti.
Google Cloud offre una gamma di soluzioni completamente gestite e di terze parti per l'archiviazione dei file.
| Soluzione | Panoramica |
|---|---|
| Filestore |
Archiviazione basata su file che utilizza file server NFS per VM Compute Engine e cluster Google Kubernetes Engine. Puoi scegliere un livello di servizio (base, zonale o regionale) adatto al tuo caso d'uso. |
| Parallelstore |
File system parallelo a bassa latenza per AI, computing ad alte prestazioni (HPC) e applicazioni che richiedono un uso intensivo dei dati. |
| NetApp Volumes | Archiviazione basata su file che utilizza NFS o SMB. Puoi scegliere un livello di servizio (Flex, Standard, Premium o Extreme) adatto al tuo caso d'uso. |
| Altre opzioni | Consulta Riepilogo delle opzioni del file server. |
Archiviazione di oggetti
I dati vengono archiviati come oggetti in una gerarchia piatta di bucket. A ogni oggetto viene assegnato un ID univoco a livello globale. Gli oggetti possono avere metadati assegnati dal sistema e definiti dall'utente per aiutarti a organizzare e gestire i dati. Le applicazioni accedono ai dati facendo riferimento agli ID oggetto, utilizzando API REST o librerie client.
Cloud Storage fornisce archiviazione di oggetti a basso costo, altamente durevole e senza limiti per diversi tipi di dati. Puoi accedere ai dati archiviati in Cloud Storage da qualsiasi luogo, all'interno e all'esterno di Google Cloud. La ridondanza facoltativa tra regioni offre la massima affidabilità. Puoi selezionare una classe di archiviazione adatta ai tuoi requisiti di conservazione dei dati e frequenza di accesso.
Analisi comparativa
La tabella seguente elenca le funzionalità principali dei servizi di archiviazione in Google Cloud.
| Persistent Disk | Hyperdisk | SSD locale | Filestore | Parallelstore | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| Capacità |
Da 10 GiB a 64 TiB per disco 257 TiB per VM |
Da 4 GiB a 64 TiB per disco 512 TiB per VM Da 10 TiB a 1 PiB per pool di archiviazione |
375 GiB per disco 12 TiB per VM |
1-100 TiB per istanza | 12-100 TiB | Da 1 TiB a 10 PiB per pool di archiviazione Da 1 GiB a 100 TiB per volume |
Nessun limite minimo o massimo |
|
Scalabilità |
|
Scale up | Non scalabile |
|
Non scalabile | Scale up e scale down | Scalabilità automatica in base all'utilizzo |
| Condivisione |
Supportato | Supportato | Non condivisibile | Montabile su più VM Compute Engine, client remoti e cluster GKE | Montabili su più VM Compute Engine e cluster GKE. | Montabile su più VM Compute Engine e cluster GKE |
|
| Opzioni di chiave di crittografia |
|
|
Chiavi di proprietà di Google e gestite da Google |
|
Chiavi di proprietà di Google e gestite da Google |
|
|
| Persistenza |
Durata del disco | Durata del disco | Temporanea (i dati vengono persi quando la VM viene arrestata o eliminata) | Durata dell'istanza Filestore | Effimero (i dati vengono persi quando l'istanza viene eliminata) | Durata del volume | Durata del bucket |
| Disponibilità |
|
|
A livello di zona |
|
A livello di zona |
|
|
| Prestazioni |
Scalabilità lineare in base alle dimensioni del disco e al numero di CPU | Archiviazione permanente con scaling dinamico | Spazio di archiviazione scratch ad alte prestazioni |
|
Scalabilità lineare con capacità di provisioning | Prestazioni scalabili Le aspettative dipendono dal livello di servizio |
Scalabilità automatica delle frequenze di lettura/scrittura e ridistribuzione dinamica del carico |
| Gestione |
Formattazione e montaggio manuale | Formattazione e montaggio manuale | Formattazione, suddivisione in strisce e montaggio manuali | Completamente gestito | Completamente gestito | Completamente gestito | Completamente gestito |
La tabella seguente elenca i tipi di carichi di lavoro per i quali è appropriata ciascuna opzione di archiviazione Google Cloud:
| Opzione di archiviazione | Tipi di workload |
|---|---|
| Persistent Disk |
|
| Hyperdisk |
|
| SSD locale |
|
| Filestore |
|
| Parallelstore |
|
| NetApp Volumes |
|
| Cloud Storage |
|
Scegli un'opzione di archiviazione
La selezione di un'opzione di archiviazione prevede due passaggi:
- Decidere quali servizi di archiviazione ti servono.
- Scegliere le funzionalità e le opzioni di design richieste in un determinato servizio.
Esempi di funzionalità e opzioni di design specifiche per il servizio
Persistent Disk
- Regione e zona di deployment
- Replica regionale
- Tipo, dimensioni e IOPS del disco (per il disco permanente con carico estremo)
- Chiavi di crittografia: di proprietà di Google e gestite da Google, gestite dal cliente o fornite dal cliente
- Pianificazione snapshot
Hyperdisk
- Zona di deployment
- Tipo di disco, dimensioni, velocità effettiva (per Hyperdisk Throughput) e IOPS (per Hyperdisk Extreme)
- Chiavi di crittografia: di proprietà di Google e gestite da Google, gestite dal cliente o fornite dal cliente
- Pianificazione snapshot
Filestore
- Regione e zona di deployment
- Livello istanza
- Capacità
- Intervallo IP: allocato automaticamente o personalizzato
- Controllo degli accessi
NetApp Volumes
- Regione di deployment
- Livello di servizio per il pool di archiviazione
- Capacità del pool e del volume
- Protocollo del volume
- Regole di esportazione dei volumi
Cloud Storage
- Località: multiregione, due regioni, singola regione
- Classe di archiviazione: Standard, Nearline, Coldline, Archive
- Controllo dell'accesso: uniforme o granulare
- Chiavi di crittografia: di proprietà di Google e gestite da Google, gestite dal cliente o fornite dal cliente
- Criterio di conservazione
Consigli per lo spazio di archiviazione
Utilizza i seguenti consigli come punto di partenza per scegliere i servizi e le funzionalità di archiviazione che soddisfano i tuoi requisiti. Per indicazioni specifiche per i workload di AI e ML, consulta Progettare lo spazio di archiviazione per i workload di AI e ML in Google Cloud.
I consigli generali per lo spazio di archiviazione sono inoltre presentati come albero decisionale più avanti in questo documento.
Per le applicazioni che richiedono un file system parallelo, utilizza Parallelstore.
Per le applicazioni che richiedono accesso basato su file, scegli un servizio di archiviazione file adatto in base ai tuoi requisiti per protocollo di accesso, disponibilità e prestazioni.
Protocollo di accesso Consiglio NFS - Se hai bisogno di disponibilità a livello di regione e prestazioni elevate che si adattano alla capacità, utilizza Filestore Regional.
- Se la disponibilità a livello di zona è sufficiente, ma hai bisogno di prestazioni elevate che si adattino alla capacità, utilizza Filestore Zonal o NetApp Volumes Premium o Extreme.
- In caso contrario, utilizza Filestore Basic o NetApp Volumes.
Per informazioni sulle differenze tra i livelli di servizio Filestore, consulta livelli di servizio.
PMI Utilizza NetApp Volumes. Per i carichi di lavoro che richiedono un'archiviazione principale con prestazioni elevate, utilizza SSD locale, Persistent Disk o Hyperdisk a seconda delle tue esigenze.
Requisito Consiglio Disco temporaneo rapido o cache rapida Utilizza dischi SSD locali (temporanei).
IOPS sequenziali Utilizza i dischi permanenti con il tipo di disco pd-standard.Carico di lavoro ad alta intensità di IOPS Utilizza i dischi permanenti con il tipo di disco pd-extremeopd-ssd.Equilibrio tra prestazioni e costi Utilizza i dischi permanenti con il tipo di disco pd-balanced.Scala le prestazioni e la capacità in modo dinamico Utilizza Hyperdisk.
Scegli un tipo di Hyperdisk adatto:
- Hyperdisk Balanced è consigliato per i carichi di lavoro di uso generico e le applicazioni altamente disponibili che richiedono l'accesso in scrittura condiviso.
- Hyperdisk Extreme è consigliato per i carichi di lavoro che necessitano di un'I/O elevata, ad esempio i database ad alte prestazioni.
- La velocità effettiva Hyperdisk è consigliata per le analisi con scale out, le unità di dati per le app sensibili ai costi e per lo spazio di archiviazione a freddo.
- Hyperdisk ML è consigliato per i carichi di lavoro di ML che richiedono un'elevata velocità effettiva per più VM in modalità di sola lettura.
Per ulteriori informazioni, consulta Informazioni su HyperDisk di Google Cloud.
- A seconda dei requisiti di ridondanza, scegli tra i dischi zonali e regionali.
Per un'analisi comparativa dettagliata, consulta Opzioni di Persistent Disk.Requisito Consiglio Ridondanza all'interno di una singola zona in una regione Utilizza dischi permanenti o Hyperdisk a livello di zona. Ridondanza in più zone all'interno di una regione Utilizza i dischi permanenti regionali.
Per uno spazio di archiviazione scalabile e disponibile a livello globale, utilizza Cloud Storage.
A seconda della frequenza di accesso ai dati e della durata dell'archiviazione, scegli una classe Cloud Storage appropriata.
Requisito Consiglio> La frequenza di accesso varia o il periodo di conservazione dei dati è sconosciuto o non prevedibile. Utilizza la funzionalità Autoclass per eseguire automaticamente la transizione degli oggetti in un bucket alle classi di archiviazione appropriate in base al pattern di accesso di ciascun oggetto. Spazio di archiviazione per i dati a cui si accede di frequente, tra cui analisi ad alta produttività, data lake, siti web, video in streaming e app mobile. Utilizza la classe di archiviazione Standard.
Per memorizzare nella cache i dati a cui si accede di frequente e servirli da località vicine ai client, utilizza Cloud CDN.
Archiviazione a basso costo per dati a cui si accede con poca frequenza che possono essere archiviati per almeno 30 giorni (ad esempio backup e contenuti multimediali long-tail). Utilizza la classe di archiviazione Nearline. Archiviazione a basso costo per dati a cui si accede con poca frequenza che possono essere archiviati per almeno 90 giorni (ad esempio per il ripristino di emergenza). Utilizza la classe di archiviazione Coldline. Spazio di archiviazione a costo più basso per i dati a cui si accede di rado che possono essere archiviati per almeno 365 giorni, inclusi gli archivi normativi. Utilizza la classe di archiviazione Archive. Per un'analisi comparativa dettagliata, consulta Classi di Cloud Storage.
Opzioni di trasferimento dei dati
Dopo aver scelto i servizi di archiviazione Google Cloud appropriati, per eseguire il deployment e gestire i carichi di lavoro, devi trasferire i dati su Google Cloud. I dati che devi trasferire potrebbero trovarsi on-premise o su altre piattaforme cloud.
Per trasferire i dati in Google Cloud puoi utilizzare i seguenti metodi:
- Trasferisci i dati online utilizzando Storage Transfer Service: Automatizza il trasferimento di grandi quantità di dati tra sistemi di archiviazione di oggetti e file, tra cui Cloud Storage, Amazon S3, servizi di archiviazione Azure e origini dati on-premise.
- Trasferisci i dati offline utilizzando Transfer Appliance: trasferisci e carica grandi quantità di dati offline su Google Cloud in situazioni in cui la connettività di rete e la larghezza di banda non sono disponibili, sono limitate o sono costose.
- Carica i dati su Cloud Storage: carica i dati online nei bucket Cloud Storage utilizzando la console Google Cloud, gcloud CLI, le API Cloud Storage o le librerie client.
Quando scegli un metodo di trasferimento dei dati, tieni conto di fattori quali dimensioni dei dati, vincoli di tempo, disponibilità della larghezza di banda, obiettivi di costo e requisiti di sicurezza e conformità. Per informazioni sulla pianificazione e sull'implementazione dei trasferimenti di dati in Google Cloud, consulta Eseguire la migrazione a Google Cloud: trasferire i set di dati di grandi dimensioni.
Albero decisionale delle opzioni di archiviazione
Il seguente diagramma di albero decisionale ti guida nei consigli per lo archiviazione su Google Cloud discussi in precedenza. Per indicazioni specifiche per i carichi di lavoro di AI e ML, consulta Progettare lo spazio di archiviazione per i carichi di lavoro di AI e ML in Google Cloud.
Visualizzare un'immagine più grande
Passaggi successivi
- Per stimare il costo dello spazio di archiviazione, utilizza il Calcolatore prezzi di Google Cloud.
- Scopri le best practice per creare una topologia cloud ottimizzata per sicurezza, resilienza, costi e prestazioni.
- Scopri quando utilizzare file system paralleli come Lustre per i carichi di lavoro HPC.
Collaboratori
Autore: Kumar Dhanagopal | Sviluppatore di soluzioni cross-product
Altri collaboratori:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Technical Director, Office of the CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Technical Writer
- Jason Wu | Director, Product Management
- Jeff Allen | Solutions Architect
- Sean Derrington | Group Outbound Product Manager, Storage