Questa guida ti aiuta a valutare i requisiti di archiviazione del tuo carico di lavoro cloud, comprendere le opzioni di archiviazione disponibili in Google Cloud e progettare una strategia di archiviazione che fornisca un valore aziendale ottimale.
Per un riepilogo visivo dei principali suggerimenti di progettazione, consulta il schema ad albero decisionale.
Se hai già letto questo documento e hai bisogno di un riepilogo delle modifiche, consulta il log delle modifiche.
Panoramica del processo di progettazione
In qualità di Cloud Architect, quando pianifichi l'archiviazione per un carico di lavoro cloud, devi prima considerare le caratteristiche funzionali del carico di lavoro, i vincoli di sicurezza, i requisiti di resilienza, le aspettative di prestazioni e gli obiettivi di costo. Successivamente, devi esaminare i servizi e le funzionalità di archiviazione disponibili in Google Cloud. Quindi, in base ai tuoi requisiti e alle opzioni disponibili, seleziona i servizi e le funzionalità di archiviazione di cui hai bisogno.
Il seguente diagramma mostra questo processo di progettazione in tre fasi:
Definisci i tuoi requisiti
Utilizza i questionari in questa sezione per definire i requisiti di archiviazione delle chiavi del carico di lavoro di cui vuoi eseguire il deployment in Google Cloud.
Linee guida per la definizione dei requisiti di archiviazione
Quando rispondi ai questionari, tieni in considerazione le seguenti linee guida:
Definisci i requisiti in modo dettagliato
Ad esempio, se la tua applicazione richiede l'archiviazione di file basata su file system di rete (NFS), identifica la versione NFS richiesta.
Valutare i requisiti futuri
Ad esempio, l'implementazione attuale potrebbe essere utile agli utenti di paesi asiatici, ma potresti prevedere di espandere l'attività ad altri continenti. In questo caso, prendi in considerazione eventuali requisiti normativi relativi allo spazio di archiviazione dei nuovi territori aziendali.
Valutare opportunità e requisiti specifici del cloud
Sfrutta le opportunità specifiche del cloud.
Ad esempio, per ottimizzare i costi di archiviazione dei dati archiviati in Cloud Storage, puoi controllare la durata dell'archiviazione utilizzando criteri di conservazione dei dati e configurazioni del ciclo di vita.
Considera requisiti specifici del cloud.
Ad esempio, i dati on-premise potrebbero esistere in un singolo data center e potrebbe essere necessario replicare i dati di cui è stata eseguita la migrazione in due località Google Cloud per garantire la ridondanza.
Questionari
I questionari che seguono non sono elenchi di controllo esaustivi per la pianificazione. Utilizzale come punto di partenza per analizzare in modo sistematico tutti i requisiti di archiviazione del carico di lavoro di cui vuoi eseguire il deployment su Google Cloud.
Valuta le caratteristiche del tuo carico di lavoro
Che tipo di dati devi archiviare?
Esempi
- Contenuti del sito web statici
- Backup e archivi per il ripristino di emergenza
- Audit log per la conformità
- Oggetti di dati di grandi dimensioni che gli utenti scaricano direttamente
- Dati transazionali
- Dati non strutturati ed eterogenei
Quanta capacità ti serve? Considera i tuoi requisiti attuali e futuri.
La capacità deve essere scalata automaticamente con l'utilizzo?
Quali sono i requisiti di accesso? Ad esempio, i dati devono essere accessibili dall'esterno di Google Cloud?
Quali sono i pattern di lettura-scrittura previsti?
Esempi
- Operazioni di scrittura e lettura frequenti
- Scritture frequenti, ma letture occasionali
- Scritture e letture occasionali
- Scritture occasionali, ma letture frequenti
Il carico di lavoro richiede l'accesso basato su file, ad esempio tramite NFS?
Più client devono essere in grado di leggere o scrivere dati contemporaneamente?
Identifica i vincoli di sicurezza
Quali sono i tuoi requisiti per la crittografia dei dati? Ad esempio, devi usare le chiavi che controlli tu?
Ci sono requisiti di residenza dei dati?
Definisci i requisiti di resilienza dei dati
- Il tuo carico di lavoro richiede una memorizzazione nella cache a bassa latenza o spazio temporaneo?
- Hai bisogno di replicare i dati nel cloud per garantire la ridondanza?
- Hai bisogno di una rigorosa coerenza in lettura e scrittura per i set di dati replicati?
Definizione delle aspettative di rendimento
Qual è la velocità di I/O richiesta?
Di quali livelli di velocità effettiva di lettura e scrittura ha bisogno la tua applicazione?
Per quali ambienti hai bisogno di archiviazione? Per un determinato carico di lavoro, potresti aver bisogno di archiviazione ad alte prestazioni per l'ambiente di produzione, ma potresti scegliere un'opzione con prestazioni inferiori per gli ambienti non di produzione.
Esamina le opzioni di archiviazione
Google Cloud offre servizi di archiviazione per tutti i formati chiave: a blocchi, file e oggetti. Esamina e valuta le funzionalità, le opzioni di progettazione e i relativi vantaggi dei servizi disponibili per ogni formato di archiviazione.
Panoramica
Archiviazione a blocchi
I dati archiviati nell'archiviazione a blocchi vengono suddivisi in blocchi, ognuno dei quali è archiviato come blocco separato con un indirizzo univoco. Le applicazioni accedono ai dati facendo riferimento agli indirizzi di blocco appropriati. L'archiviazione a blocchi è ottimizzata per carichi di lavoro con elevato numero di IOPS, come l'elaborazione delle transazioni. È simile a una SAN (Storage Area Network) on-premise e ai sistemi di archiviazione direttamente collegata (DAS).
Le opzioni di archiviazione a blocchi in Google Cloud fanno parte del servizio Compute Engine.
| Opzione | Panoramica |
|---|---|
| Persistent Disk | Unità a disco rigido (HDD) e unità a stato solido (SSD) dedicate per applicazioni aziendali e di database di cui è stato eseguito il deployment nelle VM di Compute Engine e nei cluster Google Kubernetes Engine (GKE). |
| Hyperdisk di Google Cloud | Archiviazione di rete rapida e ridondante per VM di Compute Engine, con prestazioni e volumi configurabili che possono essere ridimensionati in modo dinamico. |
| SSD locale | Archiviazione a blocchi temporanea e collegata in locale per applicazioni ad alte prestazioni. |
Archiviazione di file
I dati sono organizzati e rappresentati in una gerarchia di file archiviati in cartelle, in modo simile al sistema NAS (Network Attached Storage) on-premise. I file system possono essere montati sui client utilizzando protocolli come NFS e SMB (Server Message Block). Le applicazioni accedono ai dati utilizzando il nome file e il percorso della directory pertinenti.
Google Cloud fornisce una gamma di soluzioni completamente gestite e di terze parti per l'archiviazione di file.
| Soluzione | Panoramica |
|---|---|
| Google Cloud Filestore |
File server NFSv3 per le VM di Compute Engine e i cluster di Google Kubernetes Engine. Puoi scegliere un livello di servizio (Base, Alta scalabilità o Enterprise) adatto al tuo caso d'uso. |
| Google Cloud NetApp Volumes | Archiviazione basata su file mediante NFSv3, NFSv4.1 o SMB. |
| Altre opzioni | Consulta il riepilogo delle opzioni relative al file server. |
Archiviazione di oggetti
I dati vengono archiviati come oggetti in una gerarchia piatta di bucket. A ogni oggetto viene assegnato un ID univoco globale. Agli oggetti possono essere assegnati metadati assegnati dal sistema e definiti dall'utente per aiutarti a organizzare e gestire i dati. Le applicazioni accedono ai dati facendo riferimento agli ID oggetto utilizzando le API REST o le librerie client. L'archiviazione di oggetti è simile alla SAN on-premise in termini di scalabilità, ma è più facile da gestire e meno costosa.
Cloud Storage offre archiviazione di oggetti senza limiti a basso costo e a elevata durabilità per diversi tipi di dati. I dati archiviati in Cloud Storage sono accessibili ovunque, all'interno e all'esterno di Google Cloud. La ridondanza facoltativa tra le regioni offre la massima affidabilità. Puoi selezionare una classe di archiviazione adatta ai tuoi requisiti di conservazione dei dati e frequenza di accesso.
Analisi comparativa
La seguente tabella fornisce un'analisi comparativa delle funzionalità chiave dei servizi di archiviazione in Google Cloud.
| Persistent Disk | Hyperdisk | SSD locale | Filestore | Google Cloud NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|
| Capacità |
Da 10 GiB a 64 TiB per disco 257 TiB per VM |
Da 4 GiB a 64 TiB per disco 512 TiB per VM |
375 GiB per disco 12 TiB per VM |
1-100 TiB per istanza Filestore (la capacità minima e massima e gli incrementi di scalabilità variano in base al livello di servizio) | 2-500 TiB per pool di archiviazione Da 100 GiB a 100 TiB per volume |
Nessun limite inferiore o superiore |
|
Scalabilità |
|
Scala prestazioni e capacità in modo dinamico | Non scalabile |
|
Scale up e scale down | Scalabilità automatica in base all'utilizzo |
| Condivisione |
Condivisione limitata
|
Non condivisibile | Non condivisibile | Montabile su più VM di Compute Engine, client remoti e cluster GKE | Montabile su più VM di Compute Engine e cluster GKE |
|
| Chiavi di crittografia |
Chiavi gestite da Google, gestite dal cliente o fornite dal cliente | Chiavi gestite da Google, gestite dal cliente o fornite dal cliente | Chiavi gestite da Google |
|
Chiavi gestite da Google o dal cliente | Chiavi gestite da Google, gestite dal cliente o fornite dal cliente |
| Persistenza |
Durata del disco | Durata del disco | Temporaneo (i dati rimangono disponibili finché la VM non viene arrestata o eliminata) | Durata dell'istanza Filestore | Durata del volume | Durata del bucket |
| Disponibilità |
|
Zonale | Zonale |
| ||
| Rendimento |
Scalabilità lineare elevata prestazioni, in base alle dimensioni del disco e al numero di CPU | Archiviazione permanente a scalabilità dinamica e ad alte prestazioni | Spazio di archiviazione temporaneo ad alte prestazioni |
|
Prestazioni scalabili Le aspettative dipendono dal livello di servizio |
Scalabilità automatica delle velocità di lettura e scrittura e ridistribuzione del carico dinamico |
| Gestione |
Formatta e monta manualmente | Formatta e monta manualmente | Formatta, applica a strisce e monta manualmente | Completamente gestito | Completamente gestito | Completamente gestito |
| Carichi di lavoro |
|
|
|
|
|
|
Scegli un'opzione di archiviazione
La selezione di un'opzione di archiviazione è suddivisa in due parti:
- Decidere quali servizi di archiviazione ti servono.
- Scegliere le funzionalità e le opzioni di progettazione richieste per un determinato servizio.
Esempi di opzioni di design e funzionalità specifiche dei servizi
Persistent Disk
- Regione e zona di deployment
- Replica a livello di regione
- Tipo di disco, dimensione e IOPS (per disco permanente con carico estremo)
- Chiavi di crittografia: gestite da Google, gestite dal cliente o fornite dal cliente
- Pianificazione di snapshot
Hyperdisk
- Zona di deployment
- Tipo di disco, dimensione e IOPS
- Chiavi di crittografia: gestite da Google, gestite dal cliente o fornite dal cliente
- Pianificazione di snapshot
Filestore
- Regione e zona di deployment
- Livello istanza
- Capacità
- Intervallo IP: allocato automaticamente o personalizzato
- Controllo dell'accesso
NetApp Volumes
- Regione di deployment
- Livello di servizio per il pool di archiviazione
- Capacità del pool e del volume
- Protocollo volume
- Regole di esportazione dei volumi
Cloud Storage
- Località: più regioni, due regioni, una singola regione
- Classe di archiviazione: Standard, Nearline, Coldline, Archive
- Controllo dell'accesso: uniforme o granulare
- Chiavi di crittografia: gestite da Google, gestite dal cliente o fornite dal cliente
- Criterio di conservazione
Suggerimenti per lo spazio di archiviazione
Utilizza i seguenti suggerimenti come punto di partenza per scegliere i servizi e le funzionalità di archiviazione che soddisfano i tuoi requisiti. Questi consigli vengono presentati anche come albero decisionale più avanti nel documento.
Per le applicazioni che richiedono un accesso basato su file, scegli un servizio di archiviazione di file adatto ai tuoi requisiti in termini di protocollo di accesso, disponibilità e prestazioni.
Protocollo di accesso Consiglio NFSv3 - Se hai bisogno di una disponibilità regionale, utilizza Filestore Enterprise.
- Se la disponibilità a livello di zona è sufficiente, ma hai bisogno di prestazioni elevate, utilizza Filestore a livello di zona.
- In caso contrario, utilizza Filestore Basic o NetApp Volumes.
Per ulteriori informazioni sulle differenze tra i livelli di servizio Filestore, consulta Livelli di servizio.
SMB o NFSv4.1 Utilizza NetApp Volumes. Per i carichi di lavoro che richiedono spazio di archiviazione principale ad alte prestazioni, utilizza SSD locali, dischi permanenti o Hyperdisks a seconda dei tuoi requisiti.
Requisito Consiglio Disco temporaneo o cache veloce Utilizza dischi SSD locali (temporanei).
IOPS sequenziali Utilizza dischi permanenti con il tipo di disco pd-standard.Carico di lavoro con uso intensivo di IOPS Utilizza dischi permanenti con il tipo di disco pd-extremeopd-ssd.Equilibrio tra prestazioni e costi Utilizza dischi permanenti con il tipo di disco pd-balanced.Prestazioni e capacità scalabili in modo dinamico Usa Hyperdisk.
Scegli un tipo di Hyperdisk adatto:
- La velocità effettiva Hyperdisk è consigliata per l'analisi con scale out, le unità di dati per app sensibili ai costi e per il Cold storage.
- Hyperdisk Extreme è consigliata per i carichi di lavoro che richiedono un I/O elevato, come i database ad alte prestazioni.
- A seconda dei requisiti di ridondanza, puoi scegliere tra dischi a livello di zona e di regione.
Per un'analisi comparativa dettagliata, consulta Opzioni di dischi permanenti.Requisito Consiglio Ridondanza all'interno di una singola zona in una regione Usa dischi permanenti o hyperdischi a livello di zona. Ridondanza tra più zone all'interno di una regione Utilizza dischi permanenti a livello di regione.
Per uno spazio di archiviazione su scala illimitata e disponibile a livello globale, utilizza Cloud Storage.
A seconda della frequenza di accesso ai dati e della durata di archiviazione, scegli una classe Cloud Storage adatta.
Requisito Consiglio> La frequenza di accesso varia oppure il periodo di conservazione dei dati è sconosciuto o non prevedibile. Utilizza la funzionalità Autoclass per eseguire la transizione automatica degli oggetti in un bucket alle classi di archiviazione appropriate, in base al modello di accesso di ciascun oggetto. Archiviazione per i dati a cui si accede di frequente, tra cui analisi ad alta velocità effettiva, data lake, siti web, video in streaming e app mobile. Utilizza la classe di archiviazione Standard.
Per memorizzare nella cache i dati a cui si accede di frequente e pubblicarli da località vicine ai client, utilizza Cloud CDN.
Archiviazione a basso costo per dati a cui si accede raramente che possono essere archiviati per almeno 30 giorni (ad esempio, backup e contenuti multimediali long-tail). Utilizza la classe di archiviazione Nearline. Archiviazione a basso costo per dati a cui si accede raramente che possono essere archiviati per almeno 90 giorni (ad esempio per il ripristino di emergenza). Utilizza la classe di archiviazione Coldline. Archiviazione a minor costo per dati a cui si accede raramente che possono essere archiviati per almeno 365 giorni, inclusi gli archivi normativi. Utilizza la classe di archiviazione Archive. Per un'analisi comparativa dettagliata, consulta Classi di Cloud Storage.
Opzioni di trasferimento dati
Dopo aver scelto i servizi Google Cloud Storage appropriati, per eseguire il deployment e l'esecuzione dei carichi di lavoro devi trasferire i dati su Google Cloud. I dati da trasferire potrebbero esistere on-premise o su altre piattaforme cloud.
Per trasferire i dati in Google Cloud, puoi utilizzare i seguenti metodi:
- Trasferisci i dati online utilizzando Storage Transfer Service: automatizza il trasferimento di grandi quantità di dati tra sistemi di archiviazione di file e oggetti, tra cui Cloud Storage, Amazon S3, servizi di archiviazione Azure e origini dati on-premise.
- Trasferisci i dati offline utilizzando Transfer Appliance: trasferisci e carica grandi quantità di dati offline su Google Cloud in situazioni in cui la connettività di rete e la larghezza di banda non sono disponibili, limitate o costose.
- Carica i dati su Cloud Storage: carica i dati online nei bucket Cloud Storage utilizzando la console Google Cloud, gcloud CLI, le API Cloud Storage o le librerie client.
Quando scegli un metodo di trasferimento di dati, prendi in considerazione fattori quali dimensioni dei dati, limiti di tempo, disponibilità della larghezza di banda, obiettivi di costo e requisiti di sicurezza e conformità. Per ulteriori informazioni sulla pianificazione e sull'implementazione dei trasferimenti di dati in Google Cloud, consulta Migrazione a Google Cloud: trasferimento di set di dati di grandi dimensioni.
Struttura decisionale delle opzioni di archiviazione
Il seguente diagramma ad albero decisionale illustra i suggerimenti per l'archiviazione di Google Cloud discussi in precedenza:
Visualizzare un'immagine più grande
Passaggi successivi
- Stima i costi di archiviazione con il Calcolatore prezzi di Google Cloud.
- Scopri le best practice per la creazione di una topologia cloud ottimizzata per sicurezza, resilienza, costi e prestazioni.
- Scopri le differenze tra archiviazione di oggetti, blocchi e file in Google Cloud (video).
- Scopri quando utilizzare file system paralleli come Lustre per i carichi di lavoro HPC.
Log delle modifiche
Questa sezione fornisce un riepilogo delle modifiche tecniche significative in questa guida.
| Data | Descrizione delle modifiche |
|---|---|
| 14 marzo 2024 | È stata aggiunta la sezione Opzioni di trasferimento dati. |
| 8 dicembre 2023 | Sono stati aggiornati i numeri di capacità per Hyperdisk e SSD locale. |
| 17 ottobre 2023 | Sono stati aggiornati i suggerimenti sullo spazio di archiviazione e il diagramma ad albero decisionale per includere Google Cloud NetApp Volumes come opzione per l'archiviazione di file NFSv3. |
| 25 agosto 2023 |
|
| 6 ottobre 2021 | Sono state aggiunte indicazioni per Filestore Enterprise. |
| 20 agosto 2021 | Pubblicazione iniziale. |
Collaboratori
Autore: Kumar Dhanagopal | Cross-Product Solution Developer
Altri collaboratori:
- Brennan Doyle | Solutions Architect
- Dean Hildebrand | Direttore tecnico, Ufficio del CTO
- Geoffrey Noer | Group Product Manager
- Jack Zhou | Scrittore tecnico
- Jason Wu | Direttore, Product Management
- Jeff Allen | Solutions Architect
- Sean Derrington | Group Outbound Product Manager, Storage