Questa guida ti aiuta a valutare i requisiti di archiviazione del tuo carico di lavoro cloud, comprendere le opzioni di archiviazione disponibili in Google Cloud e progettare che fornisca un valore aziendale ottimale.
Per un riepilogo visivo dei principali suggerimenti di progettazione, consulta diagramma ad albero decisionale.
Panoramica del processo di progettazione
In qualità di Cloud Architect, quando pianifichi l'archiviazione per un carico di lavoro cloud, devi avere considerare per prima cosa le caratteristiche funzionali del carico di lavoro, vincoli, requisiti di resilienza, aspettative di prestazioni e obiettivi di costo. Poi devi esaminare i servizi e le funzionalità di archiviazione disponibili in Google Cloud. Poi, in base ai tuoi requisiti e alle opzioni disponibili, e selezionare i servizi e le funzionalità di archiviazione di cui hai bisogno.
Il seguente diagramma mostra questo processo di progettazione in 3 fasi:
Definisci i tuoi requisiti
Usa i questionari in questa sezione per definire i requisiti chiave di archiviazione il carico di lavoro di cui vuoi eseguire il deployment in Google Cloud.
Linee guida per la definizione dei requisiti di archiviazione
Quando rispondi ai questionari, tieni presente le seguenti linee guida:
Definisci i requisiti in modo granulare
Ad esempio, se la tua applicazione ha bisogno di un file basato su Network File System (NFS) di archiviazione, identifica la versione NFS richiesta.
Valutare i requisiti futuri
Ad esempio, l'implementazione attuale potrebbe servire gli utenti di paesi in Asia, ma potresti pianificare l'espansione dell'attività in altri continenti. In questo considerare gli eventuali requisiti normativi relativi allo spazio di archiviazione territori aziendali.
Valutare opportunità e requisiti specifici per il cloud
Sfrutta le opportunità specifiche del cloud.
Ad esempio, per ottimizzare il costo di archiviazione per i dati archiviati in Cloud Storage, puoi controllare la durata dell'archiviazione utilizzando i dati dei criteri di conservazione e delle configurazioni del ciclo di vita.
Considera i requisiti specifici del cloud.
Ad esempio, i dati on-premise potrebbero trovarsi in un unico data center, e potresti dover replicare i dati di cui è stata eseguita la migrazione le località di Google Cloud per la ridondanza.
Questionari
I questionari che seguono non sono elenchi di controllo esaustivi per la pianificazione. Utilizza le funzionalità di come punto di partenza per analizzare sistematicamente tutti i requisiti di archiviazione del carico di lavoro di cui vuoi eseguire il deployment in Google Cloud.
Valuta le caratteristiche del carico di lavoro
Che tipo di dati devi archiviare?
Esempi
- Contenuti di siti web statici
- Backup e archivi per il ripristino di emergenza
- Audit log per la conformità
- Oggetti di dati di grandi dimensioni che gli utenti scaricano direttamente
- Dati transazionali
- Dati non strutturati ed eterogenei
Quanta capacità hai bisogno? Considera il tuo presente e il tuo futuro i tuoi requisiti.
La capacità dovrebbe scalare automaticamente con l'utilizzo?
Quali sono i requisiti di accesso? Ad esempio, se i dati sono accessibili dall'esterno di Google Cloud?
Quali sono i pattern di lettura-scrittura previsti?
Esempi
- Scritture e letture frequenti
- Scritture frequenti, ma letture occasionali
- Scritture e letture occasionali
- Scritture occasionali, ma letture frequenti
Il carico di lavoro ha bisogno di un accesso basato su file, ad esempio utilizzando NFS?
Più client devono poter leggere o scrivere dati contemporaneamente?
Identificare i vincoli di sicurezza
Quali sono i tuoi requisiti per la crittografia dei dati? Ad esempio, devi utilizzare che controlli?
Ci sono requisiti di residenza dei dati?
Definire i requisiti di resilienza dei dati
- Il tuo carico di lavoro ha bisogno di una memorizzazione nella cache a bassa latenza o di spazio temporaneo?
- Hai bisogno di replicare i dati nel cloud per la ridondanza?
- Hai bisogno di una rigorosa coerenza di lettura e scrittura per i set di dati replicati?
Impostare le aspettative di rendimento
Qual è la frequenza di I/O richiesta?
Di quali livelli di velocità effettiva di lettura e scrittura ha bisogno la tua applicazione?
Per quali ambienti hai bisogno di archiviazione? Per un determinato carico di lavoro, necessita di archiviazione ad alte prestazioni per l'ambiente di produzione, ma e scegliere un'opzione con prestazioni inferiori per gli ambienti non di produzione.
Rivedi le opzioni di archiviazione
Google Cloud offre servizi per l'archiviazione di tutte le chiavi formati: blocco, file e oggetto. Esaminare e valutare le funzionalità, il design e i relativi vantaggi dei servizi disponibili per ogni spazio formato.
Panoramica
Archiviazione a blocchi
I dati archiviati nell'archiviazione a blocchi sono suddivisi in blocchi, ciascuno memorizzato come blocco separato con un indirizzo univoco. Applicazioni per accedere ai dati, facendo riferimento agli indirizzi dei blocchi appropriati. Blocca l'archiviazione è ottimizzata per carichi di lavoro con elevato numero di IOPS, come le transazioni e l'elaborazione dei dati. È simile alla SAN (Storage Area Network) on-premise sistemi DAS (Direct Attached Storage).
Le opzioni di archiviazione a blocchi di Google Cloud fanno parte dal servizio Compute Engine.
| Opzione | Panoramica |
|---|---|
| Persistent Disk | Unità a disco rigido (HDD) e unità a stato solido (SSD) per applicazioni aziendali e di database distribuite VM di Compute Engine e cluster di Google Kubernetes Engine (GKE). |
| Hyperdisk di Google Cloud | Archiviazione di rete veloce e ridondante per VM di Compute Engine, con prestazioni e volumi configurabili che possono essere viene ridimensionato. |
| SSD locale | Archiviazione a blocchi temporanea collegata in locale per prestazioni elevate diverse applicazioni. |
Archiviazione di file
I dati sono organizzati e rappresentati in una gerarchia di file che sono archiviati in cartelle, come accade per lo spazio di archiviazione (NAS). I file system possono essere montati sui client utilizzando protocolli come NFS e Server Message Block (SMB). Le applicazioni accedono ai dati utilizzando il nome file e il percorso della directory pertinenti.
Google Cloud offre una gamma di servizi per l'archiviazione dei file.
| Soluzione | Panoramica |
|---|---|
| Google Cloud Filestore |
File server NFSv3 per VM di Compute Engine e di cluster Google Kubernetes Engine. Puoi scegliere un livello di servizio (di base, a livello di zona regionale) in base al tuo caso d'uso. |
| Google Cloud NetApp Volumes | Archiviazione basata su file con NFSv3, NFSv4.1 o SMB. |
| Altre opzioni | Consulta Riepilogo delle opzioni del file server. |
Archiviazione di oggetti
I dati vengono archiviati come oggetti in una gerarchia piatta di bucket. A ogni oggetto viene assegnato un ID univoco globale. Gli oggetti possono avere assegnati dal sistema e definiti dall'utente per aiutarti a organizzare per gestire i dati. Le applicazioni accedono ai dati facendo riferimento agli ID oggetto, tramite le API REST o le librerie client. L'archiviazione di oggetti è simile SAN on-premise in termini di capacità di scalabilità, ma è più facile meno costoso.
Cloud Storage offre costi contenuti, elevata durabilità e nessun limite e archiviazione di oggetti per diversi tipi di dati. I dati archiviati È possibile accedere a Cloud Storage ovunque, all'interno al di fuori di Google Cloud. La ridondanza facoltativa tra le regioni offre la massima affidabilità. Puoi selezionare una classe di archiviazione adatta i requisiti di conservazione dei dati e frequenza di accesso.
Analisi comparata
La tabella seguente fornisce un'analisi comparativa delle funzionalità chiave di archiviazione di Google Cloud.
| Persistent Disk | Hyperdisk | SSD locale | Filestore | Google Cloud NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|
| Capacità |
Da 10 GiB a 64 TiB per disco 257 TiB per VM |
Da 4 GiB a 64 TiB per disco 512 TiB per VM |
375 GiB per disco 12 TiB per VM |
1-100 TiB per istanza Filestore (il valore minimo e massimo di archiviazione e gli incrementi di scalabilità variano livello di servizio) | 2-500 TiB per pool di archiviazione Da 100 GiB a 100 TiB per volume |
Nessun limite inferiore o superiore |
|
Scalabilità |
|
Scala prestazioni e capacità in modo dinamico | Non scalabile |
|
Scale up e scale down | Scalabilità automatica in base all'utilizzo |
| Condivisione |
Condivisione limitata
|
Non condivisibile | Non condivisibile | Montabile su più VM di Compute Engine, client remoti e Cluster GKE | Montabile su più VM di Compute Engine e GKE cluster |
|
| Chiavi di crittografia |
Uno dei seguenti:
|
Uno dei seguenti:
|
Chiavi di proprietà di Google e gestite da Google |
|
Uno dei seguenti:
|
Uno dei seguenti:
|
| Persistenza |
Durata del disco | Durata del disco | Temporaneo (i dati rimangono attivi fino all'arresto o all'eliminazione della VM) | Durata dell'istanza Filestore | Durata del volume | Durata del bucket |
| Disponibilità |
|
A livello di zona | A livello di zona |
|
| |
| Rendimento |
Scalare lineare prestazioni elevate in base alle dimensioni del disco e al numero di CPU | Scalabilità dinamica, archiviazione permanente ad alte prestazioni | Archiviazione scratch ad alte prestazioni |
|
Prestazioni scalabili Le aspettative dipendono dal livello di servizio |
Scalabilità automatica delle velocità di lettura e scrittura e ridistribuzione del carico dinamico |
| Gestione |
Formatta e monta manualmente | Formatta e monta manualmente | Formattazione, stripe e montaggio manuale | Completamente gestito | Completamente gestito | Completamente gestito |
| Carichi di lavoro |
|
|
|
|
|
|
Scegli un'opzione di archiviazione
La scelta di un'opzione di archiviazione è suddivisa in due parti:
- Decidere i servizi di archiviazione necessari.
- Scegliere le funzionalità e le opzioni di progettazione richieste in un determinato servizio.
Esempi di funzionalità di progettazione e funzionalità specifiche per i servizi
Persistent Disk
- Regione e zona del deployment
- Replica a livello di regione
- Tipo, dimensione e IOPS del disco (per disco permanente con carico estremo)
- Chiavi di crittografia: di proprietà di Google e di Google, del cliente o fornito dal cliente
- Pianificazione snapshot
Hyperdisk
- Zona di deployment
- Tipo, dimensione e IOPS del disco
- Chiavi di crittografia: di proprietà di Google e di Google, del cliente o fornito dal cliente
- Pianificazione snapshot
Filestore
- Regione e zona del deployment
- Livello istanza
- Capacità
- Intervallo IP: allocato automaticamente o personalizzato
- Controllo degli accessi
NetApp Volumes
- Regione di deployment
- Livello di servizio per il pool di archiviazione
- Capacità di pool e volume
- Protocollo volume
- Regole di esportazione del volume
Cloud Storage
- Località: più regioni, due regioni, una singola regione
- Classe di archiviazione: Standard, Nearline Coldline, Archive
- Controllo dell'accesso: uniforme o granulare
- Chiavi di crittografia: di proprietà di Google e di Google, del cliente o fornito dal cliente
- Criterio di conservazione
Suggerimenti sullo spazio di archiviazione
Utilizza i seguenti suggerimenti come punto di partenza per scegliere lo spazio di archiviazione e le funzionalità che soddisfano i tuoi requisiti. Questi consigli sono presentati anche come albero decisionale più avanti in questo documento.
Per le applicazioni che richiedono accesso basato su file, scegli un file adatto di archiviazione dati in base ai requisiti per il protocollo di accesso, la disponibilità e le prestazioni.
Protocollo di accesso Consiglio NFSv3 - Se hai bisogno di una disponibilità a livello regionale, usa Filestore Regionale.
- Se la disponibilità a livello di zona è sufficiente, ma hai bisogno di prestazioni elevate, utilizza Zonale Filestore.
- Altrimenti, usa Filestore Basic NetApp Volumes.
Per ulteriori informazioni sulle differenze tra Filestore i livelli di servizio, vedi Livelli di servizio.
SMB o NFSv4.1 Usa NetApp Volumes. Per i carichi di lavoro che richiedono spazio di archiviazione principale con prestazioni elevate, SSD locali, dischi permanenti o Hyperdisk a seconda in base ai tuoi requisiti.
Requisito Consiglio Cache o disco temporaneo rapido Utilizza dischi SSD locali (temporanei).
IOPS sequenziali Utilizza dischi permanenti con il tipo di disco pd-standard.Carico di lavoro ad alta intensità di IOPS Utilizza dischi permanenti con il tipo di disco pd-extremeopd-ssd.Equilibrio tra rendimento e costi Utilizza dischi permanenti con il tipo di disco pd-balanced.Prestazioni e capacità scalabili in modo dinamico Usa Hyperdisk.
Scegli un tipo di Hyperdisk adatto:
- La velocità effettiva Hyperdisk è consigliata per lo scale out analisi, unità di dati per app sensibili ai costi e cold storage.
- Hyperdisk Extreme è consigliato per carichi di lavoro che richiedono un I/O elevato, ad esempio database ad alte prestazioni.
- A seconda dei requisiti di ridondanza, scegli tra a livello di zona e
i dischi permanenti a livello di regione.
Per un'analisi comparativa dettagliata, consulta Opzioni Persistent DiskRequisito Consiglio Ridondanza all'interno di una singola zona in una regione Usa dischi permanenti o hyperdisk a livello di zona. Ridondanza in più zone all'interno di una regione Usa dischi permanenti a livello di regione.
Per l'archiviazione su scala illimitata e disponibile a livello globale, usa di archiviazione ideale in Cloud Storage.
In base alla frequenza di accesso ai dati e alla durata dell'archiviazione, scegli un'opzione appropriata per la classe Cloud Storage.
Requisito Consiglio> La frequenza di accesso varia oppure il periodo di conservazione dei dati non è noto o non prevedibili. Utilizza la funzionalità Autoclass per trasferire automaticamente gli oggetti di un bucket all'archiviazione appropriata in base al modello di accesso di ciascun oggetto. Archiviazione di dati a cui si accede di frequente, tra cui analisi a velocità effettiva elevata, data lake, siti web, video in streaming e app mobile. Utilizza la Classe di archiviazione Standard.
Per memorizzare nella cache i dati a cui si accede di frequente e pubblicarli da posizioni vicini ai client, usano Cloud CDN.
Archiviazione a basso costo per dati a cui si accede raramente che possono essere archiviati almeno 30 giorni (ad esempio, backup e contenuti multimediali long-tail). Utilizza la Classe di archiviazione Nearline. Archiviazione a basso costo per dati a cui si accede raramente che possono essere archiviati almeno 90 giorni (ad esempio, ripristino di emergenza). Utilizza la Coldline. Archiviazione al minor costo per i dati a cui si accede raramente che possono essere archiviati per almeno 365 giorni, inclusi gli archivi normativi. Utilizza la Classe di archiviazione Archive. Per un'analisi comparativa dettagliata, consulta Classi Cloud Storage.
Opzioni di trasferimento dati
Dopo aver scelto i servizi di archiviazione Google Cloud appropriati, per eseguire il deployment per eseguire carichi di lavoro, devi trasferire i dati in Google Cloud. I dati da trasferire potrebbero esistere on-premise o su altre piattaforme cloud.
Per trasferire dati in Google Cloud, puoi utilizzare i seguenti metodi:
- Trasferire dati online utilizzando Storage Transfer Service: Automatizza il trasferimento di grandi quantità di dati tra l'archiviazione di oggetti e file quali Cloud Storage, Amazon S3, servizi di archiviazione di Azure, e le origini dati on-premise.
- Trasferisci i dati offline utilizzando Transfer Appliance: Trasferisci e carica grandi quantità di dati offline su Google Cloud in situazioni in cui la connettività di rete e la larghezza di banda non sono disponibili, sono limitate o costoso.
- Carica dati in Cloud Storage: carica i dati online su nei bucket Cloud Storage utilizzando la console Google Cloud gcloud CLI, API Cloud Storage o librerie client.
Quando scegli un metodo di trasferimento dei dati, considera fattori quali dimensioni dei dati, limiti di tempo, disponibilità della larghezza di banda, obiettivi di costo e requisiti di sicurezza e conformità. Per saperne di più sulla pianificazione e l'implementazione dei trasferimenti di dati a Google Cloud, consulta Eseguire la migrazione a Google Cloud: trasferire set di dati di grandi dimensioni.
Albero decisionale opzioni di archiviazione
Il seguente diagramma ad albero decisionale ti guida in Google Cloud dei suggerimenti sullo spazio di archiviazione discussi in precedenza:
Visualizza un'immagine più grande
Passaggi successivi
- Stima il costo di archiviazione utilizzando Calcolatore prezzi di Google Cloud.
- Scopri di più sulla best practice per la creazione di un una topologia cloud ottimizzata per sicurezza, resilienza, costi delle prestazioni.
- Scopri di più sulla differenze tra archiviazione di oggetti, blocchi e file in Google Cloud (video).
- Scopri quando utilizzare file system paralleli come Lustre per i carichi di lavoro HPC.
Collaboratori
Autore: Kumar Dhanagopal | Sviluppatore di soluzioni cross-product
Altri collaboratori:
- Brennan Doyle | Architetto di soluzioni
- Dean Hildebrand | Direttore tecnico, ufficio del CTO
- Geoffrey Noer | Group Product Manager
- Mario Rossi | Scrittore tecnico
- Giulio Bianchi | Direttore, Product Management
- Mario Rossi | Architetto di soluzioni
- Sean Derrington | Product Manager di Group Outbound, Storage