Migrazione verso Google Cloud: trasferimento dei tuoi set di dati di grandi dimensioni

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Per molti clienti, il primo passo nell'adozione di un prodotto Google Cloud è trasferire i propri dati in Google Cloud. Questo documento esplora tale processo, dalla pianificazione di un trasferimento di dati all'utilizzo delle best practice per l'implementazione di un piano.

Il trasferimento di grandi set di dati comporta la creazione del team giusto, la pianificazione anticipata e il test del piano di trasferimento prima dell'implementazione in un ambiente di produzione. Sebbene questi passaggi possano richiedere tutto il tempo necessario per il trasferimento stesso, tali preparativi possono contribuire a ridurre al minimo le interruzioni delle operazioni aziendali durante il trasferimento.

Questo documento fa parte di una serie in più parti sulla migrazione a Google Cloud. Se ti interessa una panoramica della serie, vedi Migrazione a Google Cloud: Scegliere il percorso di migrazione.

Questo articolo fa parte di una serie:

Il seguente diagramma illustra il percorso del percorso di migrazione.

Percorso di migrazione in quattro fasi.

La fase di deployment è la terza fase della migrazione a Google Cloud, in cui progetti un processo di deployment per i carichi di lavoro.

Questo documento è utile se stai pianificando una migrazione da un ambiente on-premise, da un ambiente di hosting privato, da un altro cloud provider a Google Cloud o se stai valutando l'opportunità di eseguire la migrazione e vuoi scoprire come potrebbe essere.

Che cos'è il trasferimento dei dati?

Ai fini del presente documento, il trasferimento dei dati è il processo di spostamento dei dati senza trasformarli, ad esempio, nello spostamento di file così come sono in oggetti.

Il trasferimento di dati non è semplice come sembra

La tentazione di pensare al trasferimento dei dati come a una sessione FTP gigante, in cui i file sono archiviati da un lato e attendino che vengano trasferiti dall'altro lato. Tuttavia, nella maggior parte degli ambienti aziendali, il processo di trasferimento riguarda molti fattori tra cui:

  • Definizione di un piano di trasferimento che tenga conto del tempo amministrativo, incluso il tempo per decidere un'opzione di trasferimento, ottenere le approvazioni e gestire i problemi imprevisti.
  • Coordina le persone della tua organizzazione, ad esempio il team che esegue il trasferimento, il personale che approva gli strumenti e l'architettura e gli stakeholder aziendali interessati al valore e alle interruzioni che possono spostare i dati.
  • Scegliere lo strumento di trasferimento più adatto in base alle risorse, al costo, al tempo e ad altre considerazioni sul progetto.
  • Superare le sfide del trasferimento dei dati, tra cui la "velocità della luce" (problemi di larghezza di banda insufficiente), lo spostamento di set di dati in uso attivi, la protezione e il monitoraggio dei dati in fase di elaborazione e assicurando che i dati vengano trasferiti correttamente.

Questo documento ha lo scopo di aiutarti a lanciare un'iniziativa di trasferimento di successo.

Il seguente elenco include le risorse per altri tipi di progetti di trasferimento di dati non trattati in questo documento:

  • Se devi trasformare i dati (ad esempio, combinare righe, unire dati o filtrare informazioni che consentono l'identificazione personale), devi valutare una soluzione basata su estrazione, trasformazione e caricamento (ETL) in grado di memorizzare i dati in un data warehouse di Google Cloud. Per un esempio di questa architettura, consulta questo tutorial di Dataflow.
  • Se hai bisogno di eseguire la migrazione di un database e delle app correlate (ad esempio, per eseguire il lift and shift di un'app di database), puoi consultare la documentazione relativa a Cloud Spanner, le soluzioni per PostgreSQL e altra documentazione sul tipo di database.
  • Se vuoi eseguire la migrazione dei tuoi dati da HBase a un servizio di database NoSQL completamente gestito, compatibile con l'API HBase e in grado di gestire carichi di lavoro più grandi, consulta Cloud Bigtable.
  • Se devi spostare un'istanza di una macchina virtuale (VM), valuta la possibilità di utilizzare la migrazione delle VM di Google.

Passaggio 1: riunire il team

La pianificazione di un trasferimento in genere richiede personale con i ruoli e le responsabilità seguenti:

  • Abilitazione delle risorse necessarie per un trasferimento:amministratori di spazio di archiviazione, IT e rete, sponsor esecutivo e altri consulenti (ad esempio, un team di account Google o partner di integrazione)
  • Approvazione della decisione sul trasferimento:proprietari o governatori dei dati (per i criteri interni su chi è autorizzato a trasferire i dati), consulenti legali (per le normative relative ai dati) e un amministratore della sicurezza (per i criteri interni sulle modalità di protezione dell'accesso ai dati)
  • Esecuzione del trasferimento: un responsabile del team, un project manager (per l'esecuzione e il monitoraggio del progetto), un team tecnico e la ricezione e la spedizione sul sito (per ricevere l'hardware dell'appliance)

È fondamentale identificare chi è responsabile delle responsabilità precedenti del tuo progetto di trasferimento e includerlo nelle riunioni di pianificazione e decisione, se opportuno. Una pianificazione organizzativa scadente è spesso la causa di iniziative di trasferimento non riuscite.

La raccolta dei requisiti del progetto e il contributo di questi stakeholder può essere difficile, ma la definizione di un piano e la definizione di ruoli e responsabilità chiari si ripagano. Non è previsto che tu conosca tutti i dettagli dei tuoi dati. La creazione di un team offre maggiori informazioni sulle esigenze dell'azienda. È una best practice identificare i potenziali problemi prima di investire tempo, denaro e risorse per completare i trasferimenti.

Passaggio 2: raccolta dei requisiti e risorse disponibili

Quando progetti un piano di trasferimento, ti consigliamo di raccogliere prima i requisiti per il trasferimento dei dati e poi decidere un'opzione di trasferimento. Per raccogliere i requisiti, puoi utilizzare la seguente procedura:

  1. Identifica i set di dati da spostare.
    • Seleziona strumenti come Data Catalog per organizzare i dati in raggruppamenti logici che vengono spostati e utilizzati insieme.
    • Collabora con i team della tua organizzazione per convalidare o aggiornare questi gruppi.
  2. Identifica i set di dati che puoi spostare.
    • Valuta se i fattori normativi, di sicurezza o di altro tipo impediscono il trasferimento di alcuni set di dati.
    • Se devi trasformare alcuni dati prima di spostarli (ad esempio per rimuovere dati sensibili o riorganizzare i dati), valuta la possibilità di usare un prodotto di integrazione dei dati come Dataflow o Cloud Data Fusion, o un prodotto di orchestrazione dei flussi di lavoro come Cloud Composer.
  3. Per i set di dati spostabili, determina dove trasferire ciascun set di dati.
    • Registra quale opzione di archiviazione selezioni per archiviare i tuoi dati. In genere, il sistema di archiviazione di destinazione su Google Cloud è Cloud Storage. Anche se hai bisogno di soluzioni più complesse dopo l'esecuzione delle tue applicazioni, Cloud Storage è un'opzione di archiviazione scalabile e durevole.
    • Scopri quali criteri di accesso ai dati devono essere conservati dopo la migrazione.
    • Determina se devi archiviare questi dati in regioni specifiche.
    • Pianifica come strutturare questi dati nella destinazione. Ad esempio, sarà uguale all'origine o diversa?
    • Determina se devi trasferire i dati su base continuativa.
  4. Per i set di dati spostabili, determina quali risorse sono disponibili per spostarli.
    • Tempistiche: quando deve essere completato il trasferimento?
    • Costo: qual è il budget disponibile per il team e i costi di trasferimento?
    • Persone: chi è disponibile per eseguire il trasferimento?
    • Larghezza di banda (per i trasferimenti online): la quantità di larghezza di banda attualmente disponibile per Google Cloud che può essere allocata per un trasferimento e per quale periodo di tempo?

Prima di valutare e selezionare le opzioni di trasferimento nella fase successiva della pianificazione, ti consigliamo di valutare se è possibile migliorare qualsiasi parte del tuo modello IT, ad esempio la governance dei dati, l'organizzazione e la sicurezza.

Il tuo modello di sicurezza

A molti membri del team di trasferimento potrebbero essere concessi nuovi ruoli nella tua organizzazione Google Cloud nell'ambito del tuo progetto Data Transfer. La pianificazione del trasferimento di dati è un ottimo momento per esaminare le autorizzazioni di Identity and Access Management (IAM) e le best practice per utilizzare IAM in modo sicuro. Questi problemi possono influire sulla modalità di concedimento dell'accesso allo spazio di archiviazione. Ad esempio, potresti imporre limiti rigorosi all'accesso in scrittura ai dati che sono stati archiviati per motivi normativi, ma potresti consentire a molti utenti e applicazioni di scrivere dati nel tuo ambiente di test.

La tua organizzazione Google Cloud

La struttura dei dati su Google Cloud dipende dal modo in cui prevedi di utilizzare Google Cloud. Archiviare i dati nello stesso progetto Cloud in cui esegui l'applicazione è un approccio semplice, ma potrebbe non essere ottimale dal punto di vista della gestione. Alcuni sviluppatori potrebbero non avere il privilegio di visualizzare i dati di produzione. In questo caso, uno sviluppatore potrebbe sviluppare codice sui dati di esempio, mentre un account di servizio con privilegi potrebbe accedere ai dati di produzione. Pertanto, potresti voler mantenere l'intero set di dati di produzione in un progetto Cloud separato e quindi utilizzare un account di servizio per consentire l'accesso ai dati da ogni progetto dell'applicazione.

Google Cloud è organizzato intorno a progetti. I progetti possono essere raggruppati in cartelle e le cartelle possono essere raggruppate sotto la tua organizzazione. I ruoli vengono stabiliti a livello di progetto e le autorizzazioni di accesso vengono aggiunte a questi ruoli a livello di bucket di Cloud Storage. Questa struttura è in linea con la struttura delle autorizzazioni di altri provider di oggetti.

Per le best practice su come strutturare un'organizzazione Google Cloud, vedi Decidere una gerarchia delle risorse per la zona di destinazione Google Cloud.

Passaggio 3: valutazione delle opzioni di trasferimento

Per valutare le opzioni di trasferimento dei dati, il team di trasferimento deve considerare diversi fattori, tra cui:

  • Costo
  • Tempo
  • Opzioni di trasferimento offline o online
  • Trasferisci strumenti e tecnologie
  • Sicurezza

Costo

La maggior parte dei costi associati al trasferimento dei dati include i seguenti:

  • Costi di networking
    • La risorsa Ingress per Cloud Storage è gratuita. Tuttavia, se ospiti i tuoi dati su un cloud provider pubblico, puoi aspettarti il pagamento di un addebito in uscita e di potenziali costi di archiviazione (ad esempio, operazioni di lettura) per il trasferimento dei dati. Questo addebito si applica ai dati provenienti da Google o da un altro cloud provider.
    • Se i dati sono ospitati in un data center privato che utilizzi, ti potrebbero venire addebitati costi aggiuntivi per la configurazione di una larghezza di banda maggiore in Google Cloud.
  • Costi di archiviazione e gestione per Cloud Storage durante e dopo il trasferimento dei dati
  • Costi dei prodotti, ad esempio Transfer Appliance
  • Costi del personale per l'assemblaggio del tuo team e l'acquisizione di supporto logistico

Tempo

Alcune cose nell'informatica evidenziano le limitazioni hardware delle reti relative al trasferimento di grandi quantità di dati. Idealmente, puoi trasferire 1 GB in 8 secondi su una rete da 1 Gbps. Se esegui lo scale up fino a un enorme set di dati (ad es. 100 TB), il tempo di trasferimento è di 12 giorni. Il trasferimento di enormi set di dati può testare i limiti della tua infrastruttura e causare potenzialmente problemi alla tua azienda.

Puoi utilizzare il seguente calcolatore per capire quanto tempo potrebbe richiedere un trasferimento, considerate le dimensioni del set di dati che stai spostando e la larghezza di banda disponibile per il trasferimento. Nei calcoli viene presa in considerazione una determinata percentuale del tempo di gestione. Inoltre, poiché è efficace un'efficienza della larghezza di banda, i numeri risultanti sono più realistici e non si otterranno numeri ideali.

Potrebbe non essere necessario trasferire set di dati di grandi dimensioni dalla rete aziendale durante i periodi di picco delle attività. Se il trasferimento sovraccarica la rete, nessun altro potrà portare a termine i lavori necessari o mission critical. Per questo motivo, il team di trasferimento deve considerare il fattore tempo.

Dopo il trasferimento dei dati in Cloud Storage, puoi utilizzare una serie di tecnologie per elaborare i nuovi file man mano che arrivano, ad esempio Dataflow.

Aumento della larghezza di banda della rete

Il modo in cui puoi aumentare la larghezza di banda della rete dipende da come ti connetti a Google Cloud.

In un trasferimento cloud-cloud tra Google Cloud e altri cloud provider, Google esegue il provisioning della connessione tra i data center dei fornitori cloud, senza richiedere alcuna configurazione da parte tua.

Se stai trasferendo dati tra il tuo data center privato e Google Cloud, hai tre approcci principali:

  • Una connessione a Internet pubblica tramite un'API pubblica
  • Peering diretto utilizzando un'API pubblica
  • Cloud Interconnect utilizzando un'API privata

Quando valuti questi approcci, è utile valutare le tue esigenze di connettività a lungo termine. Puoi concludere che è proibito acquisire larghezza di banda esclusivamente per scopi di trasferimento, ma quando si tiene conto dell'uso a lungo termine di Google Cloud e della rete necessaria all'interno dell'organizzazione, l'investimento potrebbe valere la pena.

Connessione con una connessione a Internet pubblica

Quando utilizzi una connessione a Internet pubblica, la velocità effettiva di rete è meno prevedibile perché limitata dalla capacità e dal routing del tuo provider di servizi Internet (ISP). L'ISP potrebbe anche offrire un accordo sul livello del servizio (SLA) limitato o nessuno. Tuttavia, queste connessioni offrono costi relativamente bassi e, con gli ampi accordi di peering di Google, il tuo ISP potrebbe indirizzarti verso la rete globale di Google in pochi hop di rete.

Ti consigliamo di verificare con il tuo amministratore della sicurezza se i criteri aziendali vietano di spostare alcuni set di dati sulla rete Internet pubblica. Controlla anche se la connessione Internet pubblica è utilizzata per il tuo traffico di produzione. I trasferimenti di dati su larga scala potrebbero influire negativamente sulla rete di produzione.

Connessione con peering diretto

Per accedere alla rete Google con meno hop di rete rispetto a una connessione a Internet pubblica, puoi utilizzare il peering diretto. Il peering diretto consente di scambiare il traffico Internet tra la tua rete e i punti di presenza (POP) Edge di Google, il che significa che i tuoi dati non utilizzano la rete Internet pubblica. Questo riduce anche il numero di hop tra la tua rete e la rete di Google. Il peering con la rete di Google richiede la configurazione di un numero di sistema autonomo (AS) registrato, la connessione a Google tramite una piattaforma di scambio Internet e la disponibilità di un contatto 24 ore su 24 con il tuo centro operativo di rete.

Connessione con Cloud Interconnect

Cloud Interconnect offre una connessione diretta a Google Cloud tramite Google o uno dei provider di servizi Cloud Interconnect. Questo servizio contribuisce a impedire che i dati vengano trasmessi sulla rete Internet pubblica e può garantire una velocità effettiva più coerente per i trasferimenti di dati di grandi dimensioni. In genere, Cloud Interconnect fornisce SLA per la disponibilità e le prestazioni della loro rete. Contatta direttamente un fornitore di servizi per saperne di più. Cloud Interconnect supporta anche gli indirizzi privati, RFC 1918, affinché il cloud diventi effettivamente un'estensione del tuo data center privato senza necessità di indirizzi IP o NAT.

Trasferimento online o offline

Una decisione critica è l'utilizzo di un processo offline o online per il trasferimento dei dati. Vale a dire che devi scegliere se eseguire il trasferimento su una rete, che si tratti di un'interconnessione dedicata o di una rete Internet pubblica oppure di un trasferimento utilizzando l'hardware di archiviazione.

Per aiutarti in questa decisione, offriamo una calcolatrice di trasferimenti per aiutarti a stimare le differenze di tempi e costi tra queste due opzioni. Il seguente grafico mostra anche alcune velocità di trasferimento per vari set di dati e larghezze di banda. In questi calcoli viene integrato un determinato importo dell'overhead di gestione.

Grafico che mostra la relazione tra le dimensioni e le velocità di trasferimento.

Come indicato in precedenza, potresti dover valutare se il costo per ottenere latenze inferiori per il trasferimento di dati (ad esempio l'acquisizione della larghezza di banda della rete) viene compensato dal valore di tale investimento per la tua organizzazione.

Opzioni disponibili da Google

Google offre diversi strumenti e tecnologie che ti consentono di eseguire un trasferimento di dati.

Scelta tra le opzioni di trasferimento di Google

La scelta di un'opzione di trasferimento dipende dal caso d'uso, come mostra la seguente tabella.

Da dove vuoi spostare i dati Scenario Prodotti suggeriti
Da un altro cloud provider (ad esempio Amazon Web Services o Microsoft Azure) a Google Cloud Storage Transfer Service
Da Cloud Storage a Cloud Storage (due bucket diversi) Storage Transfer Service
Il tuo data center privato a Google Cloud Larghezza di banda sufficiente per rispettare la scadenza del progetto
per meno di 1 TB di dati
gsutil
Il tuo data center privato a Google Cloud Larghezza di banda sufficiente per rispettare la scadenza del tuo progetto
per più di 1 TB di dati
Storage Transfer Service per i dati on-premise
Il tuo data center privato a Google Cloud Larghezza di banda insufficiente per rispettare la scadenza del progetto Transfer Appliance

gsutil per trasferimenti più piccoli di dati on-premise

Lo strumento gsutil è lo strumento standard per i trasferimenti di piccole e medie dimensioni (meno di 1 TB) su una rete su scala aziendale standard, da un data center privato a Google Cloud. Ti consigliamo di includere gsutil nel percorso predefinito quando utilizzi Cloud Shell. È disponibile anche per impostazione predefinita quando installi Google Cloud CLI. È uno strumento affidabile che fornisce tutte le funzionalità di base necessarie per gestire le istanze di Cloud Storage, inclusa la copia dei dati da e verso il file system locale e Cloud Storage. Può anche spostare e rinominare gli oggetti ed eseguire sincronizzazioni incrementali in tempo reale, come rsync, in un bucket Cloud Storage.

gsutil è particolarmente utile nei seguenti scenari:

  • I trasferimenti devono essere eseguiti secondo necessità o durante le sessioni della riga di comando effettuate dai tuoi utenti.
  • Stai trasferendo solo alcuni file o file di grandi dimensioni o entrambi.
  • Stai consumando l'output di un programma (stream in uscita in Cloud Storage).
  • Devi guardare una directory con un numero moderato di file e sincronizzare gli aggiornamenti con latenze molto basse.

Le nozioni di base su come iniziare a utilizzare gsutil consentono di creare un bucket Cloud Storage e copiare dati in quel bucket. Per i trasferimenti di set di dati di dimensioni maggiori, esistono due aspetti da considerare:

  • Per i trasferimenti multi-thread, utilizza gsutil -m.

    Diversi file vengono elaborati in parallelo, aumentando la velocità di trasferimento.

  • Per un singolo file di grandi dimensioni, utilizza i trasferimenti composti.

    Questo metodo suddivide i file di grandi dimensioni in blocchi più piccoli per aumentare la velocità di trasferimento. I blocchi vengono trasferiti e convalidati in parallelo, inviando tutti i dati a Google. Una volta arrivati a Google, i blocchi vengono combinati (detti composizione) per formare un singolo oggetto.

    I trasferimenti compositi con gsutil presentano alcuni svantaggi, tra cui il fatto che ogni elemento (non l'intero oggetto) viene considerato singolarmente e la composizione delle classi di cold storage comporta sanzioni di eliminazione anticipata.

Storage Transfer Service per grandi trasferimenti di dati on-premise

Come gsutil, Storage Transfer Service for On Premises Data consente i trasferimenti da Cloud Storage di rete del file system (NFS) a Cloud Storage. Sebbene gsutil possa supportare dimensioni di trasferimento di piccole dimensioni (fino a 1 TB), Storage Transfer Service for On Premises Data è progettato per trasferimenti su larga scala (fino a petabyte di dati, miliardi di file). Supporta copie complete o copie incrementali e funziona su tutte le opzioni di trasferimento elencate in precedenza nella sezione Decidere tra le opzioni di trasferimento di Google. Ha inoltre una Graphic User Interface semplice e gestita; anche gli utenti non tecnicamente esperti (dopo la configurazione) possono utilizzarla per spostare i dati.

Storage Transfer Service for On Premises Data è particolarmente utile nei seguenti scenari:

  • Disponi di larghezza di banda sufficiente per spostare i volumi di dati (vedi il Calcolatore dei dati di Google Cloud).
  • Supporti un'ampia base di utenti interni che potrebbero trovare uno strumento a riga di comando come gsutil difficile da utilizzare.
  • Devi disporre di report sugli errori efficaci e un record di tutti i file e gli oggetti che vengono spostati.
  • Devi limitare l'impatto dei trasferimenti su altri carichi di lavoro nel tuo data center (questo prodotto può rimanere entro un limite di larghezza di banda specificato dall'utente).
  • Vuoi eseguire trasferimenti ricorrenti in base a una pianificazione.

Puoi configurare Storage Transfer Service per i dati on-premise installando un software on-premise (noto come agenti) sui computer nel tuo data center. Questi agenti si trovano in container Docker, semplificando l'esecuzione di molti di questi agenti o l'orchestrazione tramite Kubernetes.

Al termine della configurazione, gli utenti possono avviare i trasferimenti nella console Google Cloud fornendo una directory di origine, un bucket di destinazione e un orario o una pianificazione. Storage Transfer Service esegue ripetutamente la scansione delle sottodirectory e dei file nella directory di origine e crea oggetti con un nome corrispondente in Cloud Storage (l'oggetto /dir/foo/file.txt diventa un oggetto nel bucket di destinazione denominato /dir/foo/file.txt). Storage Transfer Service tenta automaticamente un trasferimento quando rileva errori temporanei. Durante l'esecuzione dei trasferimenti, puoi monitorare quanti file vengono spostati e la velocità di trasferimento complessiva, nonché visualizzare esempi di errori.

Al termine del trasferimento viene generato un file delimitato da tabulazioni (TSV) con un record completo di tutti i file toccati ed eventuali messaggi di errore ricevuti. Gli agenti sono a tolleranza di errore, quindi se un agente non è più disponibile, il trasferimento continua con gli agenti rimanenti. Gli agenti si aggiornano automaticamente e si correggono automaticamente, quindi non devi preoccuparti di applicare patch alle versioni più recenti o riavviare il processo in caso di problemi a causa di un problema imprevisto.

Aspetti da considerare quando si utilizza Storage Transfer Service:

  • Utilizza una configurazione dell'agente identica su ogni computer. Tutti gli agenti dovrebbero visualizzare lo stesso NFS (Network File System) nello stesso modo (stessi percorsi relativi). Questa configurazione è un requisito per il funzionamento del prodotto.
  • Più agenti portano a una maggiore velocità. Poiché i trasferimenti vengono confrontati automaticamente tra tutti gli agenti, ti consigliamo di eseguire il deployment di molti agenti in modo da utilizzare la larghezza di banda disponibile.
  • I limiti di larghezza di banda possono proteggere i carichi di lavoro. È possibile che gli altri tuoi carichi di lavoro utilizzino la larghezza di banda del data center, quindi imposta un limite di larghezza di banda per evitare che i trasferimenti incidano sugli SLA.
  • Pianifica il tempo necessario per esaminare gli errori. Spesso i trasferimenti di grandi dimensioni possono causare errori che richiedono una revisione. Storage Transfer Service consente di visualizzare un esempio degli errori riscontrati direttamente nella console Google Cloud. Se necessario, puoi caricare il record completo di tutti gli errori di trasferimento in BigQuery per controllare i file o valutare gli errori rimasti anche dopo nuovi tentativi. Questi errori possono essere causati dall'esecuzione di app che scrivevano nell'origine durante il trasferimento oppure gli errori possono rivelare un problema che richiede la risoluzione dei problemi (ad esempio, errore delle autorizzazioni).
  • Configura Cloud Monitoring per trasferimenti a lunga esecuzione. Storage Transfer Service consente a Monitoring di monitorare integrità e velocità degli agenti, così puoi impostare avvisi in grado di avvisarti quando gli agenti sono inattiva o richiedono attenzione. Intervenire sugli errori degli agenti è importante per i trasferimenti che richiedono diversi giorni o settimane, in modo da evitare rallentamenti o interruzioni significativi che possono ritardare la sequenza temporale del progetto.

Transfer Appliance per trasferimenti più ampi

Per i trasferimenti su larga scala (in particolare i trasferimenti con larghezza di banda di rete limitata), Transfer Appliance è un'opzione eccellente, soprattutto quando una connessione di rete veloce non è disponibile ed è troppo costosa per acquisire più larghezza di banda.

Transfer Appliance è particolarmente utile nei seguenti scenari:

  • Il data center si trova in una località remota con accesso limitato o assente alla larghezza di banda.
  • La larghezza di banda è disponibile, ma non può essere acquisita in tempo per rispettare la scadenza.
  • Avrai accesso a risorse logistiche per ricevere e connettere elettrodomestici alla tua rete.

Con questa opzione, considera quanto segue:

  • Transfer Appliance richiede la ricezione e la restituzione dell'hardware di proprietà di Google.
  • A seconda della connessione a Internet, la latenza per il trasferimento dei dati in Google Cloud è solitamente più elevata con Transfer Appliance che online.
  • Transfer Appliance è disponibile solo in alcuni paesi.

I due criteri principali da considerare con Transfer Appliance sono il costo e la velocità. Con una connettività di rete ragionevole (ad esempio 1 Gbps), il trasferimento di 100 TB di dati online richiede più di 10 giorni. Se questa tariffa è accettabile, un trasferimento online è probabilmente una buona soluzione per le tue esigenze. Se hai solo una connessione a 100 Mbps (o peggiori da una località remota), lo stesso trasferimento richiede più di 100 giorni. A questo punto, vale la pena considerare un'opzione di trasferimento offline come Transfer Appliance.

L'acquisizione di Transfer Appliance è semplice. In Google Cloud Console, devi richiedere Transfer Appliance, indicare la quantità di dati a tua disposizione e Google spedisce una o più appliance nella località richiesta. Hai a disposizione diversi giorni per trasferire i tuoi dati all'appliance ("acquisizione dei dati") e spedirli nuovamente a Google.

Il tempo di risposta previsto per la spedizione di un'appliance di rete, il caricamento dei dati, la restituzione e l'idratazione in Google Cloud sono di 20 giorni. Se il periodo di tempo del trasferimento online è calcolato in modo notevolmente superiore a questo intervallo di tempo, prendi in considerazione Transfer Appliance. Il costo totale del processo di 300 TB è inferiore a 2500 $.

Storage Transfer Service per i trasferimenti cloud-cloud

Storage Transfer Service è un servizio completamente gestito e a elevata scalabilità per automatizzare i trasferimenti da altri cloud pubblici in Cloud Storage. Supporta i trasferimenti in Cloud Storage da Amazon S3 e HTTP.

Per Amazon S3, puoi fornire una chiave di accesso e un bucket S3 con filtri facoltativi per la selezione degli oggetti S3, quindi puoi copiare gli oggetti S3 in qualsiasi bucket Cloud Storage. Il servizio supporta anche le copie giornaliere di tutti gli oggetti modificati. Attualmente il servizio non supporta il trasferimento di dati su Amazon S3.

Per HTTP, puoi fornire a Storage Transfer Service un elenco di URL pubblici in un formato specificato. Questo approccio richiede la scrittura di uno script che fornisca le dimensioni di ogni file in byte, insieme a un hash MD5 con codifica Base64 dei contenuti del file. A volte le dimensioni e l'hash del file sono disponibili sul sito web di origine. In caso contrario, devi disporre dell'accesso locale ai file; in tal caso, potrebbe essere più semplice utilizzare gsutil, come descritto in precedenza.

Se disponi di un trasferimento, Storage Transfer Service è un ottimo modo per recuperare i dati e conservarli, in particolare quando si esegue il trasferimento da un altro cloud pubblico.

Sicurezza

Per molti utenti di Google Cloud, la sicurezza è l'obiettivo principale e sono disponibili diversi livelli di sicurezza. Alcuni aspetti della sicurezza da considerare sono: protezione dei dati at-rest (autorizzazione e accesso al sistema di archiviazione di origine e di destinazione), protezione dei dati durante il transito e protezione dell'accesso al prodotto di trasferimento. La tabella seguente illustra questi aspetti di sicurezza per prodotto.

Prodotto Dati at-rest Dati in transito Accesso al trasferimento del prodotto
Transfer Appliance Tutti i dati sono at-rest. I dati sono protetti con chiavi gestite dal cliente. Tutti possono ordinare un'appliance, ma per utilizzarla devono accedere all'origine dati.
gsutil Le chiavi di accesso sono necessarie per accedere a Cloud Storage, che è criptato at-rest. I dati vengono inviati tramite HTTPS e criptati in transito. Chiunque può scaricare ed eseguire gsutil. Devono avere le autorizzazioni per bucket e file locali per spostare i dati.
Storage Transfer Service per i dati on-premise Le chiavi di accesso sono necessarie per accedere a Cloud Storage, che è criptato at-rest. Il processo dell'agente può accedere ai file locali come consentito dalle autorizzazioni del sistema operativo. I dati vengono inviati tramite HTTPS e criptati in transito. Devi avere le autorizzazioni di editor degli oggetti per accedere ai bucket Cloud Storage.
Storage Transfer Service Le chiavi di accesso sono necessarie per le risorse non Google Cloud (ad esempio Amazon S3). Le chiavi di accesso sono necessarie per accedere a Cloud Storage, che è criptato at-rest. I dati vengono inviati tramite HTTPS e criptati in transito. Devi disporre delle autorizzazioni IAM per l'account di servizio per accedere alle autorizzazioni dell'editor di origine e dell'oggetto per qualsiasi bucket Cloud Storage.

Per ottenere miglioramenti della sicurezza di base, i trasferimenti online a Google Cloud tramite gsutil vengono eseguiti tramite HTTPS, i dati vengono criptati in transito e tutti i dati in Cloud Storage vengono criptati per impostazione predefinita. Per informazioni su schemi di sicurezza più sofisticati, consulta le considerazioni su sicurezza e privacy. Se utilizzi Transfer Appliance, i token di sicurezza che controlli possono aiutarti a proteggere i tuoi dati. In generale, ti consigliamo di coinvolgere il tuo team di sicurezza per assicurarti che il tuo piano di trasferimento soddisfi i requisiti normativi e aziendali.

Prodotti per il trasferimento di terze parti

Per l'ottimizzazione avanzata a livello di rete o i flussi di lavoro di trasferimento di dati in corso, potresti utilizzare strumenti più avanzati. Per informazioni sugli strumenti più avanzati, visita i partner di Google.

I seguenti link evidenziano alcune delle numerose opzioni (elencate qui in ordine alfabetico):

Passaggio 4: preparati per il trasferimento

Per un trasferimento di grandi dimensioni o con dipendenze significative, è importante comprendere come gestire il prodotto di trasferimento. In genere, i clienti devono seguire questi passaggi:

  1. Prezzi e stima ROI. Questo passaggio offre molte opzioni per aiutarti nel processo decisionale.
  2. Test funzionali. In questo passaggio confermi che il prodotto può essere configurato correttamente e che la connettività di rete (ove applicabile) funziona. Verifica inoltre di poter spostare nella destinazione un campione rappresentativo dei tuoi dati (inclusi i passaggi non associati, come lo spostamento di un'istanza VM).

    In genere, puoi eseguire questo passaggio prima di allocare tutte le risorse, ad esempio le macchine da trasferire o la larghezza di banda. Gli obiettivi di questo passaggio includono:

    • Conferma che puoi installare e utilizzare il trasferimento.
    • Mostra potenziali problemi di interruzione dei progetti che bloccano lo spostamento dei dati (ad esempio, route di rete) o le tue operazioni (ad esempio, l'addestramento necessario in un passaggio senza trasferimento).
  3. Test delle prestazioni. In questo passaggio, esegui un trasferimento su un ampio campione di dati (in genere dal 3 al 5%) dopo che le risorse di produzione sono state assegnate per:

    • Conferma che puoi utilizzare tutte le risorse allocate e puoi ottenere la velocità prevista.
    • Mostra e correggi i colli di bottiglia (ad esempio, il sistema di archiviazione ad origine lenta).

Passaggio 5: assicurati l'integrità del trasferimento

Per garantire l'integrità dei tuoi dati durante un trasferimento, ti consigliamo di adottare le seguenti precauzioni.

  • Attiva il controllo delle versioni e il backup sulla destinazione per limitare i danni delle eliminazioni accidentali.
  • Convalida i dati prima di rimuovere i dati di origine.

Per i trasferimenti di dati su larga scala (con petabyte di dati e miliardi di file), una percentuale di errore latente di base del sistema di archiviazione di origine sottostante, a partire dallo 0,0001%, comporta ancora una perdita di dati di migliaia di file e gigabyte. In genere, le applicazioni in esecuzione nell'origine sono già a tolleranza di questi errori, nel qual caso non è necessaria una convalida aggiuntiva. In alcuni scenari eccezionali (ad esempio, archiviazione a lungo termine), è necessaria una maggiore convalida prima che sia considerato sicuro eliminare i dati dall'origine.

A seconda dei requisiti dell'applicazione, ti consigliamo di eseguire alcuni test di integrità dei dati dopo il completamento del trasferimento per assicurarti che l'applicazione continui a funzionare come previsto. Molti prodotti trasferiti sono dotati di controlli di integrità dei dati integrati. Tuttavia, a seconda del profilo di rischio, potresti voler eseguire un ulteriore set di controlli sui dati e sulle app che li leggono prima di eliminare i dati dall'origine. Ad esempio, potresti verificare se un checksum che hai registrato e calcolato corrisponde in modo indipendente ai dati scritti nella destinazione oppure che un set di dati utilizzato dall'applicazione è stato trasferito correttamente.

Trovare assistenza

Google Cloud offre varie opzioni e risorse per trovare l'assistenza e l'assistenza necessarie per utilizzare al meglio i servizi Google Cloud:

  • Risorse self-service. Se non hai bisogno di assistenza dedicata, hai a disposizione diverse opzioni che puoi utilizzare secondo i tuoi tempi.
  • Partner tecnologici. Google Cloud ha collaborato con diverse società per aiutarti a utilizzare i nostri prodotti e servizi.
  • Servizi professionali di Google Cloud. I nostri servizi professionali possono aiutarti a ottenere il massimo dal tuo investimento in Google Cloud.

Sono disponibili altre risorse per aiutare a eseguire la migrazione dei carichi di lavoro in Google Cloud nel Google Cloud Migration Center.

Per ulteriori informazioni su queste risorse, consulta la sezione di assistenza su Migrazione a Google Cloud: guida introduttiva.

Passaggi successivi