Panoramica: eseguire la migrazione dei data warehouse in BigQuery

Questo documento illustra i concetti generali applicabili a qualsiasi tecnologia di data warehousing e descrive un framework che puoi utilizzare per organizzare e strutturare la migrazione in BigQuery.

Terminologia

Quando parliamo della migrazione del data warehouse, utilizziamo la seguente terminologia:

Caso d'uso
Un caso d'uso è costituito da tutte le i set di dati, l'elaborazione dati e le interazioni tra utenti e sistema, per ottenere valore aziendale, ad esempio monitorando i volumi di vendita di un prodotto nel tempo. Nel data warehousing, il caso d'uso spesso consiste in:
  • Data pipelines che importano dati non elaborati da varie origini dati, come un database di gestione dei rapporti con i clienti (CRM).
  • I dati archiviati nel data warehouse.
  • Script e procedure per manipolare, elaborare e analizzare ulteriormente e i dati di Google Cloud.
  • Un'applicazione aziendale che legge o interagisce con i dati.
Carico di lavoro
Un insieme di casi d'uso che sono connessi e con dipendenze condivise. Per Ad esempio, un caso d'uso potrebbe avere le seguenti relazioni e dipendenze:
  • I report sugli acquisti sono autonomi e sono utili per comprendere spese e la richiesta di sconti.
  • I report sulle vendite possono essere utilizzati da soli ed sono utili per pianificare le attività di marketing campagne.
  • La registrazione dei profitti e delle perdite, tuttavia, dipende sia dagli acquisti che vendite ed è utile per determinarne il valore.
Applicazione aziendale
Un sistema con cui gli utenti finali interagiscono, ad esempio un report visivo o Fitbit.com. Un'applicazione aziendale può anche assumere la forma di un pipeline di dati o ciclo di feedback. Ad esempio, dopo le variazioni di prezzo dei prodotti calcolati o previsti, una pipeline di dati operativi potrebbe aggiornarsi i nuovi prezzi dei prodotti in un database transazionale.
Processo upstream
I sistemi di origine e le pipeline di dati che caricano i dati nei dati warehouse.
Processo downstream
Gli script, le procedure e le applicazioni aziendali utilizzati per elaborare, eseguire query e visualizzare i dati nel data warehouse.
Trasferisci migrazione
Una strategia di migrazione che mira a far funzionare il caso d'uso per il per l'utente finale nel nuovo ambiente il più rapidamente possibile o sfruttare di capacità aggiuntiva disponibile nel nuovo ambiente. I casi d'uso vengono scaricati nel seguente modo:
  • Copia e poi sincronizza lo schema e i dati di quelli legacy warehouse.
  • Migrazione di script, procedure e business downstream diverse applicazioni.

L'offload della migrazione può aumentare la complessità e il lavoro necessario durante la migrazione delle pipeline di dati.

Migrazione completa
Un approccio alla migrazione simile a una migrazione con offload, ma invece di copiare e sincronizzare lo schema e i dati, configurare la migrazione per importare i dati direttamente nei nuovi dati nel cloud dai sistemi di origine upstream. In altre parole, i dati viene eseguita la migrazione anche delle pipeline richieste per il caso d'uso.
Data warehouse aziendale (EDW)
Un data warehouse composto non solo da un database analitico, diverse procedure e componenti analitici critici. Questi includono dati pipeline, query e applicazioni aziendali necessarie per per soddisfare i carichi di lavoro dell'organizzazione.
Data warehouse su cloud (CDW)
Un data warehouse che ha le stesse caratteristiche di un EDW, ma viene eseguito su completamente gestito nel cloud, in questo caso in BigQuery.
Pipeline di dati
Un processo che collega i sistemi di dati tramite una serie di funzioni e attività che eseguono vari tipi di trasformazione dei dati. Per maggiori dettagli, vedi Che cos'è una pipeline di dati? di questa serie.

Perché eseguire la migrazione a BigQuery?

Negli ultimi decenni, le organizzazioni hanno padroneggiato la scienza dei dati di immagazzinaggio. Hanno applicato sempre più analisi descrittive alle di grandi quantità di dati archiviati, ottenendo insight sulle loro operazioni aziendali principali. Business intelligence convenzionale (BI), che si concentra su query, report, e Elaborazione analitica online, potrebbe essere stato un fattore di differenziazione in passato, un'azienda, ma non è più sufficiente.

Oggi, le organizzazioni non solo devono comprendere gli eventi passati usando Analytics, hanno bisogno analisi predittiva, che spesso utilizza il machine learning (ML) per estrarre pattern di dati e affermazioni probabilistiche sul futuro. L'obiettivo finale è sviluppare analisi prescrittiva che combinano lezioni del passato con previsioni sul futuro, che guidano automaticamente le azioni in tempo reale.

Le pratiche di data warehouse tradizionali acquisiscono dati non elaborati da varie origini, che spesso sono l'elaborazione transazionale online (OLTP). sistemi diversi. Quindi, un sottoinsieme di dati viene estratto in batch, trasformati in base a una schema definito e caricato nel data warehouse. Poiché i dati tradizionali I warehouse acquisiscono un sottoinsieme di dati in batch e archiviano i dati in base rigidi, non sono adatti alla gestione di analisi in tempo reale rispondere a domande spontanee. BigQuery progettato da Google in parte in risposta a queste limitazioni intrinseche.

Le idee innovative sono spesso rallentate dalle dimensioni e dalla complessità del che implementa e mantiene questi dati tradizionali di container. Possono essere necessari anni e investimenti sostanziali per creare un un'architettura di data warehouse sicura e a disponibilità elevata. BigQuery offre sofisticate SaaS (Software as a Service) che può essere utilizzata per le operazioni di data warehouse serverless. Questo ti consente di concentrarti sul miglioramento del tuo core business mentre delega la manutenzione dell'infrastruttura e lo sviluppo della piattaforma in Google Cloud.

BigQuery offre accesso ad archiviazione, elaborazione, scalabili, flessibili ed economici. Questi sono essenziali quando i volumi di dati sono in crescita in modo esponenziale, per rendere le risorse di archiviazione necessarie, oltre che per ottenere valore dai dati. Inoltre, per le organizzazioni che hanno appena iniziato con l'analisi dei big data e il machine learning. vuoi evitare le potenziali complessità dei sistemi di big data on-premise BigQuery offre un metodo di pagamento a consumo per sperimentare le funzionalità i servizi di machine learning.

Con BigQuery, puoi trovare risposte a domande risolvere problemi, applicare il machine learning per scoprire pattern di dati emergenti e testare nuove ipotesi. Di conseguenza, avrai a disposizione informazioni tempestive sul modo in cui la tua attività che consentono di modificare i processi per ottenere risultati migliori. Nel Inoltre, l'esperienza dell'utente finale è spesso arricchita da approfondimenti pertinenti derivanti dall'analisi dei big data, come spiegheremo più avanti in questa serie.

Cosa e come eseguire la migrazione: framework per la migrazione

Intraprendere una migrazione può essere un compito complesso e lungo. Pertanto, consigliamo di aderire a un framework per organizzare e strutturare il lavoro di migrazione in fasi:

  1. Preparati e scopri: preparati per la migrazione con carico di lavoro e caso d'uso scoperta.
  2. Pianificare: dare priorità ai casi d'uso, definire le misure il successo e pianifica la migrazione.
  3. Esecuzione: ripeti i passaggi per la migrazione, dalla valutazione alla dei dati.

Prepara e scopri

Nella fase iniziale, l'attenzione è rivolta alla preparazione e alla scoperta. Si tratta di offrendo a voi e agli stakeholder un'opportunità tempestiva per scoprire i casi d'uso esistenti e sollevare le preoccupazioni iniziali. È importante anche condurre un'analisi iniziale dei vantaggi attesi. Sono incluse le prestazioni (ad es. maggiore contemporaneità) e diminuzioni delle costo totale di proprietà (TCO). Questa fase è fondamentale per stabilire il valore migrazione.

Un data warehouse in genere supporta un'ampia gamma di casi d'uso e ha una numero di stakeholder, dagli analisti di dati ai responsabili delle decisioni aziendali. Me consigliamo di coinvolgere rappresentanti di questi gruppi per ottenere una comprendere quali casi d'uso esistono, se hanno un buon rendimento e se gli stakeholder stanno pianificando nuovi casi d'uso.

Il processo della fase di rilevamento prevede le seguenti attività:

  1. Esamina la proposta di valore di BigQuery e confrontala a quello del tuo data warehouse legacy.
  2. Eseguire un'analisi iniziale del TCO.
  3. Stabilisci quali casi d'uso sono interessati dalla migrazione.
  4. Modellare le caratteristiche dei set di dati e delle pipeline di dati sottostanti di cui vuoi eseguire la migrazione per identificare le dipendenze.

Per avere informazioni approfondite sui casi d'uso, puoi sviluppare un questionario per raccogliere le informazioni fornite da esperti della materia (PMI), utenti finali le parti interessate. Il questionario deve contenere le seguenti informazioni:

  • Qual è l'obiettivo del caso d'uso? Qual è il valore aziendale?
  • Quali sono i requisiti non funzionali? Aggiornamento dei dati in parallelo utilizzo e così via.
  • Il caso d'uso fa parte di un carico di lavoro più grande? Dipende da altri usi casi?
  • Quali set di dati, tabelle e schemi sono alla base del caso d'uso?
  • Cosa sai delle pipeline di dati che alimentano questi set di dati?
  • Quali strumenti di BI, report e dashboard vengono attualmente utilizzati?
  • Quali sono gli attuali requisiti tecnici in merito alle esigenze operative, le prestazioni, l'autenticazione e la larghezza di banda della rete?

Il seguente diagramma mostra un'architettura precedente di alto livello prima del migrazione. Illustra il catalogo delle origini dati disponibili, dei dati legacy pipeline, pipeline operative legacy, cicli di feedback e BI legacy ai report e alle dashboard a cui accedono i tuoi utenti finali.

Data warehouse legacy, con origini dati (vendite, marketing, produzione, budget e così via) che vengono inserite nel data warehouse. Le dashboard e i report BI sono processi downstream.

Piano

La fase di pianificazione prevede l'utilizzo dell'input di preparazione e scoperta, valutando l'input e quindi utilizzandolo per la migrazione. Questa fase può essere suddivisa: attività:

  1. Catalogo e priorità dei casi d'uso

    Ti consigliamo di suddividere il processo di migrazione in iterazioni. Cataloga i casi d'uso esistenti e quelli nuovi e assegna loro una priorità. Per vedi i dettagli. Eseguire la migrazione con un approccio iterativo e Dare priorità ai casi d'uso sezioni di questo documento.

  2. Definire le misure di successo

    È utile definire misure chiare per il successo, indicatori chiave di prestazione (KPI); prima della migrazione. Le misure che hai adottato ti permetteranno di valutare il successo della migrazione a ogni iterazione. Questo ti consente di miglioramenti al processo di migrazione nelle iterazioni successive.

  3. Crea una definizione di "fine"

    Nel caso di migrazioni complesse, non è necessariamente ovvio quando sono ha completato la migrazione di un determinato caso d'uso. Pertanto, occorre delineare un modello lo stato finale che desideri. Questa definizione deve essere generica da poter applicare a tutti i casi d'uso di cui vuoi eseguire la migrazione. La definizione deve fungere da insieme di criteri minimi da prendere in considerazione per eseguire la migrazione completa del caso d'uso. Questa definizione in genere include punti di controllo per assicurarci che il caso d'uso sia stato integrato, testato e documentato.

  4. Progettare e proporre un proof of concept (POC), uno stato a breve termine e stato finale ideale

    Dopo aver dato priorità ai tuoi casi d'uso, puoi iniziare a pensare a questi durante l'intero periodo della migrazione. Considera il primo caso d'uso migrazione come proof of concept (PDC) per convalidare la migrazione iniziale l'importanza di un approccio umile. Rifletti su ciò che è possibile ottenere nelle prime settimane o nei mesi precedenti a breve termine. In che modo i tuoi piani di migrazione influenzeranno gli utenti? L'azienda avrà una soluzione ibrida? Potete eseguire la migrazione dell'intero progetto? carico di lavoro per un sottoinsieme di utenti?

  5. Creare stime di tempi e costi

    Per garantire il successo del progetto di migrazione, è importante generare stime di tempo realistiche. Per raggiungere questo obiettivo, interagisci con tutti i agli stakeholder di discutere la loro disponibilità e durante tutto il progetto. Questo ti aiuterà a stimare i costi di manodopera in modo più accurato. per stimare i costi relativi alla risorsa cloud prevista il consumo medio, vedi Stima dei costi di archiviazione e query e Introduzione al controllo dei costi di BigQuery nella documentazione di BigQuery.

  6. Identificare e coinvolgere un partner per la migrazione

    La documentazione di BigQuery descrive molti strumenti e risorse che puoi utilizzare per eseguire la migrazione. Tuttavia, può essere difficile eseguire autonomamente una migrazione complessa e di grandi dimensioni se non disponi di esperienza o non hai tutte le competenze tecniche necessarie all'interno del tuo dell'organizzazione. Pertanto, consigliamo di identificare fin dall'inizio contattare un partner per la migrazione. Per ulteriori dettagli, consulta partner globale e servizio di consulenza programmi.

Esegui la migrazione con un approccio iterativo

Quando si esegue la migrazione di un'operazione di data warehousing di grandi dimensioni nel cloud, idea di adottare un approccio iterativo. Ti consigliamo quindi di applicare la transizione a BigQuery in iterazioni. Dividere la migrazione l'impegno nelle iterazioni semplifica il processo complessivo, riduce i rischi e offre opportunità di apprendimento e miglioramento dopo ogni iterazione.

Un'iterazione è composta da tutti i lavoro necessario per eseguire l'offload o la migrazione completa di uno o più casi d'uso entro un determinato periodo di tempo. Puoi pensare a un'iterazione come a ciclo di sprint nella metodologia agile, composta da uno o più storie utente.

Per praticità e facilità di monitoraggio, puoi valutare l'associazione di un caso d'uso individuale con una o più storie utente. Ad esempio, considera seguente storia utente: "Come analista dei prezzi, voglio analizzare il prezzo del prodotto variazioni rispetto all'ultimo anno in modo da poter calcolare i prezzi futuri."

Il caso d'uso corrispondente potrebbe essere:

  • Importazione dei dati da un database transazionale in cui vengono archiviati i prodotti e prezzi.
  • Trasformare i dati in un'unica serie temporale per ogni prodotto e inserendo eventuali valori mancanti.
  • Archiviazione dei risultati in una o più tabelle nel data warehouse.
  • Rendendo i risultati disponibili tramite un blocco note Python (il applicazione aziendale).

Il valore aziendale di questo caso d'uso consiste nel supportare l'analisi dei prezzi.

Come nella maggior parte dei casi d'uso, questo caso d'uso probabilmente supporterà storie.

Un caso d'uso scaricato sarà probabilmente seguito da una successiva iterazione eseguire la migrazione completa del caso d'uso. In caso contrario, potresti comunque avere una dipendenza un data warehouse legacy esistente, perché i dati vengono copiati da lì. La la successiva migrazione completa è il delta tra l'offload e una migrazione completa che non è stata preceduta da un offload, cioè la migrazione pipeline di dati per estrarre, trasformare e caricare i dati nei dati warehouse.

Priorità ai casi d'uso

L'inizio e la fine della migrazione dipendono dalle esigenze aziendali specifiche. Decidere l'ordine in cui eseguire la migrazione dei casi d'uso è importante perché il successo durante una migrazione è fondamentale per continuare il percorso di adozione del cloud. Un fallimento in una fase iniziale può costituire un grave impedimento dall'impegno complessivo per la migrazione. Potresti essere d'accordo con i vantaggi della Google Cloud e BigQuery, ma elaborare tutti i dati set di dati e pipeline di dati creati o gestiti nella per diversi casi d'uso può essere complicato e richiedere molto tempo.

Anche se non esiste una risposta valida per tutti, esistono delle best practice che per valutare i casi d'uso e le applicazioni aziendali on-premise. Questo tipo di pianificazione anticipata può semplificare il processo di migrazione l'intera transizione a BigQuery.

Le seguenti sezioni esplorano i possibili approcci per dare priorità all'utilizzo d'uso diversi.

Approccio: sfruttare le opportunità attuali

Esamina le opportunità attuali che potrebbero aiutarti a massimizzare il ritorno per un caso d'uso specifico. Questo approccio è particolarmente utile sotto pressione per giustificare il valore aziendale della migrazione al cloud. Inoltre, offre l'opportunità di raccogliere ulteriori punti dati per aiutare a valutare il totale costi di migrazione.

Ecco alcuni esempi di domande da porsi per identificare i casi d'uso a cui dai priorità:

  • Il caso d'uso consiste in set di dati o pipeline di dati che attualmente limitata dal data warehouse aziendale legacy?
  • Il data warehouse aziendale esistente richiede un aggiornamento hardware, o prevedi la necessità di ampliare il tuo hardware? In tal caso, è utile trasferire i casi d'uso in BigQuery prima rispetto a quella successiva.

Identificare le opportunità di migrazione consente di ottenere rapidamente risultati vantaggi tangibili e immediati per gli utenti e l'attività.

Approccio: prima la migrazione dei carichi di lavoro analitici

Esegui la migrazione dell'elaborazione analitica online (OLAP) carichi di lavoro prima dell'elaborazione delle transazioni online (OLTP) carichi di lavoro con scale out impegnativi. Un data warehouse è spesso l'unico luogo dell'organizzazione in cui tutti i dati necessari per creare un'unica vista globale operations. È quindi comune per le organizzazioni avere alcune pipeline di dati che confluiscono nei sistemi transazionali per aggiornare lo stato o attivare ad esempio per acquistare più articoli quando l'inventario di un prodotto è ridotto. OLTP i carichi di lavoro tendono a essere più complessi e prevedono e gli accordi sul livello del servizio (SLA) rispetto ai carichi di lavoro OLAP, pertanto tendenzialmente è più facile eseguire la migrazione dei carichi di lavoro OLAP. per prima cosa.

Approccio: attenzione all'esperienza utente

Identifica le opportunità per migliorare l'esperienza utente migrando specifiche e abilitare nuovi tipi di analisi avanzate. Ad esempio, un modo per migliorare l'esperienza utente con l'analisi in tempo reale. Puoi creare esperienze utente sofisticate relative a flusso di dati in tempo reale quando viene integrata con i dati storici. Ad esempio:

  • Un dipendente del back office ha avvisato tramite un'app mobile che le scorte sono in esaurimento.
  • Un cliente online che potrebbe trarre vantaggio dal sapere che spendere un altro a un altro livello di ricompensa.
  • Infermiera che viene avvisata dei parametri vitali di un paziente smartwatch, in modo da avere la linea d'azione migliore richiamando la cronologia del trattamento del paziente sul tablet.

Puoi anche migliorare l'esperienza utente con modelli predittivi e prescrittivi Analytics. A questo scopo, puoi utilizzare BigQuery ML, Vertex AI AutoML tabulare, o modelli preaddestrati di Google analisi delle immagini, analisi video, riconoscimento vocale, linguaggio naturale, e traduzione. In alternativa, puoi pubblicare il tuo modello con addestramento personalizzato utilizzando Vertex AI per i casi d'uso su misura per le esigenze della tua azienda. Ciò potrebbe riguardare quanto segue:

  • Consigliare un prodotto in base alle tendenze di mercato e al comportamento di acquisto degli utenti.
  • Previsione di un ritardo dei voli.
  • Rilevamento di attività fraudolente.
  • Segnalare contenuti inappropriati.
  • Altre idee innovative che potrebbero differenziare la tua app dal la concorrenza.
Approccio: dare priorità ai casi d'uso meno rischiosi

Il reparto IT può porre diverse domande per valutare quali casi d'uso i meno rischiosi per la migrazione, il che li rende i più interessanti per le prime fasi della migrazione. Ad esempio:

  • Qual è la criticità aziendale di questo caso d'uso?
  • Un numero elevato di dipendenti o clienti dipende dal caso d'uso?
  • Qual è l'ambiente di destinazione (ad esempio, sviluppo o produzione) per il caso d'uso?
  • Qual è la comprensione del caso d'uso da parte del nostro team IT?
  • Quante dipendenze e integrazioni ha il caso d'uso?
  • Il nostro team IT dispone di una documentazione adeguata, aggiornata e approfondita per il caso d'uso specifico?
  • Quali sono i requisiti operativi (SLA) per il caso d'uso?
  • Quali sono i requisiti di conformità legali o governativi per il caso d'uso?
  • Quali sono le sensibilità di tempo di inattività e latenza per accedere per il set di dati sottostante?
  • Ci sono titolari di line-of-business desiderosi e disposti a migrare il proprio utilizzo caso in anticipo?

La consultazione di questo elenco di domande può aiutarti a classificare i set di dati e i dati delle pipeline dal rischio più basso a quello più alto. È necessario eseguire prima la migrazione degli asset a basso rischio quelle a rischio più elevato dovrebbero arrivare in seguito.

Esegui

Dopo aver raccolto informazioni sui sistemi legacy e aver creato un di casi d'uso prioritari, puoi raggrupparli in carichi di lavoro procedere con la migrazione in iterazioni.

Un'iterazione può consistere in un singolo caso d'uso, alcuni casi d'uso separati o un di casi d'uso relativi a un singolo carico di lavoro. Quali di queste opzioni la scelta per l'iterazione dipende dall'interconnessione dei casi d'uso, con dipendenze condivise e le risorse a tua disposizione per al lavoro.

In genere, una migrazione prevede i seguenti passaggi:

Processo di migrazione in sette passaggi.

Questi passaggi sono descritti in modo più dettagliato nelle sezioni seguenti. Potresti non dover eseguire tutti questi passaggi in ogni iterazione. Per Ad esempio, in un'iterazione potresti decidere di concentrarti sulla copia di alcuni dati dal tuo data warehouse legacy a BigQuery. Al contrario, in una nell'iterazione successiva, puoi concentrarti sulla modifica della pipeline di importazione origine dati originale direttamente in BigQuery.

1. Configurazione e governance dei dati

La configurazione è il lavoro fondamentale necessario per abilitare i casi d'uso per l'esecuzione su Google Cloud. La configurazione può includere la configurazione Progetti Google Cloud, rete, VPC (Virtual Private Cloud) e dati la governance dell'IA. È incluso anche lo sviluppo di una buona comprensione della posizione in cui ti trovi oggi, cosa funziona e cosa no. Questo ti aiuta a comprendere i requisiti per la migrazione. Puoi utilizzare lo Funzionalità di valutazione della migrazione di BigQuery per assisterti in questo passaggio.

La governance dei dati è un solido approccio per gestire i dati durante il loro ciclo di vita, dall'acquisizione all'uso e allo smaltimento. Il tuo programma di governance dei dati in modo chiaro delinea politiche, procedure, responsabilità e controlli relativi ai dati attività. Questo programma aiuta a garantire che le informazioni vengano raccolte, gestite, utilizzate e distribuite in modo da soddisfare le esigenze dell'organizzazione all'integrità dei dati e alle sue esigenze di sicurezza. Inoltre, consente ai dipendenti di a scoprire e utilizzare i dati al massimo delle sue potenzialità.

La documentazione sulla governance dei dati ti consente comprendere la governance dei dati e i controlli di cui hai bisogno durante la migrazione da un data warehouse on-premise a BigQuery.

2. Esegui la migrazione di schema e dati

Lo schema del data warehouse definisce il modo in cui sono strutturati i dati e i relazioni tra le entità dati. Lo schema è al centro i tuoi dati progettazione e influenza molti processi, sia a monte che a valle.

Lo schema e il trasferimento di dati documentazione fornisce informazioni esaustive su come spostare i dati BigQuery e i consigli per aggiornare lo schema sfruttare appieno le funzionalità di BigQuery.

3. Traduci query

Utilizza la traduzione SQL batch per eseguire la migrazione del codice SQL in blocco traduzione SQL interattiva per tradurre query ad hoc.

Alcuni data warehouse legacy includono estensioni allo standard SQL abilitare le funzionalità per il prodotto. BigQuery non supportano queste estensioni proprietarie; è conforme alle ANSI/ISO SQL:2011 standard. Ciò significa che alcune query potrebbero comunque richiedere la gestione il refactoring se i traduttori SQL non sono in grado di interpretarli.

4. Migrazione delle applicazioni aziendali

Applicazioni aziendali può assumere molte forme, dalle dashboard alle dalle applicazioni alle pipeline di dati operativi che forniscono cicli di feedback e transazionali.

Per scoprire di più sulle opzioni di analisi quando si utilizza per BigQuery, consulta Panoramica dell'analisi di BigQuery. Questo argomento fornisce una panoramica degli strumenti di generazione dei report e di analisi che puoi utilizzare per ottenere insight interessanti dai tuoi dati.

La sezione sui cicli di feedback nella documentazione della pipeline di dati descrive come utilizzare per creare un ciclo di feedback per il provisioning dei sistemi a monte.

5. Esegui la migrazione delle pipeline di dati

Le pipeline di dati la documentazione illustra le procedure, i pattern e le tecnologie per la migrazione pipeline di dati in Google Cloud. Ti aiuta a capire una pipeline di dati, le procedure e i pattern che può utilizzare le opzioni e le tecnologie di migrazione disponibili migrazione del data warehouse.

6. Ottimizzazione del rendimento

BigQuery elabora i dati in modo efficiente, sia per aziende nell'ordine dei petabyte. Con l'aiuto di BigQuery, i tuoi dati i job di analisi dovrebbero avere un buon rendimento senza modifiche e il data warehouse. Se ti accorgi che, in determinate circostanze, le prestazioni delle query non corrisponde alle tue aspettative, Introduzione all'ottimizzazione delle prestazioni delle query per assistenza.

7. Verifica e convalida

Al termine di ogni iterazione, verifica che la migrazione del caso d'uso sia stata abbia successo verificando che:

  • La migrazione dei dati e dello schema è stata completata.
  • I problemi di governance dei dati sono stati completamente soddisfatti e testati.
  • Sono state stabilite procedure di manutenzione e monitoraggio e automazione.
  • Le query sono state tradotte correttamente.
  • Le pipeline di dati migrate funzionano come previsto.
  • Le applicazioni aziendali siano configurate correttamente per accedere all'account di cui è stata eseguita la migrazione dati e query.

Puoi iniziare a usare lo strumento di convalida dei dati, uno strumento open source lo strumento dell'interfaccia a riga di comando Python che confronta i dati dagli ambienti di origine e di destinazione per assicurarti che corrispondano. Supporta diversi tipi di connessione oltre a multilivello di convalida.

È anche una buona idea misurare l'impatto della migrazione dei casi d'uso, per ad esempio in termini di miglioramento delle prestazioni, riduzione dei costi o abilitazione di nuove a opportunità tecniche o di business. In questo modo potrai quantificare in modo più preciso il valore del ritorno sull'investimento e confrontarlo con il successo criteri per l'iterazione.

Dopo aver convalidato l'iterazione, puoi rilasciare il caso d'uso di cui è stata eseguita la migrazione produzione e concedi agli utenti l'accesso ai set di dati e alle attività diverse applicazioni.

Infine, prendi appunti e documenta le lezioni apprese da questa iterazione, in modo da puoi applicare queste lezioni nella prossima iterazione e accelerare la migrazione.

Sintesi dell'attività di migrazione

Durante la migrazione, esegui sia il data warehouse legacy BigQuery, come descritto in questo documento. Il riferimento nel diagramma seguente evidenzia che entrambi i data warehouse offrono funzionalità e percorsi simili: entrambi possono essere importati dai sistemi di origine, si integrano con le applicazioni aziendali e forniscono l'accesso richiesto all'utente. È importante sottolineare che il diagramma evidenzia anche che i dati vengono sincronizzati data warehouse su BigQuery. In questo modo i casi d'uso durante l'intera durata della migrazione.

Riepilogo del processo di migrazione.

Supponendo che il tuo intento sia eseguire la migrazione completa dal tuo data warehouse BigQuery, lo stato finale della migrazione è simile a seguenti:

Stato finale della migrazione, che mostra varie origini dati che vengono inserite in BigQuery, che a sua volta funge da origine per l'analisi dei dati.

Passaggi successivi

Scopri di più sui seguenti passaggi della migrazione del data warehouse:

Puoi anche scoprire come passare da tecnologie di data warehouse a BigQuery: