Il flusso di processo ELT sfrutta la potenza e la scalabilità delle moderne piattaforme di archiviazione ed elaborazione dei dati. Analizziamo ogni componente:

• Estrazione: questo passaggio iniziale prevede la raccolta dei dati non elaborati dalle origini originali. Queste origini possono essere incredibilmente diverse, ad esempio database (SQL e NoSQL), applicazioni aziendali (come CRM ed ERP), piattaforme SaaS, API e file di log. Il processo di estrazione si concentra sull'estrapolare i dati da questi sistemi in modo efficiente.
• Caricamento: nel secondo passaggio, i dati non elaborati estratti vengono caricati, spesso nel loro formato originale o con un'elaborazione minima, direttamente in un sistema di archiviazione ad alta capacità. Gli obiettivi comuni per questi dati non elaborati sono i data lake cloud o i moderni data warehouse su cloud in grado di gestire grandi volumi di dati strutturati, semistrutturati e non strutturati.
• Trasformazione: questo passaggio finale avviene dopo che i dati sono stati archiviati in modo sicuro nel sistema di destinazione. Utilizzando la potenza di calcolo del data warehouse o del data lake, i dati non elaborati vengono puliti, strutturati, arricchiti e convertiti in un formato adatto per analisi, reporting e machine learning. Le trasformazioni possono includere filtraggio, unione, aggregazione, standardizzazione dei formati e derivazione di nuovi punti dati.

Il processo ELT offre flessibilità perché le trasformazioni non vengono eseguite prima del caricamento. I data scientist, ad esempio, possono accedere ai dati non elaborati per esplorare pattern imprevisti o condurre analisi ad hoc, mentre i team di business intelligence possono creare set di dati selezionati e trasformati per i report.

L'approccio ELT offre diversi potenziali vantaggi, in particolare negli ambienti che gestiscono grandi volumi di dati e diversi tipi di dati:

• Importazione dei dati più rapida: il caricamento dei dati non elaborati nel sistema di destinazione è generalmente più rapido rispetto all'attesa del completamento delle trasformazioni in un'area di gestione temporanea. Ciò significa che i dati possono diventare disponibili per l'esplorazione iniziale o casi d'uso specifici molto prima.
• Flessibilità e agilità: poiché i dati non elaborati vengono conservati nel sistema di destinazione, le trasformazioni possono essere sviluppate, modificate o aggiunte in modo iterativo man mano che i requisiti aziendali si evolvono. Non è necessario importare nuovamente i dati dagli stessi sistemi se cambia la logica di trasformazione: basta eseguire di nuovo la trasformazione sui dati non elaborati già caricati.
• Scalabilità: i moderni data warehouse su cloud e data lake sono progettati per una scalabilità elevata. ELT sfrutta questa capacità intrinseca eseguendo le trasformazioni utilizzando i potenti motori di elaborazione di questi sistemi di destinazione. Ciò consente alle organizzazioni di gestire in modo efficiente i crescenti volumi di dati e le trasformazioni complesse.
• Conservazione dei dati non elaborati: l'archiviazione dei dati non elaborati consente di avere un record storico più completo. Questo può essere di grande valore per il controllo dei dati, la rielaborazione se vengono rilevati errori nelle trasformazioni precedenti o per esigenze di analisi future non ancora previste. I data scientist spesso traggono vantaggio dall'accesso ai dati più granulari e non trasformati.
• Efficienza in termini di costi per determinati carichi di lavoro: l'utilizzo della potenza di calcolo di un data warehouse su cloud per le trasformazioni a volte può essere più conveniente rispetto alla gestione di un'infrastruttura separata o alla concessione in licenza di strumenti ETL specializzati per le trasformazioni, soprattutto quando il data warehouse offre un'elaborazione ottimizzata.
• Supporto per diversi tipi di dati: ELT può essere adatto per la gestione di dati strutturati, semistrutturati (come JSON o XML) e non strutturati (come testo o immagini). I dati possono essere caricati nel loro formato nativo e trasformati secondo necessità, il che può essere un vantaggio significativo negli scenari di big data. Questo approccio "schema-on-read", in cui la struttura viene applicata durante l'elaborazione anziché prima del caricamento, è un tratto distintivo di ELT.

Sebbene ELT offra diversi vantaggi, può anche presentare alcune considerazioni che le organizzazioni dovrebbero cercare di affrontare:

• Governance e sicurezza dei dati: il caricamento di dati non elaborati, che potrebbero contenere informazioni sensibili o che consentono l'identificazione personale (PII), in un data lake o in un data warehouse, richiede solide misure di governance, sicurezza e conformità dei dati. I controlli di accesso, la crittografia e le tecniche di mascheramento dei dati sono fondamentali per proteggere questi dati all'interno dell'ambiente di destinazione.
• Complessità della trasformazione all'interno del sistema di destinazione: sebbene potente, la gestione di una logica di trasformazione complessa direttamente all'interno di un data warehouse (ad esempio, utilizzando SQL) o data lake può diventare impegnativa. Richiede personale qualificato esperto di questi strumenti e un approccio disciplinato alla gestione e all'ottimizzazione del codice.
• Strumenti e orchestrazione: un'implementazione ELT efficace si basa su strumenti adeguati per l'orchestrazione delle fasi di estrazione e caricamento e per la gestione e l'esecuzione delle trasformazioni all'interno del sistema di destinazione. Sebbene molte piattaforme cloud offrano strumenti, la loro integrazione e la gestione del flusso di lavoro complessivo richiedono un'attenta pianificazione.
• Potenziale rischio di "paludi di dati": se i dati non elaborati caricati in un data lake non vengono catalogati, gestiti e sottoposti a governance in modo adeguato, il data lake può trasformarsi in una "palude di dati" in cui è difficile trovare, verificare o utilizzare i dati in modo efficace. Una solida strategia di gestione dei dati è fondamentale.
• Responsabilità per la qualità dei dati: poiché le trasformazioni avvengono più avanti nel processo, garantire la qualità dei dati potrebbe richiedere passaggi dedicati post-caricamento. Il monitoraggio e la convalida dei dati all'interno del sistema di destinazione diventano importanti.

Affrontare queste sfide in modo proattivo può aiutare le organizzazioni a sfruttare appieno i vantaggi del paradigma ELT.

Comprendere la distinzione tra ELT e il più tradizionale processo ETL (estrazione, trasformazione, caricamento) è importante per scegliere la giusta strategia di integrazione dei dati. La differenza principale sta nel momento in cui si verifica la fase di trasformazione e dove viene eseguita.

ELT è il modello consigliato da Google Cloud per l'integrazione dei dati. ELT prevede l'estrazione dei dati dagli ambienti di origine, il loro caricamento in BigQuery e la successiva trasformazione nel formato desiderato per l'analisi. A differenza dell'approccio ETL (Extract, Transform, Load), che prevede la trasformazione dei dati prima del loro caricamento in un data warehouse, l'approccio ELT consente di sfruttare tutta la potenza di BigQuery per eseguire le trasformazioni dei dati e consente a qualsiasi utente SQL di sviluppare in modo efficace pipeline di integrazione dei dati.

La scelta tra ELT ed ETL dipende spesso da casi d'uso specifici, dall'infrastruttura esistente, dai volumi di dati e dalle esigenze analitiche dell'organizzazione. In molte architetture dati moderne, può essere utilizzato anche un approccio ibrido, che utilizza sia ELT che ETL per parti diverse della pipeline.