Una data lakehouse è una moderna architettura di dati che crea un'unica piattaforma combinando i vantaggi principali dei data lake (grandi repository di dati non elaborati nella loro forma originale) e dei data warehouse (set organizzati di dati strutturati). In particolare, le data lakehouse consentono alle organizzazioni di utilizzare un'archiviazione a basso costo per grandi quantità di dati non elaborati, fornendo al contempo funzioni di gestione della struttura e dei dati. 

In passato, i data warehouse e i data lake dovevano essere implementati come architetture isolate e separate per evitare di sovraccaricare i sistemi sottostanti e creare conflitti per le stesse risorse. Le aziende hanno utilizzato i data warehouse per archiviare dati strutturati per la business intelligence (BI) e il reporting e i data lake per archiviare dati non strutturati e semistrutturati per carichi di lavoro di machine learning (ML). Ma questo approccio richiedeva lo spostamento regolare dei dati tra i due sistemi separati quando i dati di entrambe le architetture dovevano essere elaborati insieme, creando complessità, costi più elevati e problemi di aggiornamento, duplicazione e coerenza dei dati. 

Le data lakehouse mirano ad abbattere questi silos e a offrire la flessibilità, la scalabilità e l'agilità necessarie per garantire che i dati generino valore per la tua azienda, piuttosto che inefficienze.

Il termine "data lakehouse" fonde due tipi di repository di dati esistenti: il data warehouse e il data lake. Quindi, quali sono esattamente le differenze tra data lakehouse, data lake e data warehouse? 

I data warehouse offrono accesso rapido ai dati e compatibilità SQL per gli utenti aziendali che hanno bisogno di generare report e insight per il processo decisionale. Tutti i dati devono passare per la fase ETL (estrazione, trasformazione, caricamento). Ciò significa che vengono ottimizzati in un formato o schema specifico, in base al caso d'uso, prima che vengano caricati per supportare query ad alte prestazioni e integrità dei dati. Tuttavia, questo approccio limita la flessibilità dell'accesso ai dati e crea costi aggiuntivi se i dati devono essere spostati per un uso futuro. 

I data lake archiviano grandi quantità di dati non strutturati e strutturati nel loro formato nativo. A differenza dei data warehouse, i dati vengono elaborati, puliti e trasformati durante l'analisi per consentire velocità di caricamento più elevate, il che li rende ideali per elaborazione di big data, machine learning o analisi predittiva. Tuttavia, richiedono competenza nella data science, il che limita il gruppo di persone che possono utilizzare i dati e, se non vengono gestiti correttamente, la qualità dei dati può peggiorare nel tempo. Inoltre, i data lake rendono più difficile ottenere query in tempo reale poiché i dati non sono elaborati, quindi potenzialmente devono comunque essere puliti, elaborati, importati e integrati prima di poter essere utilizzati. 

Una data lakehouse fonde questi due approcci per creare un'unica struttura che consente di accedere ai dati e utilizzarli per molti scopi diversi, dalla BI alla data science al machine learning. In altre parole, una data lakehouse acquisisce tutti i dati non strutturati, strutturati e semistrutturati della tua organizzazione e li archivia in uno spazio di archiviazione a basso costo, fornendo al contempo a tutti gli utenti le funzionalità per organizzare ed esplorare i dati in base alle esigenze. 

Le funzionalità principali della data lakehouse includono: 

• Un unico datastore a basso costo per tutti i tipi di dati (strutturati, non strutturati e semistrutturati) 
• Funzionalità di gestione dei dati per applicare schemi e governance dei dati, oltre a fornire processi ETL e pulizia dei dati
• Supporto delle transazioni per le proprietà ACID (atomicità, coerenza, isolamento e durabilità) per garantire la coerenza dei dati quando più utenti leggono e scrivono dati contemporaneamente 
• Formati di archiviazione standardizzati che possono essere utilizzati in più programmi software
• Streaming end-to-end per supportare l'importazione di dati in tempo reale e la generazione di insight 
• Risorse di calcolo e archiviazione separate per garantire la scalabilità per una serie diversificata di carichi di lavoro

Accesso diretto per le app BI ai dati di origine nella lakehouse per ridurre la duplicazione dei dati. 

Per far funzionare una data lakehouse, è importante considerare i suoi obiettivi. Le data lakehouse mirano a centralizzare le diverse origini dati e a semplificare gli sforzi di progettazione in modo che tutti all'interno dell'organizzazione possano essere utenti dei dati. 

Una data lakehouse utilizza la stessa archiviazione di oggetti cloud a basso costo dei data lake per fornire archiviazione on demand e semplificare il provisioning e la scalabilità. Come un data lake, è in grado di acquisire e archiviare grandi volumi di tutti i tipi di dati in formato non elaborato. La lakehouse integra livelli di metadati in questo archivio per fornire funzionalità simili a quelle di un warehouse, come schemi strutturati, supporto per transazioni ACID, governance dei dati e altre funzionalità di gestione e ottimizzazione dei dati.

Il concetto di data lakehouse è ancora relativamente nuovo, il che significa che alcune delle maggiori sfide riguardano il fatto che sia ancora in evoluzione e le best practice sono ancora in fase di definizione da parte degli early adopter. 

Inoltre, le data lakehouse sono complesse da creare da zero. Nella maggior parte dei casi, dovrai optare per una soluzione di data lakehouse pronta all'uso o utilizzare una piattaforma come Google Cloud che offre tutti i componenti necessari per supportare un'architettura lakehouse aperta.

Un'architettura di data lakehouse è composta dai seguenti livelli: 

• Livello di archiviazione: il livello di archiviazione è il livello del data lake per tutti i tuoi dati non elaborati, in genere un archivio di oggetti a basso costo per tutti i tuoi set di dati non strutturati, strutturati e semistrutturati. È disaccoppiato dalle risorse di calcolo in modo che il calcolo possa scalare in modo indipendente. 
• Livello di gestione temporanea: il livello di gestione temporanea è il livello di metadati che si trova nella parte superiore del livello del data lake. Fornisce un catalogo dettagliato su tutti gli oggetti dati archiviati, consentendoti di applicare funzionalità di gestione dei dati, come applicazione di schema, proprietà ACID, indicizzazione, memorizzazione nella cache e controllo dell'accesso.
• Livello semantico: il livello semantico, il livello lakehouse, espone tutti i tuoi dati per l'uso e qui gli utenti possono utilizzare app client e strumenti di analisi per accedere ai dati e utilizzarli per la sperimentazione e la presentazione di business intelligence. 

Esistono diversi esempi di data lakehouse, tra cui Databricks Lakehouse Platform e Amazon Redshift Spectrum. Tuttavia, poiché le tecnologie continuano a maturare e l'adozione di data lakehouse è aumentata, l'implementazione si è spostata dall'accoppiamento dei componenti di lakehouse a uno specifico data lake. 

Ad esempio, l'approccio di Google Cloud è stato quello di unificare le funzionalità di base delle operazioni sui dati aziendali, dei data lake e dei data warehouse. Questa implementazione pone l'archiviazione e la potenza di calcolo di BigQuery al centro dell'architettura di data lakehouse. Puoi quindi applicare un approccio unificato alla governance e altre funzionalità simili a un warehouse utilizzando Dataplex e Analytics Hub. 

BigQuery non è solo integrato con l'ecosistema Google Cloud, ma consente anche di utilizzare tecnologie di partner e open source per combinare il meglio delle funzionalità di lake e warehouse in un unico sistema.

Stiamo continuando a sviluppare questo approccio con il rilascio di BigLake, ora in anteprima, un motore di archiviazione unificato che semplifica l'accesso ai dati a data warehouse e data lake. Puoi applicare un controllo dell'accesso granulare e accelerare le prestazioni delle query sui dati distribuiti.