Una data lakehouse utilizza l'archiviazione di oggetti cloud a basso costo dei data lake per fornire un'archiviazione scalabile on demand per enormi volumi di dati nella loro forma non elaborata. Quindi integra livelli di metadati su questo archivio per fornire prestazioni e ottimizzazione simili a quelle di un warehouse.

L'architettura è composta da tre strati principali:

• Livello di archiviazione: un archivio di oggetti a basso costo per tutti i set di dati non elaborati, disaccoppiato dalle risorse di calcolo per consentire la scalabilità indipendente
• Livello di gestione temporanea: un livello di metadati che fornisce un catalogo dettagliato, applicando funzionalità di gestione come indicizzazione, memorizzazione nella cache e controllo dell'accesso
• Livello semantico: il livello rivolto all'utente in cui le app client, gli strumenti di analisi e i data scientist accedono ai dati per la sperimentazione e la presentazione di BI

Per i data scientist, l'architettura data lakehouse è un fattore abilitante fondamentale per l'analisi dei dati AI e il machine learning.

• Scalabilità elevata: il calcolo e l'archiviazione disaccoppiati forniscono una scalabilità quasi illimitata e istantanea per l'addestramento di modelli su larga scala
• Supporto per diversi carichi di lavoro: i data scientist possono connettere framework di AI, motori SQL e strumenti esplorativi direttamente allo stesso repository
• Miglioramento della qualità dei dati: gli schemi applicati e l'integrità dei dati garantiscono che i modelli ML vengano addestrati su dati affidabili, coerenti e aggiornati
• Governance unificata: la gestione centralizzata semplifica l'implementazione di controlli di sicurezza su set di dati utilizzati sia per la BI che per l'AI

L'approccio di Google Cloud si concentra su un'architettura aperta, gestita e ad alte prestazioni che sfrutta il meglio degli standard open source e della tecnologia serverless. 

Apache Iceberg sta cambiando i lakehouse portando funzionalità di data warehouse come lo spostamento cronologico e l'evoluzione dello schema direttamente nei data lake.  Google Cloud Lakehouse consente l'archiviazione, la governance e le prestazioni di livello aziendale per creare casi d'uso scalabili di AI analitica, operativa e in tempo reale su un lakehouse aperto unificato, cross-cloud e multimodale. Ciò consente di sfruttare i motori open source direttamente su Cloud Storage evitando il blocco del fornitore.

Ottieni un accesso ai dati ad alta velocità e bassa latenza, indipendentemente dalla posizione. La federazione del catalogo tra cloud unifica la scoperta e l'analisi in ecosistemi diversi.

BigQuery è la piattaforma autonoma serverless data-to-AI di Google. Automatizza l'intero ciclo di vita dei dati ed è in grado di eseguire query direttamente sulle tabelle Iceberg in Cloud Storage, consentendo agli utenti di sfruttare potenti analisi SQL sui dati gestiti senza la necessità di spostare i dati 

Knowledge Catalog fornisce una governance unificata e una gestione dei metadati basata sull'AI in tutte le tue lakehouse. Garantisce una semantica coerente sia per gli analisti di dati che per gli agenti di AI, abbattendo i silo tra metadati aziendali e tecnici.

Con Managed Service for Apache Spark, i data engineer e i data scientist possono sviluppare applicazioni in strumenti familiari come i blocchi note di BigQuery Studio. Puoi inviare job con un singolo comando senza dover creare, configurare o gestire cluster.