Ein Data Lakehouse nutzt den kostengünstigen Cloud-Objektspeicher von Data Lakes, um bedarfsgerechten, skalierbaren Speicher für riesige Datenmengen im Rohformat bereitzustellen. Anschließend werden Metadatenebenen in diesen Speicher eingebunden, um eine Warehouse-ähnliche Leistung und Optimierung zu ermöglichen.

Die Architektur besteht aus drei Hauptebenen:

• Speicherebene: Ein kostengünstiger Objektspeicher für alle Rohdaten-Sets, der von den Rechenressourcen entkoppelt ist, um eine unabhängige Skalierung zu ermöglichen
• Staging-Ebene: Eine Metadatenebene, die einen detaillierten Katalog bereitstellt und Verwaltungsfunktionen wie Indizierung, Caching und Zugriffssteuerung anwendet
• Semantische Ebene: Die nutzerorientierte Ebene, auf der Client-Apps, Analysetools und Data Scientists auf Daten zugreifen, um Experimente durchzuführen und BI-Präsentationen zu erstellen

Für Data Scientists ist die Data Lakehouse-Architektur ein wichtiger Faktor für KI-Datenanalysen und Machine Learning.

• Hohe Skalierbarkeit: Durch die Entkopplung von Rechenleistung und Speicherplatz ist eine nahezu unbegrenzte und sofortige Skalierbarkeit für das Training umfangreicher Modelle möglich.
• Unterstützung verschiedener Arbeitslasten: Data Scientists können KI-Frameworks, SQL-Engines und explorative Tools direkt mit demselben Repository verbinden.
• Höhere Datenqualität: Durchgesetzte Schemas und Datenintegrität sorgen dafür, dass ML-Modelle mit vertrauenswürdigen, konsistenten und aktuellen Daten trainiert werden.
• Einheitliche Governance: Die zentrale Verwaltung erleichtert die Implementierung von Sicherheitskontrollen für Datasets, die sowohl für BI als auch für KI verwendet werden.

Der Ansatz von Google Cloud basiert auf einer offenen, verwalteten und leistungsstarken Architektur, die die besten Open-Source-Standards und serverlose Technologie nutzt. 

Apache Iceberg verändert Lakehouses, indem es Warehouse-Funktionen wie Zeitreisen und Schema-Weiterentwicklung direkt in Data Lakes einbringt.  Google Cloud Lakehouse ermöglicht Unternehmen die Speicherung, Governance und Leistung, um skalierbare analytische, operative und Echtzeit-KI-Anwendungsfälle auf einem einheitlichen, cloudübergreifenden und multimodalen offenen Lakehouse zu entwickeln. So können Sie Open-Source-Engines direkt in Cloud Storage nutzen und vermeiden eine Bindung an einen bestimmten Anbieter.

Sie erhalten unabhängig vom Standort schnellen Datenzugriff mit geringer Latenz. Die cloudübergreifende Katalogföderation vereinheitlicht die Suche und Analyse in verschiedenen Ökosystemen.

BigQuery ist die serverlose, autonome Data-to-AI-Plattform von Google. Der gesamte Datenlebenszyklus wird automatisiert und Iceberg-Tabellen in Cloud Storage können direkt abgefragt werden. So können Nutzer leistungsstarke SQL-Analysen für verwaltete Daten nutzen, ohne dass Daten verschoben werden müssen. 

Knowledge Catalog bietet eine einheitliche Governance und KI-gestützte Metadatenverwaltung für alle Ihre Lakehouses. Es sorgt für eine konsistente Semantik sowohl für Datenanalysten als auch für KI-Agents und baut so Silos zwischen geschäftlichen und technischen Metadaten ab.

Mit Managed Service for Apache Spark können Data Engineers und Data Scientists Anwendungen in vertrauten Tools wie BigQuery Studio-Notebooks entwickeln. Sie können Jobs mit einem einzigen Befehl senden, ohne Cluster erstellen, konfigurieren oder verwalten zu müssen.