Un data lakehouse utilise le même service de stockage d'objets cloud économique que les lacs de données afin de fournir un stockage à la demande et évolutif pour d'énormes volumes de données brutes. Il intègre ensuite des couches de métadonnées dans ce magasin pour fournir des performances et une optimisation de type entrepôt.

L'architecture se compose de trois couches principales :

• Couche de stockage : store d'objets à faible coût pour tous les ensembles de données brutes, découplé des ressources de calcul pour permettre un scaling indépendant
• Couche de préparation : couche de métadonnées qui fournit un catalogue détaillé et applique des fonctionnalités de gestion telles que l'indexation, la mise en cache et le contrôle des accès
• Couche sémantique : couche orientée utilisateur où les applications clientes, les outils d'analyse et les data scientists accèdent aux données pour les tests et la présentation de l'informatique décisionnelle

Pour les data scientists, l'architecture data lakehouse est un élément essentiel pour l'analyse de données basée sur l'IA et le machine learning.

• Haute évolutivité : le calcul et le stockage découplés offrent une évolutivité quasi illimitée et instantanée pour l'entraînement de modèles à grande échelle.
• Prise en charge de charges de travail variées : les data scientists peuvent connecter des frameworks d'IA, des moteurs SQL et des outils d'exploration directement au même dépôt.
• Amélioration de la qualité des données : les schémas et l'intégrité des données appliqués garantissent que les modèles de ML sont entraînés sur des données fiables, cohérentes et actualisées.
• Gouvernance unifiée  : la gestion centralisée facilite l'implémentation de contrôles de sécurité sur les ensembles de données utilisés pour l'informatique décisionnelle et l'IA.

L'approche de Google Cloud repose sur une architecture ouverte, gérée et hautes performances qui exploite le meilleur des normes Open Source et de la technologie sans serveur. 

Apache Iceberg transforme les lakehouses en apportant des fonctionnalités d'entrepôt de données, comme la fonctionnalité temporelle et l'évolution du schéma, directement aux lacs de données.  Google Cloud Lakehouse permet un stockage, une gouvernance et des performances d'entreprise pour créer des cas d'utilisation d'IA analytiques, opérationnels et en temps réel évolutifs sur un lakehouse ouvert unifié, multicloud et multimodal. Vous pouvez ainsi exploiter des moteurs Open Source directement dans Cloud Storage, tout en évitant la dépendance vis-à-vis d'un fournisseur.

Accédez aux données à haut débit et avec une faible latence, où que vous soyez. La fédération de catalogues multicloud unifie la découverte et l'analyse dans différents écosystèmes.

BigQuery est la plate-forme de données autonome de Google pour l'IA, sans serveur. Il automatise l'ensemble du cycle de vie des données et peut interroger directement les tables Iceberg dans Cloud Storage, ce qui permet aux utilisateurs d'exploiter de puissantes analyses SQL sur des données gérées sans avoir à les déplacer.

Knowledge Catalog offre une gouvernance unifiée et une gestion des métadonnées optimisée par l'IA dans l'ensemble de vos lakehouses. Il garantit une sémantique cohérente pour les analystes de données et les agents d'IA, en décloisonnant les métadonnées métier et techniques.

Avec Managed Service pour Apache Spark, les ingénieurs et les scientifiques des données peuvent développer des applications dans des outils familiers comme les notebooks BigQuery Studio. Vous pouvez envoyer des jobs avec une seule commande, sans avoir à créer, configurer ni gérer de clusters.