データ レイクハウスは、データレイクの低コストのクラウド オブジェクト ストレージを使用して、大量の元データをオンデマンドでスケーラブルに保存します。その後、このストアにメタデータ レイヤを統合し、ウェアハウスのようなパフォーマンスと最適化を実現します。

このアーキテクチャは、次の 3 つのコアレイヤで構成されています。

• ストレージ レイヤ: すべての元データセット用の低コストのオブジェクト ストア。コンピューティング リソースから分離されているため、独立したスケーリングが可能
• ステージング レイヤ: 詳細なカタログを提供するメタデータ レイヤ。インデックス作成、キャッシュ保存、アクセス制御などの管理機能を適用
• セマンティック レイヤ: クライアント アプリ、分析ツール、データ サイエンティストがテストや BI プレゼンテーションのためにデータにアクセスする、ユーザー向けのレイヤ

データ サイエンティストにとって、データ レイクハウス アーキテクチャは AI データ分析と機械学習に欠かせないものです。

• 高いスケーラビリティ: コンピューティングとストレージの分離により、大規模モデルのトレーニングにほぼ無制限の即時スケーラビリティを提供します
• 多様なワークロードのサポート: データ サイエンティストは、AI フレームワーク、SQL エンジン、探索ツールを同じリポジトリに直接接続できます
• データ品質の向上: スキーマとデータの完全性が適用されるため、ML モデルは信頼できる一貫性のある最新のデータでトレーニングされます
• 統合ガバナンス: 一元管理により、BI と AI の両方に使用されるデータセット全体にセキュリティ管理を簡単に実装できます

Google Cloud のアプローチは、オープンソース標準とサーバーレス テクノロジーの優れた点を活用した、オープンでマネージドな高性能アーキテクチャに重点を置いています。

Apache Iceberg は、タイムトラベルやスキーマの進化などのウェアハウス機能をデータレイクに直接もたらすことで、レイクハウスを変革しています。Google Cloud Lakehouse は、企業がストレージ、ガバナンス、パフォーマンスを確保し、統合されたクロスクラウドのマルチモーダルなオープン レイクハウス上で、スケーラブルな分析、運用、リアルタイムの AI ユースケースを構築できるようにします。これにより、ベンダー ロックインを回避しながら、オープンソース エンジンを Cloud Storage で直接活用できます。

場所を問わず、高速で低レイテンシのデータアクセスを実現します。クロスクラウド カタログ フェデレーションにより、多様なエコシステム全体で検出と分析を統合できます。

BigQuery は、データを AI につなげる Google のサーバーレス自律型プラットフォームです。データライフサイクル全体を自動化し、Cloud Storage の Iceberg テーブルを直接クエリできるため、ユーザーはデータを移動させることなく、管理対象データに対して強力な SQL 分析を活用できます。

Knowledge Catalog は、レイクハウス全体で統合されたガバナンスと AI を活用したメタデータ管理を提供します。データ アナリストと AI エージェントの両方に対して一貫したセマンティクスを確保し、ビジネス メタデータとテクニカル メタデータの間のサイロを解消します。

Managed Service for Apache Spark を使用すると、データ エンジニアやデータ サイエンティストは、BigQuery Studio ノートブックなどの使い慣れたツールでアプリケーションを開発できます。クラスタを作成、構成、管理する必要はなく、単一のコマンドでジョブを送信できます。