データ レイクハウスは、データレイク（元の形式の元データの大規模なリポジトリ）とデータ ウェアハウス（整理された構造化データセット）の主な利点を組み合わせて、単一のプラットフォームを作成する最新のデータ アーキテクチャです。具体的には、データ レイクハウスにより、組織は低コストのストレージを使用して大量の元データを保存しながら、構造とデータ マネジメント 機能を提供できます。

これまで、基盤となるシステムの過負荷や、同じリソースの競合の発生を避けるために、データ ウェアハウスとデータレイクは別々のサイロ化されたアーキテクチャとして実装する必要がありました。企業は、ビジネス インテリジェンス（BI）とレポート用の構造化データを保存するためにデータ ウェアハウスを使用し、機械学習（ML）ワークロード用の非構造化データと半構造化データを保存するためにデータレイクを使用していました。しかしこのアプローチでは、2 つのアーキテクチャのデータを一緒に処理する必要がある場合に 2 つの別個のシステム間でデータを定期的に入れ替える必要があるため、複雑さ、費用の増加、データの更新頻度、重複、整合性に関する問題が生まれました。

データ レイクハウスは、こうしたサイロを解消し、データが非効率性ではなくビジネスに価値をもたらすために必要な柔軟性、スケーラビリティ、アジリティを実現することを目指しています。

「データ レイクハウス」という用語は、データ ウェアハウスとデータレイクという 2 種類の既存のデータ リポジトリをまとめたものです。では、データ レイクハウス、データレイク、データ ウェアハウスの具体的な違いは何でしょうか？

データ ウェアハウスは、意思決定のためのレポートや分析情報を生成する必要があるビジネス ユーザーに、データにすばやくアクセスし、SQL との互換性を提供します。すべてのデータに ETL（抽出、変換、読み込み）フェーズを経る必要がある。つまり、読み込み前にユースケースに基づいて特定の形式（スキーマ）に最適化されるため、高パフォーマンスのクエリとデータの完全性がサポートされるようになります。しかし、このアプローチではデータへのアクセスの柔軟性が制限され、今後使用するためにデータを移動する必要がある場合に余分なコストが発生します。

データレイク には、大量の非構造化データと構造化データがネイティブ形式で保存されます。データ ウェアハウスとは異なり、データは分析中に処理、クリーンアップ、変換されるため、読み込み速度が速くなり、ビッグデータの処理、ML、予測分析に最適です。しかし、データ サイエンスの専門知識が必要なため、データを使用できる人員が限られており、適切に管理されていないと、時間の経過とともにデータ品質が低下する可能性があります。また、データレイクでは、データが未処理であるため、リアルタイム クエリを取得するのが難しくなります。そのため、データを使用する前にクリーニング、処理、取り込み、統合が必要になる可能性があります。

データ レイクハウスは、これら 2 つのアプローチを統合して 1 つの構造を作成し、BI、データ サイエンス、ML などさまざまな目的でデータにアクセスし、活用できるようにします。言い換えれば、データ レイクハウスは、組織の非構造化データ、構造化データ、半構造化データをすべてキャプチャして低コストのストレージに保存すると同時に、すべてのユーザーにニーズに応じてデータを整理および探索する機能を提供します。

データ レイクハウスの主な特長は次のとおりです。

• 単一の低コスト データストア: すべてのデータ型（構造化、非構造化、半構造化）に対応します。
• データ マネジメント機能: スキーマの適用、データ ガバナンスの適用、ETL プロセスとデータ クレンジングを行います。
• ACID（アトミック性、整合性、独立性、耐久性）特性のトランザクション サポート : 複数のユーザーが同時にデータの読み取り / 書き込みを行う場合のデータの整合性を確保します。
• 標準化されたストレージ形式: 複数のソフトウェア プログラムで使用できます。
• エンドツーエンドのストリーミング: データのリアルタイム取り込みと分析情報の生成をサポートします。
• コンピューティング リソースとストレージ リソースを分離: 多様なワークロードに対応するスケーラビリティを確保します。

BI アプリからレイクハウス内のソースデータに直接アクセスして、データの重複を削減します。

データ レイクハウスを機能させるには、何を達成しようとしているのかを考慮することが重要です。データ レイクハウスは、異種データソースを一元化し、組織内の誰もがデータユーザーになれるようにエンジニアリング作業を簡素化することを目的としています。

データ レイクハウスは、データレイクと同じ低コストのクラウド オブジェクト ストレージを使用して、簡単にプロビジョニングとスケーリングを行えるオンデマンド ストレージを提供します。データレイクと同様に、あらゆるタイプの大量のデータを未加工の形でキャプチャして保存できます。レイクハウスはこのストアにメタデータ レイヤを統合し、構造化スキーマ、ACID トランザクションのサポート、データ ガバナンス、その他のデータ マネジメントや最適化機能など、ウェアハウスのような機能を提供します。

データ レイクハウスのコンセプトは、まだ比較的新しいアーキテクチャです。つまり、データ レイクハウスは進化を続けており、ベスト プラクティスがアーリー アドプターによってまだ定義されていないという事実が最大の課題となっています。

そのうえ、データ レイクハウスは一から構築するのは複雑です。ほとんどの場合、すぐに使用できるデータ レイクハウス ソリューションを選択するか、オープン レイクハウス アーキテクチャをサポートするために必要なすべてのコンポーネントを提供する Google Cloud のようなプラットフォームを使用する必要があります。

データ レイクハウスのアーキテクチャは、次のレイヤで構成されています。

• ストレージ レイヤ: ストレージ レイヤは、すべての元データのためのデータレイク レイヤです。通常は、非構造化データ、構造化データセット、半構造化データセットをすべて保存できる低コストのオブジェクト ストアです。コンピューティング リソースから分離されているため、コンピューティングを個別にスケーリングできます。
• ステージング レイヤ: ステージング レイヤは、データレイク レイヤの上にあるメタデータ レイヤです。ストレージ内のすべてのデータ オブジェクトに関する詳細なカタログが提供されるため、スキーマの適用、ACID プロパティ、インデックス作成、キャッシュ保存、アクセス制御などのデータ マネジメント機能を適用できます。
• セマンティック レイヤ: セマンティック レイヤであるレイクハウス レイヤは、すべての使用データを公開します。ユーザーはそこで、クライアント アプリや分析ツールを使用してデータにアクセスし、テストやビジネス インテリジェンスのプレゼンテーションに役立てることができます。

Databricks のレイクハウス プラットフォームや Amazon Redshift Spectrum など、既存のデータ レイクハウスの例はいくつかあります。しかし、テクノロジーが成熟し、データ レイクハウスの導入が進むにつれて、実装はレイクハウスのコンポーネントの結合から特定のデータレイクへと移行しています。

たとえば、Google Cloud のアプローチは、エンタープライズ データ運用、データレイク、データ ウェアハウスの中核となる機能を統合することでした。この実装では、BigQuery のストレージとコンピューティング能力をデータ レイクハウス アーキテクチャの中心に据えます。その後、Dataplex と Analytics Hub を使用して、統合ガバナンス アプローチやその他のウェアハウスのような機能を適用できます。

BigQuery は Google Cloud エコシステムと統合されているだけでなく、パートナーやオープンソースのテクノロジーを使用して、レイクとウェアハウスの優れた機能を単一のシステムにまとめることもできます。

Google は、データ ウェアハウスやデータレイクへのデータアクセスを簡素化する統合ストレージ エンジンである BigLake（現在プレビュー版）のリリースで、このアプローチをさらに発展させていきます。きめ細かなアクセス制御を適用し、分散データ全体でクエリのパフォーマンスを高めます。