この 2 つのシステムの主な違いは、データ構造とその用途です。データレイクは未加工の非構造化データ用、データ ウェアハウスは構造化された処理済みデータ用です。

データ サイエンティストは、不正な予約をリアルタイムで特定できる AI モデルを構築する必要があることがよくあります。データはウェブサイトのログ、モバイルアプリのイベント、サードパーティのパートナーなど、さまざまな場所から取得されるため、AI モデルのトレーニングにはデータレイクが最適です。

まず、すべての元イベントを Cloud Storage に送信するパイプラインを設定します。これには、ウェブサイトからの乱雑な JSON ファイルや、モバイルアプリからのバイナリログが含まれます。Cloud Storage はこのような規模に対応できるように構築されているため、この時点でデータのフォーマットについて心配する必要はありません。

AI モデルでデータを活用するには、データをクリーンアップする必要があります。Apache Spark 向け Google Cloud サービスを使用して、サーバーレスの Apache Spark ジョブを実行できます。これにより、サーバーやクラスタを管理することなく、数百万の未加工のログを構造化された形式に変換できます。

データが準備できたら、機械学習ツールにフィードできます。元の未加工データはデータレイクに残っているため、モデルをさらに改善するのに役立つ可能性がある「隠れた」詳細情報をいつでも確認することができます。

データレイクを使用すると、あらゆるデータを低コストで保存できるほか、モデルを構築する際に必要なデータだけを処理できます。

では、小売業におけるデータ サイエンスのユースケースを見てみましょう。来月、会社が販売する冬用コートの数を予測できます。販売データはすでにクリーンアップされ、データベースに保存されているため、このタスクにはデータ ウェアハウスを使用することが適しています。

まず、会社の中心的なデータ ウェアハウスとして機能する BigQuery を使用します。販売データは、日付、価格、商品 ID の列を含む整然としたテーブルにすでに整理されています。データはすでに構造化されているため、クリーンアップに時間を費やす必要はありません。

過去 5 年間の冬季の売上を確認するための SQL クエリを作成する場合など、数十億行のデータがあっても、BigQuery は数秒で答えを見つけます。このスピードにより、さまざまなアイデアを試して、予測を迅速に改良できます。

予測が完了したら、組み込みツールを使用してダッシュボードを作成できます。マーケティング チームは、注文する必要があるコートの数を正確に把握できるようになりました。BigQuery はサーバーレスであるため、実行したクエリに対してのみ料金が発生し、費用を抑えることができます。

このユースケースでは、データ ウェアハウスが最適なツールです。データ ウェアハウスは、すでに使用可能な形式になっているデータを使用して、特定のビジネス上の質問に対して迅速かつ信頼性の高い回答を提供します。