メダリオン アーキテクチャとは

ブロンズレイヤは、すべての受信データのランディング ゾーンです。ここでは、ウェブ API、IoT センサー、トランザクション データベースなどのソースから得られた未加工かつ未処理の情報を保存します。ここではデータを変更せず、JSON、CSV、Parquet などの元の形式のまま保持します。

エンジニアは通常、これらのファイルにタイムスタンプを追加して、到着時刻を示します。ブロンズレイヤは、永続的な履歴アーカイブとして機能します。後で計算を間違えた場合は、いつでもこの元データに戻ってやり直すことができます。これにより、ビジネス オペレーションの「グラウンド トゥルース」を失うことがなくなります。

シルバー レイヤは「信頼できる情報源」と考えることができます。この段階では、ブロンズレイヤのデータが徹底的にクリーニングされます。エンジニアはツールを使用して、ジャンクを除外したり、重複するレコードを削除したり、欠損値を修正したりします。また、すべての日付が同じパターンに従っていることを確認するなど、形式を標準化します。

シルバー レイヤは、さまざまなデータセットを結合して、「顧客」や「商品」などのコアビジネス アイテムを明確に表示します。このレイヤはセルフサービス分析に最適です。ほとんどの人が使用できるほどクリーンですが、1 つの特定のレポートに限定されることなく、幅広い質問に回答できるほど詳細です。

ゴールド レイヤには、最も精製されたデータが含まれています。この情報は、月次売上レポートや顧客離れの予測を行う ML モデルなど、特定のビジネスニーズに合わせて調整されます。ゴールドレイヤでは、未加工のリストではなく、高速な読み取りのために最適化された「スタースキーマ」またはテーブルがよく使用されます。

このデータはすでに集計、計算されているため、ダッシュボードに非常に迅速に読み込まれます。データ サイエンティストは、ゴールドテーブルを使用して「地域ごとの 1 日のアクティブ ユーザー数」を確認できます。数百万の未加工の行を自分で結合する必要はありません。これは、企業に即座に価値をもたらすように設計された最終的なプロダクトです。