BigQuery と Looker で継続的なインテリジェンス エコシステムを構築する Mercado Libre の事例

※この投稿は米国時間 2022 年 4 月 9 日に、Google Cloud blog に投稿されたものの抄訳です。

Mercado Libre は、データの持つ力と可能性を解き放つことに本気で取り組んでいます。Mercado Libre には、ベータ版マインドという大切な文化的原則があります。「ベータ版の状態」で運用し、常にデータに対して新たな疑問を持ち、テクノロジーを試験して、最高のエクスペリエンスを生み出すためのビジネス オペレーションを反復して行うという原則です。

組織の概要としては、Mercado Libre は中南米の 6 か国に展開しており、複数のオフィスと数千の自宅オフィスで 30,000 人以上の従業員が働いています。6,500 万人以上のユーザーを抱え、昨年だけで 7,500 万件の決済が処理されました。多くの同業他社と同じく、私たちも、データを核として、極めてインクルーシブで影響力の強い企業文化を多くの拠点で作り上げるべく、組織、トレーニング プログラム、ビジネスのスケーリングに関する新たな課題への対処を模索しているところです。

3 部構成のブログシリーズの第 1 回目となる今回は、継続的なインテリジェンス、最先端の技術、データ文化をテーマに、e コマースで大きな成果を上げ、フィンテックのリーダーになることを目指す私たち Mercado Libre の可能性を明らかにしていきます。

継続的なインテリジェンス - 基盤の構築

Mercado Libre の成功の基盤は、継続的なインテリジェンス エコシステムです。分析チームはシステムやインターフェースを整備し、常時、幅広くユーザーの要望に応えています。

以下は Gartner を参照したものです。

「継続的なインテリジェンスとは、リアルタイム解析がビジネス オペレーションに統合された設計パターンで、現在および過去のデータを処理することで、ビジネス上の重要な瞬間やその他のイベントに対応する行動を導き出します」

Mercado Libre は、分析を提供すると同時に、強力なクラウド データ ウェアハウスである Google BigQuery（BQ）からプログラムでデータの取り込みを可能にする設計パターンの構築を目指しています。こうした設計パターンは、Looker のユニバーサル セマンティック モデルのレイヤを使って構築されます。データで可能性を模索すること、そして場面ごとの極めて詳細なニーズに合わせて既存の業務を改革し構築できるようにすること、この 2 つを継続的なインテリジェンスのエコシステムで実現することが Mercado Libre の目標です。

Google BigQuery による大規模なリアルタイム解析

Mercado Libre は、データに基づく意思決定を常に模索しています。意思決定にデータを取り入れるということは、ソースを問わず、データが最新で、信頼性が高く、分析に使用可能でなければならないということです。つまり、エコシステム全体からのデータのストリーミング、収集、提示が必要で、そこには外部データ、内部の管理システム、Google アナリティクスや App Annie のようなプロダクトからのウェブ トラフィック、ウェアハウスおよびネットワーク ログ、クラウドの使用量と費用、そしてもちろん、すべての API が含まれます。

私たちは、増え続けるデータソースの件数とボリュームに対応できる復元性と信頼性を見込んで、エコシステム内のメインのクエリエンジンとして Google BigQuery を選択しています。Google のサーバーレスかつ自動スケーリングのデータ ウェアハウスによって、数百テラバイトの元データの処理が可能となり、私たちは、パフォーマンスを犠牲にすることも、追加の管理上のオーバーヘッドを負担することもなく、数十万のクエリを毎日実行しています。このようなスピードとオンデマンドのスケーリングの組み合わせは、リアルタイム解析に向けた取り組みを促進し、利用可能な最新の分析情報とデータによる意思決定を強力にサポートしてくれます。

Looker でデータとユーザーの技術的なギャップを解消

元データをパワフルなクエリエンジンで利用できるようにするのは、継続的なインテリジェンス エコシステムの基盤となる要素ですが、それだけでは十分とは言えません。SQL の知識を持つ大勢のアナリストがデータをクエリできるようにしても、ロジックには一貫性がなく、ビジネスルールは統制がとれていないという結果に終わる可能性もあります。

大規模で継続的なインテリジェンス エコシステムで信頼を築くためには、一貫性を持ってプログラマティックにデータを取り込み、Mercado Libre のビジネスのスピードに合わせて成長できる、データ モデリングとビジネス インテリジェンスのツールが必要でした。最新のビジネス インテリジェンスおよびデータ プラットフォームである Looker では、堅牢なユニバーサル セマンティック モデリングのレイヤと数多くの最新の統合機能を利用することで、簡単にデータをワークフローに取り込むことができます。

Looker のコアとなるのは、コラボレーション指向でバージョン管理のセマンティック モデルで、LookML を使用して作成されています。LookML は従属言語なので、SQL に馴染みがある人であれば、簡単に学習や管理を行うことができます。ディメンション、指標、結合のロジックを一元的に定義することで、ビジネスにとっての信頼できる一つだけの情報源を作り出すことができました。この定義されたロジックは、Mercado Libre のアナリストやビジネス ユーザーに代わって一貫性のある SQL ステートメントを自動で生成します。ユーザーは、これを利用することで、信頼性の高い大規模なセルフサービス分析を行えるようになります。

BigQuery+Looker - 人々に力を

このパワフルなデータスタックは、クラウド コンピューティングや分析情報が持つ力とユーザーをつなげます。分析情報は、従来通りのダッシュボードの確認、Slack との統合、メール通知アラートの受信、分析の組み込みなど、あらゆる方法で作成・配信されます。スプレッドシートなど、多くの人が無理なく使用できる非常に一般的な BI ツールからもデータにアクセスできます。Looker が新たに Google スプレッドシートを統合することになったのは本当に良かったと思っています。私たちは、この新たなインテグレーションのアルファ版テスターになり、誰もが慣れ親しんだスプレッドシートのインターフェースを利用した広範なデータへのアクセスを実現することができました。別のツールの使い方を覚える必要がないので、既存のワークフローは大きくは変化しませんが、絶えず進化し続けています。

ビジネス エクスペリエンスとカスタマー エクスペリエンスの向上

ここでは、ビジネスを前進させ、お客様のエクスペリエンスを向上させる、さまざまな成果の例をデータ ライフサイクルに沿って以下に挙げていきます。BigQuery を使い始めてから、SLA の可用性は 99% に到達しています。これは、Looker 内に構築した 30 以上のほぼリアルタイム モニタリングにフィードする際の処理に求められるもので、ビジネス、トランスポート、運用のチームが意思決定を行うために活用しています。BQ と使いやすい LookerML や Looker で、新しいダッシュボードを作成、デプロイしてアジリティとスピードを獲得し、非常に競争の激しい業界での変化に対応しています。

そして、お客様の価値を創造するために配達予定を（ほぼリアルタイムで）モニタリングして、航空機のキャパシティに基づいてスケジュールを最適化することで、ステークホルダーに信頼性を提供していきます。

基盤への積み上げ - 学習とイノベーションの文化

分析チームの意見としては、会社の成長と同じ速度で対応しスケーリングするのは不可能です。解決できるのはデータに関する質問の 80% であることを承知のうえで、基盤となるレイヤとして継続的なインテリジェンス エコシステムを開発しました。残りの 20% は、さらなるイノベーションを起こすために私たちが提供するツールを使って、各自のビジネス知識や専門知識を活用してもらえるかどうかにかかっています。

結局のところ、本当の継続的なインテリジェンス エコシステムとは、テクノロジーよりも大きなもので、そこには、どのようにデータを利用したいのかを理解し、教育を提供するために、ユーザーの共感が必要なのです。長期的な導入およびデータ リテラシーの目標を達成するために、Mercado Libre では従業員が取り組むべき包括的なプログラムを作り上げ、そこでベータ版マインドセットと、革新を生み出し洞察力を鍛えるためのツールの使い方を浸透させています。

ユーザーのデータスキルが Mercado Libre のデータ テクノロジーに合わせて発展する中で、私たちの今後のビジョンは、Mercado Libre が構築した継続的なインテリジェンス エコシステムの上で、ユーザーが独自のモデル、フレームワーク、意志決定フレームワークを構築できるようになってもらうことです。この継続的なイテレーションとイノベーションが、Mercado Libre のデータドリブンな文化を加速させています。この 3 部構成のブログのテーマとなっているのが、技術的なデータ リテラシーと文化をどう教育するのかということです。

ブログの第 2 弾では、ユーザーがどのようにMercado Libre の継続的インテリジェンス・エコシステムを活用し、革新して、インパクトのある結果を出したか、という事例を紹介します。

Gartner の IT 用語集、継続的なインテリジェンス、2022 年 3 月 28 日現在。

^{Gartner は、Gartner, Inc. および / またはその関係会社の米国およびその他の国における登録商標およびサービスマークであり、同社の許可を得て使用されるものです。著作権はすべて同社に帰属します。}