株式会社MonotaRO の導入事例:BigQuery を駆使した新しいデータ分析基盤構築で、全社的にさらなるデータ活用を推進
Google Cloud Japan Team
製造業、建設・工事業の世界で知らない人はいない、事業者向け間接資材のオンライン通販サイト「モノタロウ」を運営する株式会社MonotaRO は、自ら「データドリブン カンパニー」であることを掲げ、数々の先進的な取り組みを行ってきました。BigQuery を活用したデータ分析基盤の構築もその一例。総計 100 億レコードものデータを保有する同社が、それをどのように活用し、業務改善を果たしてきたか、聞いてきました。
利用している Google Cloud Platform サービス
BigQuery、Google Cloud Storage、など写真左から
- 執行役 データマーケティング部門 部門長 久保 征人氏
- データマーケティング部門 データ基盤グループ グループ長 香川 和哉氏
オンプレミス環境から BigQuery への移行で膨大なデータを取り扱えるように
「データ ドリブンカンパニー」であることを掲げ、早い時期からデータを活用したデジタル マーケティングを実施してきた株式会社MonotaRO。同社が掲げるデータ ドリブンカンパニーの条件は、データに基づいた意思決定を支える経営と文化、データに基づいた意思決定を支えるデータ分析力、データに基づいた意思決定を支えるデータ基盤、だと言います。そんな MonotaRO が、2017 年に「データ基盤」を BigQuery に移行させた背景について、同社執行役データマーケティング部門 部門長である久保 征人さんにお話をお伺いしました。
「我々が使っていたデータ分析基盤は、2008 年に構築したもので、オンプレミスという制約もあり、大量のデータを入れることが難しくなっていました。それに対し、現在、我が社は 3 年で売り上げを 2 倍に伸ばすという急成長の最中にあります。結果、受注データ、発注データ、商品データといった、最低限のごく限られたデータですら膨大になり、従来のデータ分析基盤では取り扱えないようになっていました。たとえば、月次のバッチ処理などが 24 時間で終わらないようになっていたのです。また、社内からはウェブログや広告の出稿ログなどをマーケティングに活用したいという声もあがっており、データ分析基盤の刷新は最重要課題となっていました。」(久保さん)
こうした問題や新たなニーズを踏まえ、MonotaRO はクラウド ベースのデータ ウェアハウス サービスを複数検討。大量のデータを高速に取り扱うことができ、シンプルで、より多くのユーザーが操作できることから、BigQuery の採用を決定しました。
「BigQuery の導入効果は大きく 3 つあります。1 つ目は、総計 100 億レコードにも及ぶ、社内のありとあらゆるデータを BigQuery に集約できたこと。これにより、たとえばウェブログと受注データを紐付けて分析するなどといった新しい試みを実施できるようになりました。2 つ目のメリットは、BigQuery が極めて高速なため、今までは丸一日かかっていたような処理が数十分で終わるようになったこと。これにより、従来は月に 1 度だけ実行していたような重いバッチ処理をデイリーで走らせられるようになり、精度の高い情報に基づいた改善を行えるようになりました。3 つ目は、こうしたメリットを受けて、BigQuery を使いデータ分析をしたいというメンバーが増えたということです。」(久保さん)
BigQuery 導入後には、扱えるデータ量が 10 倍に、そこからほぼ自動で生み出される分析レポートの数も 10 倍に、そして、データ分析を行うメンバーの数が 4 倍にもなったそうです。
「社内でデータ分析を行うメンバーの数が 4 倍になったという成果は、他と比べて一見地味に見えますが、最も注目すべき大きな成果かもしれません。これまでは、自分で SQL を書きデータ分析を行える非 IT エンジニア メンバー(アナリスト)は 10 名程度しかおらず、データ分析を依頼する際には、その限られたアナリストに分析を依頼する必要がありました。しかし、非 IT エンジニアでもデータ ポータル(旧名称:Data Studio) などのツールを使うことでデータ分析・可視化を行える BigQuery の導入後は、その人数が約 40 名(=4 倍)に増大。従来は 2 時間前後必要だった数億レコードを対象としたデータ分析が BigQuery なら 2、3 分で終了することもあり、スピード感をもってデータ分析を行えるようになりました。その結果、従来基盤では毎月 30 程度だった分析レポートの数が、300 レポート / 月にまで増大しています。データドリブンな PDCA が想定以上に、我々の業務改善を加速させているように感じています。」(久保さん)
まずは “ニア リアルタイム” 同期を実現。今後はリアルタイム同期の実現へ
予想以上の大成功となった BigQuery へのデータ分析基盤移行ですが、もちろん、その道のりは平坦なものではありませんでした。移行作業を担当した、同社データマーケティング部門 データ基盤グループ グループ長 香川 和哉さんは、その当時を次のように振り返ります。「先ほど、久保が BigQuery には社内のありとあらゆるデータを集約させたと言いましたが、実際にそれをどう実現するのかが悩みどころでした。結論を言うと、基幹システム上で動いている MySQL の変更履歴を自動的に BigQuery に連携させ、マスターと全く同じレプリカを作るという方法を採りました。現在は移行まで 2、3 分程度かかる “ニア リアルタイム” ですが、この方法であればほぼリアルタイムで移行することも可能です。様々な制約のなか最も無理なく移行させられる方法だと判断しました。なお、ウェブログについては、アナリティクス 360 の自動エクスポート機能を使うことで、BigQuery にデータを取り込んでいます。」(香川さん)
結果として、移行にかかった期間は、ウェブ ログデータの同期に担当者 2 名で約 3 か月、基幹システム DB との同期システム構築に担当者 1.5 名で約 6 か月で完了。現在の MonotaRO の急成長を妨げることなく、クイックな移行を実現しました。
「現在は “ニア リアルタイム” な部分を “リアルタイム” にしていく取り組みを計画中です。Cloud Pub/Sub や、Cloud Dataflow を活用していくことで実現できると考えています。データをマージしたり、バッチ処理するところでは、Cloud Composer を使う予定です。リアルタイムにこだわる理由は、やはりいくつかリアルタイムでなければ困る業務があるからですね。プロモーションへの活用などが代表例ですが、ユニークな使い方では、IT エンジニアがシステムの稼働状況を確認・検証するのにリアルタイムなデータがあると便利というものもあります。」(香川さん)
そして最終的には、今よりもさらに多くのメンバーがデータ分析基盤を活用していけるようにしていきたいとのこと。具体的には顧客との全タッチポイントで、データに基づいたパーソナライゼーションを実現するための基盤構築をしていきたいと、久保さんは言います。
「たとえば、GCP のデータ基盤の上にリアルタイムの機械学習基盤を作ることで、お客様との全タッチポイントで、データに基づいたリアルタイムなパーソナライゼーションを実現しようとしています。分かりやすい例ですと、商品のレコメンデーションなどにおける活用ですね。当社はこういった高度なチャレンジも、GCP 上で引き続き行っていきたいと考えています。」(久保さん)
その他の導入事例はこちらをご覧ください。