Built with BigQuery: BigQuery、Looker、Analytics Hub などを使って、小売価格のスケーリングと複雑さの問題を解決

※この投稿は米国時間 2023 年 1 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

経緯と背景

小売業界において最適な価格設定を維持することは、複雑なタスクやスケーリングに対応できない手作業でのプロセスやプラットフォームに依存している場合、困難な課題となります。また、価格設定に影響する要素に素早く適応する能力も、小売業者が商品価格を設定する際の重要な成功要因となっています。

小売業界は総じて、顧客の商品の買い方や受け取り方の変化を受け入れ、価格設定が競争上の優位性に与える影響を理解して対応しようと努めています。たとえば、商品のカテゴリによっては、買い物客が期待する価格が、オンラインで購入する場合と店舗で購入する場合で異なる場合があります（他のカテゴリでは同一であると考えられます）。また、買い物客は競合他社の価格を容易に比較できるため、小売業者は最も価値の高い顧客を確保する方法を模索しています。これについては、ロイヤルティ価格、プライベート ブランド戦略、オーダーメイドのプロモーションなどが、考えられる解決策の重要な要素だと見なされています。

通常販売の場合でも、プロモーションや在庫一掃セールの場合でも、最適な価格設定を維持するには、複数の入力ソースをベースにした AI / ML 機能を使用して規範的な意思決定を行える先見性のあるメカニズムが必要です。このような AI / ML プラットフォームでは、在庫のバランス調整、購入額の拡大、プライベート ブランド販売の増加など、小売業者の戦略に沿った特定の購買行動を促進できます。価格設定プロセスには 4 つのステージがあると考えることができます。

1. 需要と供給に影響を与える小売業者の運用体制や商品に関連する消費者行動などに関する情報の転送と処理

2. 小売業者の販売チャネルで扱っている商品の価格と、財務指標に対するビジネス成果の関連性を示す情報の統合

3. 値上げ / 値下げやプロモーションなど、価格に関する活動について人またはソフトウェア システムが行う意思決定

4. 人またはソフトウェア システムによる価格の決定を実行に移し、その変更の影響を受けるステークホルダーに情報を提供するための行動

これらのステージについては、「ソリューション アーキテクチャ」セクションで詳しくご説明します。

ユースケース: 解決した課題と問題

小売業界、特に日用消費財（FMCG）の小売業者における価格設定は非常に複雑です。これらの小売企業は、多くの場合、10 万点以上の品揃えを数千の店舗で販売しているだけでなく、オンライン ショッピングや顧客セグメンテーションが価格決定に与える影響も考慮する必要があります。このような状況によって異なる購買行動は、価格設定システムの価格推奨に影響する可能性があります。正確かつ効果的な価格推奨を行うには、このことを考慮することが重要です。AI / ML 駆動型プラットフォームはアジリティが高く、複雑さを管理できるため、より多くの情報に基づいた価格決定を行うことができます。

小売業界において、スピードは非常に重要な要素です。特に専門品を販売する小売業者は、特定の主要商品で厳しい価格競争圧力にさらされています。このような環境では、市場や顧客の需要の変化に迅速に対応できるかどうかが、関係を維持できるか、競合他社にビジネスを奪われるかの分かれ目となる可能性があります。リアルタイムでオンデマンドの価格変更とプロモーションを可能にする、AI / ML を利用した自動化は、進化する小売業界、特に e コマースや電子棚札（ESL）などのデジタル店舗システムにおいて、重要な要素となっています。これらのシステムは、オンデマンドの価格変更とプロモーションを提供し、セッション中に購入額を増加させることで、顧客の行動を望ましいものに変えていきます。

これを可能にするには、時間とともに学習、適応していく、プログラムでアクセスできる柔軟な AI / ML エンジンを使用して、システムの背後にある意思決定と配信のメカニズムを実行する必要があります。

GCP を使用した Revionics のアーキテクチャの概要

Revionics の製品である Platform Built for Change は、スケーラブルかつインテリジェントで、柔軟性と拡張性の高い価格設定プロセス管理ソリューションを提供することにより、小売市場で生じる大きな変化に対処することを目的とした新しいプラットフォームです。このプラットフォームの基本的な設計原則は、コードの変更ではなく構成によって、価格設定の幅広いアプローチと成熟度に容易に適応できるようにすることです。このプラットフォームでは、変更の依存関係を、基盤となるコードの外部に切り離すことで、小売業者がより簡単かつ迅速に変更を加え、新しい要件に対応できるようにしています。

上の図は Revionics ソリューションを示したものです。取り込みからエクスポートまで、すべての異なるレイヤで GCP サーバーレス テクノロジーが使われているのがわかります。使われている主なサービスは以下のとおりです。

• データ ストレージ: Google BigQuery、GCS（blob ストレージ）、MongoDB Atlas

• データ処理: Google BigQuery、Google Dataproc、Google Dataflow

• データ ストリーミング: Kafka、Google Pub/Sub

• オーケストレーション: Cloud Composer（Airflow）、Google Cloud Functions

• コンテナ化とインフラの自動化: GKE（Kubernetes）

• 分析: Google Looker

• データ共有: Google Analytics Hub

• オブザーバビリティ: Google Cloud Logger、Prometheus、Grafana

ソリューション アーキテクチャ

ここでは、主な問題と解決すべき課題、そして Revionics がどのようにソリューションのさまざまなステージ（取り込み、処理、同期、エクスポート）を通じて高速化、スケーリング、自動化のニーズに対処しながら、複雑さを増し、変わり続ける小売価格設定の課題を解決していったかをご紹介します。

1. 情報の転送と処理

Revionics は SaaS プロバイダであるため、価格設定プロセスの最初のステージ（情報の転送と処理）にある小売業者をサポートすることは、基本的に「変動の大きさ」という一つの大きな課題を克服することと言えます。下の図 2 に示すように、このドメインでは、複数のデータソースから変動が生じます。

• 価格設定と技術環境の成熟度と洗練度は、小売業者によって異なります。

• データソース全体が含まれている場合もあれば、除外されている場合もあります。

• API の使用やストリーミングが可能な顧客もいれば、SFTP 転送しか使用できない顧客もいます。

• データの品質、完全性、正確性は、小売業者のアップストリーム プロセスによって異なります。

• 大規模なバッチとほぼリアルタイムのユースケースの両方をサポートする必要があります。

サイエンス モデリングに読み込まれるデータ変換ロジックは、小売業者の業務や目的に基づくグループ化や構成の組み合わせにより変わっていきます。基本的に、唯一の「ゴールデン データ パイプライン」は存在しません。

変動する課題への対処方法を説明するため、上の顧客ワークフロー図のアーキテクチャの取り込みと処理の部分を掘り下げましょう。主なコンセプトが 3 つあります。

• フィードは、ストリーミングまたはスケジュール設定されたバッチ データソースを表します。ファイル形式を操作し、さまざまなデータ テクノロジーに接続するためのメソッドを多数備えています。

• パイプラインは、フィードや他のパイプラインから取り込んで変換するデータの連結を表します。

• DAG（有向非巡回グラフ）は、フィードとパイプラインだけでなく、検証タスクやオブザーバビリティ タスクを実行する補助メソッドを構成または配置することで生成されます。生成された DAG は、Revionics のサイエンス プラットフォームの構築に備えて情報を取り込み、処理するための完全なワークフローを表します。

下の図 3 の DAG 生成フロー図で描かれているように、GCP を活用したソリューションの利点を見ていきましょう。

• 論理フローは、テンプレート、構成、モジュール型の処理方法ライブラリを組み合わせたものです。さまざまな方法でデータの取り込み、組み合わせ、変換、作成を行うワークフローを生成します。これらは、人が読める形の設定としてまとめられ、エンジニア以外の人が利用できるよう構成とサポートを簡潔にします。DAG Generator はワークフロー全体を、理解しやすい JSON ファイルとして出力します。

• Data Platform は、検証やオブザーバビリティなどのサポート機能をネイティブに提供します。構成可能な検証チェックをさまざまなレベルで挿入し、スキーマの検査、異常値の検出、統計チェックなどを行うことができます。同様に、イベントログ、指標、トレースを Cloud Logger で収集して BigQuery 内で統合すると、ダッシュボードや ML モデルの構築について容易に分析できます。

• アーキテクチャの観点から見ると、インフラストラクチャのスケーリング、運用、管理に必要な作業はごくわずかです。ワークフローのロジックは、テーブル、ビュー、ストアド プロシージャなどのアーティファクトの作成とメソッド呼び出しをオーケストレーションする DAG JSON ファイルにより、実行に依存しない形で表されます。DAG は Airflow の命令セットとなり、最終的には Composer クラスタ（サーバーレス）で実行されます。Dataproc は、GCS または BigQuery 上の SQL プロシージャから読み込んだ、データの結合、集計、ML の特徴の前処理などの手間のかかる作業をすべて行います。

イベント ドリブン処理の大部分は、Cloud Functions または Dataflow、あるいは Pub/Sub または Kafka と Dataflow を使用して行われます。このアーキテクチャは、スケーリングとスピードの要件が変わっても低下しないパフォーマンスと、高い信頼性を実現します。このように、このプラットフォームでは、チームが困難な問題に対する新たなアプローチを構築し、インフラストラクチャに関する費用意識を高めることに集中できます。

2. 情報の統合（スケーリングとスキルのバランス）

Revionics の価格設定プロセスの中核では、AI / ML エンジンを使用して、ゾーン、店舗、顧客セグメントにおける小売商品の需要のソースとコンテキストを表す、組み合わされたデータシグナルを統合しています。

トレーニング済みのモデルは、季節的影響、インフレーション傾向、商品間のカニバリゼーション、特定の場所や顧客セグメントでの商品の販売数に対する競争力のある価格設定など、多くの特徴の影響を説明できるよう学習します。その後、これらのモデルは、一般的なすべての既知のコンテキストを前提として、対象期間中に価格やプロモーションの構造を変えた場合の影響を予測するために使用されます。

予測は、小売業者の業務と望ましい成果に基づく制約を守りながら、1 つ以上のビジネス目標（利益、マージン、収益、販売総数など）の達成とのバランスを取る最適化プロセスを推進します。

たとえば図 4 は、GCP プラットフォームの利点を活かして Revionics が採用したデータサイエンス モデリングを示しています。

• ある小売業者は、ある商品カテゴリにおける特定の高級ブランドとの相対的な価格差を最小 / 最大にして、プライベート ブランドの利益を最適化したいと考えます。

• ある小売業者は、10% 単位の割引だけでできるだけ多くの収益を確保しながら、値下げやクリアランスのスケジュールを設定しようとします。

• ある小売業者は、あるブランドの薄型テレビの割引レベルを最適化し、関連商品も含めたカテゴリ全体の収益性を最大にしたいと考えます。

価格設定に関する AI / ML ドメインの主な技術的課題は、モデリング、予測、最適化の間で、スケーラビリティと予測スキルのバランスを取ることです。下のヒストグラムのように、中央値の顧客には、トレーニングが必要な個別のモデルが 50 万個あります（図 5 参照）。本来、各トレーニングの実行は反復的で計算量の多い作業です。技術の詳細についてはこのブログでは触れませんが、システムの観点から見ると、Revionics のアーキテクチャは以下を組み合わせて構成されています。

1. 2 つの独自の AI / ML フレームワーク（確率的プログラミング言語（PPL）とグリッド）: 価格設定ドメインの挙動を表します。また、統計的依存性に基づいて分離可能なモデリング ジョブをオーケストレーションするインフラストラクチャを動的にプロビジョニングします。PPL は価格設定ドメインの挙動を AI / ML モデルで表現したものです。グリッドは数百万の分離可能な並列モデリング ジョブをオーケストレーションするためのインフラストラクチャです。

2. Google 主導のオープンソース プラットフォーム: TensorFlow は豊富な機械学習ライブラリとフレームワークを、TensorFlow Probability は確率的モデリング手法を提供します。

3. いくつかの Google Cloud サーバーレス サービス（GCS、BigQuery、Pub/Sub、GKE、ログ エクスプローラ）: データ ストレージ、コンピューティング、メッセージ、コンテナ化、ロギングを行います。

繰り返しになりますが、このソリューションで注目すべき点は、サービスがインフラストラクチャ上に存在し、サイズ設定、構成、モニタリング、デプロイ、スケーリングがプラットフォーム サービスとして管理されるため、Revionics が解決する必要のない課題や機能の幅が広いことです。

Revionics のモデリング フレームワークは、個々の小売業者ごとに商品、店舗、顧客関係を最適化できる階層ベイズ手法を利用しています。予測スキルの観点から見て、これは重要な差別化要因です。エンティティ間の複雑な関係を保持しながら、通常では難しい問題領域の縮小を、学習により実現できます。

3. 意思決定と行動

価格設定プロセスの最後の 2 つのステップで使用する DAG 生成ベースのアーキテクチャ パターンは、前述の「自動化されたインテリジェンス」へのニーズに対処します。価格設定プロセスの最後のステップの目的は、以下のとおりです。

1. データ サイエンス モデリングと価格推奨の結果をチームやシステムに公開し、値上げ / 値下げやプロモーションなど、価格に関連する活動の意思決定を行う。

2. 行動を起こす、価格決定を実行に移す、変更の影響を受けるステークホルダーに情報を提供する。

Google Cloud Platform によって可能となった「自動化されたインテリジェンス」では、これらのステップをスケールできます。そのために、プラットフォームの出力と統合して構築できるよう適切に設計された API が提供されています。ただし、AI / ML ベースのアプリケーションには、価格設定において克服する必要がある特有の課題があります。

その課題の一つが、モデルの背後にある意思決定の説明可能性と透明性を高めて信頼を築くことです。AI / ML ソフトウェアは非決定的で熟練者以外には理解されにくく、人による処理に取って代わることが多いため、信頼を得ることは容易ではありません。

可視性は信頼を生み出す最高の資産です。だからこそ、Revionics はアプローチの中心に BigQuery と Looker を据えているのです。これらのテクノロジーにより、レポートと可視化が Revionics ソリューションのあらゆる部分に組み込まれ、データから意思決定への目に見える道筋が明確に作られた結果、ユーザーに可視性がもたらされました。

• 推奨によるビジネス成果の予測 - たとえば、複数の目的を最適化する利益と収益の重み付けが特定の価格推奨につながることを、ユーザーが理解しやすくなります。

• 決定変数の統計的信頼性 - 価格弾力性の 95% 信頼区間などの指標を可視化して示します。

• AI / ML モデル出力の経時分析 - ヒストグラム、統計指標、外れ値検出などでモデルの状態を表します。

自動化されたインテリジェンス: Looker + BigQuery の組み合わせが特に効果的である理由は、以下のとおりです。

• 高次元分析のパフォーマンス。高次元分析で手作業による介入をしなくても、大規模にパフォーマンスを維持できます。

• パーソナライズ。パーソナライズとビジネス関連性のビューとレポートで、ビジネスを表す特定の条件や指標を示します。

• コラボレーション。価格設定に携わっていない人たち（カテゴリ マネージャー、商品担当者、経営陣など）の信頼を得るには、ユーザーがスムーズに分析コンテンツを利用、共有できるようにする必要があります。Revionics ソリューションでは、ユーザー ログインをしていない従業員やツール使用経験のない従業員でも、あらゆる分析資産を閲覧し、アプリ内のコメント スレッドに参加できます。

• トリガー。さらに、レポートやデータセットなどの分析資産も、スケジュールやトリガーを設定してエクスポートすることができます。

パフォーマンスの向上と費用管理。ダウンストリーム プロセスの推進に必要なデータの規模が大きいため、API や分散型ストリーミング ベースの外向きのアプローチは必ずしも理想的ではありません。これを解決するために、Revionics は Google の Analytics Hub の利用を検討しています。このサービスには、顧客の環境内で利用可能な BigQuery のデータセット、テーブル、ビューを作成し、安全に共有する機能が備わっています。自動化されたインテリジェンスの効果を高める非常にパワフルなツールです。Analytics Hub を介したデータ交換のメリットは、ユーザーがすでに分析の推進、ストリーミング、大規模な変換に使用している可能性の高いシステムで、大規模に柔軟性を維持できることです。さらに、Analytics Hub は、データを移動しなくてもエクスチェンジやリスティングを作成できる手段を Revionics の SaaS ソリューションに提供しており、それによって驚くほど費用を最適化しています。

特に、Revionics の価格設定システムから得られる非常にきめ細かいデータを、小売業者の他のソースデータと組み合わせる必要があるユースケースでは、これは非常に有効です。より具体的には、e コマース関連機能、マーチャンダイジング プロセス、デジタル マーケティング システムなどの自動化に加え、私たちがまだ考えもしていないさまざまな運用上のユースケースがあるものと予想しています。

成果

Revionics は、Google Cloud Platform とデータクラウドを基盤にして、数多くのメリットをもたらすソリューションを構築し、ホストしています。注目すべき成果の一部をご紹介しましょう。

• スピードとアジリティの強化: このソリューションでは、顧客固有のストアド プロシージャやスクリプトを人が読める構成に置き換えることにより、可変データ変換ロジックや高度な検証ロジックへの障壁を低くしました。これらすべてにより、ソリューションの構成が容易になり、アジリティが向上しました。

• 安定性の向上: データ品質への依存度がかなり高いため、ソリューションを一部構成し直すことで、データが整備され、SLA の達成やダウンタイムの短縮につながりました。全体としては、カスタマー サポートに関する問題も減少しました。

• 高速なデータ処理: 下の図は、データ処理パイプラインのさまざまな部分の処理速度が、ボリュームの増加に伴い数倍に向上していることを示しています。

• 技術実装の高速化: 設計とパフォーマンスの向上により、価値創出までの時間が短縮されました。たとえば、テストサイクルと顧客フィードバックの高速化により、品質基準をより早く達成できるようになりました。また、履歴の読み込みが大幅に高速化しました。

• 精度の向上: 顧客が新しいプラットフォームに移行する最初のフェーズでトレーニングと最適化を行いながら、予測の精度が大幅に向上しました。

• 意思決定: 統計と意思決定に対する信頼性の向上は、より大きな成果と SUS（システム ユーザビリティ スコア）の向上に繋がりました。

Revionics の詳細については、こちらをご覧ください。

ISV にとっての Built with BigQuery のメリット

Google は、Google Data Cloud Summit の一環として、4 月にリリースした Built with BigQuery のイニシアチブを通じて、Revionics のようなテック企業が Google のデータクラウド上で革新的なアプリケーションを構築できるよう、テクノロジーへのシンプルなアクセス、役に立つ専任のエンジニアリング サポート、共同市場開拓プログラムなどを提供しています。参加企業には以下のメリットがあります。

• Google が資金提供した事前構成済みのサンドボックスを使って、すぐに構築に着手できます。

• ISV センター オブ エクセレンスの専任エキスパートから、重要なユースケース、アーキテクチャ パターン、ベスト プラクティスについてのインサイトを得て、プロダクトの設計とアーキテクチャを加速できます。

• 共同マーケティング プログラムを利用して、認知度の向上、需要の創出、導入の拡大を図り、より大きな成功を実現できます。

BigQuery は、Google Cloud のオープンかつ安全でサステナブルなプラットフォームに統合された、パワフルでスケーラビリティの高いデータ ウェアハウスのメリットを ISV に提供します。Google が提供する巨大なパートナー エコシステムと、マルチクラウド、オープンソース ツール、API のサポートを利用すれば、テクノロジー企業は、データ ロックインを回避するために必要な移植性と拡張性を得ることができます。

Built with BigQuery の詳細については、こちらをクリックしてご確認ください。

^{このブログ投稿を共同で執筆してくれた、Google Cloud と Revionics のチームメンバーに感謝します（Revionics: プラットフォーム エンジニアリング担当ディレクター Aakriti Bhargava 氏）。Google: クラウド パートナー エンジニアリング Sujit Khasnis}