Google Cloud のサポートで Revionics が小売業者に高度な分析を提供
Google Cloud Japan Team
※この投稿は米国時間 2020 年 8 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。
編集者注: 今回は Revionics の事例をご紹介します。Revionics は、小売業者が確信を持って「仮定」や「疑問」を投げかけて、収益性のある価格戦略を実施できるようにするライフサイクル価格プラットフォームです。このブログでは、Revionics チームに、クラウド データ ウェアハウスの移行の過程とその過程で得た教訓を共有していただきます。
Revionics では、20 年近くデータ分析ビジネスを行っており、データを活用して価格戦略を推進したいと考えている小売業界の顧客にサービスを提供しています。2002 年の創業時には、当社の高度な AI モデルはおそらく商用利用で最も複雑でした。必要に迫られて、Revionics は AI モデルのデータ量と処理に対処する高度なテクノロジー インフラストラクチャを構築しました。今になって、ようやくクラウド インフラストラクチャが追いついてきました。現在のクラウド コンピューティング インフラストラクチャは、当社のチームと顧客にデータ探索の新しい方式をもたらしています。
クラウド オプションの調査
当初から、既知の問題を解決することだけが目的ではありませんでした。現在と将来の顧客のニーズをサポートするために、インフラストラクチャ全体を改善して、機敏性を向上させたいと考えていました。当社の AI モデルが小売業者の可能性に焦点を当てているのと同じように、データ サイエンティストがそのビジョンを策定できるようにするインフラストラクチャを必要としていました。
当社はオンプレミスの Teradata アプライアンスを使用していたため、並列処理とパフォーマンスがうまく機能していました。しかし、アプライアンスにはハードウェアとソフトウェアの制限があり、データの共有やシームレスなスケールが困難でした。柔軟性がなく、必要なスペースを提供できませんでした。アプライアンス自体の物理的なストレージ容量の上限に達したため、ハードウェアを更新してパフォーマンスと容量をアップグレードして拡張すべき時期が急速に近づいていました。処理に必要なスペースによって最新の分析結果へのアクセスが制限され、現在の情報に基づく意思決定に影響を与えていました。アプライアンスを新しいものに置き換えるだけでは、柔軟性やデータアクセスの問題を解決できなかったため、クラウド オプションの調査を開始しました。
また、テクノロジーに精通した顧客の多くは社内にデータ分析のエキスパートを擁しており、当社はデータ ウェアハウスのインフラストラクチャ上でプラグアンドプレイ機能を提供したいと考えていました。そうすることで、顧客はデータを掘り下げ、それに応じて市場の変化に対応できます。
現在のクラウド オプションを詳しく知ったことで、ビジネスを推進するためのさまざまな方法を可視化できるようになりました。たとえば、利用可能なストレージの柔軟性と量により、製品開発と全体的な顧客の成功を大きく加速できます。
クラウドへの移行の決定
当社は Google Cloud と提携し、BigQuery を導入しました。各クライアントに対して、データレイクと完全な構造化データ ウェアハウスを構築したため、すべてのクライアントのデータは分離され、クライアントのクエリに対応するように安全にアクセスできるようになりました。COVID-19（新型コロナウイルス感染症）のパンデミックが突然大きな変化を引き起こしたとき、従業員や顧客の安全を確保しながら予期しない需要に対応する必要に迫られた小売業界のクライアントにとって、BigQuery のスケーラビリティは不可欠なものとなりました。当社は顧客の最新データを使用して AI 価格モデルを迅速に更新し、適切な価格決定を行うことができるようにしました。
Teradata SQL を BigQuery SQL に移行したことで、迅速な移行を実現しました。Teradata DDL から BigQuery DDL への変換は簡単でした。SQL の違いによりビュークエリでいくつかの課題が発生しましたが、BigQuery の仕組みを学ぶ機会にもなりました。当社は無駄のない会社なので、多くの手作業を省いてデータを効率的に移動する必要がありました。当社の DevOps チームがツールの構築を支援したので、異なるプロジェクトや顧客データセット用のスクリプト テンプレートを作成できました。当社にとっては、新しいツールを習得するよりも、独自のツールを再展開する方が迅速でした。オプションについては実践的な議論を重ね、最終的には Google Cloud で利用可能なサービスを活用しながら、顧客の混乱を最小限に抑え、運用管理の継続性を最大限に高めました。
Revionics はすべてにおいて顧客を第一に考えています。移行中に顧客が影響を受けないようにすることが最優先事項であり、プロセス全体を通して顧客と緊密に連携しました。小売業の繁忙期の後に移行し、慎重にデュー デリジェンスを実施して社内で同期を取り、2020 年 1 月には顧客が本稼働できるようになりました。Google Cloud は、ダウンタイムなしの移行をサポートし、ビジネスの継続性を確保するために役立ちました。
Google Cloud は、ダウンタイムなしの移行をサポートし、ビジネスの継続性を確保するために役立ちました。
移行に関する学習とレッスン
BigQuery で実行するためにレポートを移行するには、計画が必要でした。主にリフト＆シフト移行を行って関連する全体的な変更を最小限に抑え、既存のメタデータ モデルを BigQuery に指定するだけで済みました。必要に応じて一部のデータ型を調整しましたが、ほとんどのレポートは更新する必要はありませんでした。ただし、BigQuery では一部のクエリによって生成されるレポートが異なっていたため、この機会に一部のレポートの設計やパフォーマンスを改善しました。たとえば、レポートは別のデータセット内のビューにあり、BigQuery のユニークな機能を活用してロジックをアップストリームに移動するだけで、ランタイム パフォーマンスを向上させることができました。
移行を成功させるには、標準を確立し、生産性向上ツールを早期に導入することが有効です。データモデルのチャンクを一度に移行することで、プロジェクト全体のテストと改善が可能になりました。また、パーティショニングやクラスタリングの実装など、いくつかの BigQuery データベース機能をすぐに活用しました。当社にとってそれは適切な判断であり、高速移行を可能にしました。現在、データモデルの改善が次のステップとなっています。ビューや、BigQuery とレポート プラットフォームの間のインターフェースなど、内部で行うことができる、大きな効果のある変更を予定しています。
データの読み込み処理には、Composer と Airflow のどちらも役立ちました。SQL Server から Cloud Storage にデータを移動して BigQuery に読み込む抽出パイプラインを構築し、すべて Composer で実行しました。また、組み込みのモニタリング ツールとロギング ツール（旧称 Stackdriver）も最大限活用しています。
移行によるその他のメリット
Google Cloud で作成したインフラストラクチャは、Revionics が抱えていた当面のニーズへの対応に役立ち、新たな興味深い問題を解決するための基盤を提供しています。当社は新しい扉を開いています。そして Google Cloud は、インフラストラクチャの運用方法、成長予測、費用管理の改善に貢献しています。
データアクセス: たとえば、新しい分析を構築するためにデータを移動する場合、時間のかかる扱いにくいプロセスでコピーや処理に何日も要する場合がありました。今では、クライアントのデータはすべて BigQuery に安全に配置されており、本番環境の運用に影響を与えることなく、顧客別の分析用データに瞬時にアクセスできるようになりました。データ処理は数時間から数日ではなく数秒から数分で行われます。クラウドに移行する前は、ある顧客のデータを分析するために、エンドユーザーが SQL Server インスタンスからデータを移動する際に障害に遭遇することがよくありました。今では、データを移動する必要はまったくありません。
セキュリティ: 当社はセキュリティを重視しているため、必要に迫られてユーザビリティを犠牲にすることもありました。Google Cloud では、ユーザビリティに影響を与えることなく保管時と移動時に Google の組み込みの暗号化を使用でき、構成要件や管理は不要です。セキュリティ フットプリントの改善、管理オーバーヘッドの削減、パフォーマンスの大幅な向上を実現しました。さらに、BigQuery によって問題の優先順位付けが簡単になり、問題を発見して解決する方法が大幅に効率化されました。顧客の質問の優先順位付けに費やされる時間も劇的に短縮されました。
ビジネスへの影響を確認する
20 年近く前に創業した当時は、小売業者は年に一度、全商品の価格を設定していました。小売業者が当社の AI ベースの価格モデルを導入する中で、当社は毎週自動的に価格をモデル化しオンデマンドで最適化する機能を追加しました。今では、さらに高度なモデリングと最適化手法を可能にする基盤を構築しました。これにより、処理時間を改善しながら、これまで以上に深く詳細なレベルで、桁違いに大量のデータのモデル化が可能になりました。この新機能により、小売業者はビジネスのスピードに合わせて価格を更新できるようになり、数分で「仮定」をテストして価格のシナリオを実施できます。
当社のデータ サイエンティストは、以前よりもはるかに多くのデータに高速にアクセスし、トランザクション レベルでデータ モデリングを行うことができます。何年も前から作成したいと考えてきたモデルを、今では幅広い範囲で細部にまで踏み込んで作成できるようになりました。この能力は Revionics の柱となっていて、製品開発のスピードアップとデータ サイエンティストの能力発揮に役立っています。顧客にとって、これは複雑化する最新の小売環境を常に先取りできることを意味します。この新しいスケーラビリティにより、顧客にすぐに対応し、顧客の迅速な適応を支援することが可能になります。
従来のツールでは、当社の多くのチームが分析のニーズに自分で対処できませんでしたが、BigQuery にアクセスすることで分析作業を自身で行うことができるようになりました。サポートする立場からすると、それは有益なことです。エンドユーザーは、これまで何時間もかかっていたカスタム レポートのリクエストを、BigQuery を介して迅速かつ安全に行えるようになりました。
これらのメリットが合わさって、エキサイティングな新しいロードマップの可能性が広がりました。当社は、組み込みのグローバル アクセスとセキュリティを活用したり、多くの機能や目的に合ったプロダクトを利用したりすることで、顧客がデータにアクセスする方法を改善し、データを魅力的に可視化する新しい方法を探求していきたいと考えています。
クラウドに関しては、学ぶべきことがたくさんあります。クラウドへの移行を始めたばかりであれば、できることをマスターして、一度にすべてを学ぼうとしないことをおすすめします。チームに検討してもらってから、特に重要な機能要件と非機能要件を識別し、それらに集中して要件変更を防ぐことで、クラウドの導入を成功できるようにします。
-Revionics ソフトウェア エンジニアリング アナリティクス アーキテクチャ担当ディレクター Niels Bauer, Revionics アナリティクスおよび外部データ プラットフォーム担当プロダクト マネージャー Lacey Irby
