eBay、Vertex AI を使用して AI ドリブンなレコメンデーション エンジンを高速化

※この投稿は米国時間 2024 年 3 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

eBay のマーケットプレイスには常時、何百万人ものさまざまな販売者による 19 億点以上の商品が出品されており、その種類は最新のガジェットから知る人ぞ知るコレクターズ アイテムに至るまで、ありとあらゆるものに及んでいます。eBay では、ディープ ML、AI を活用した検索機能、自然言語処理（NLP）を使用してよりスムーズなユーザー エクスペリエンスを実現し、eBay のプラットフォームにある関連商品を簡単に探索して見つけられるようにしています。

Google Cloud の Vertex AI とベクトル検索を実装することで、エンジニアリングの速度を加速し、より高度なモデルを生成して、e Bay を利用するお客様により質の高い検索結果を提供できるようになりました。これらのソリューションの導入により、イテレーションを 4 倍高速化したほか、他の方法ではリリースできなかった新機能を立ち上げることができ、プラットフォーム上で購入者と販売者双方にとってのフリクションを減らすことができました。

オンプレミスとパブリック クラウドとのギャップを埋める

世界最大級のオンライン マーケットプレイスである eBay は、28 年以上にわたってカスタマー ジャーニーを分析し、そこから学び、進化に取り組んできました。eBay をご利用いただくファンの皆さまのために新しい e コマースの未来を作るという使命のもと、私たちは ML GPU クラスタ、ベクトル類似性エンジン、eBay Tech Blog で紹介しているその他多くのイノベーションを含む最先端のソリューションを使用して、ML プロセス用の堅牢な社内インフラストラクチャを構築しています。さらに、私たちは革新的で成熟したレコメンダー システムチームである Ads Recommendations チーム（略して「Recs」チーム）の代表でもあります（RecSys 2016 論文、RecSys 2021 論文、eBay Tech Blog 2022 年投稿、eBay Tech Blog 2023 年 1 月投稿、eBay Tech Blog 2023 年 10 月投稿）。イノベーションを加速し、さらなるスピードアップを実現するために、私たちは Google Cloud の追加機能を使用して ML ワークフローの特定のコンポーネントを強化する方法を模索し始めました。

当社は、オンプレミス テクノロジーをサポートするためにサードパーティのクラウド プロバイダに目を向けました。念頭に置いた主な基準は、高度な AI 機能、無限のスケーラビリティ、成熟した信頼性の高いインフラストラクチャ スタックの 3 つです。そして私たちは、Vertex AI に集中的に取り組むことにしました。Vertex AI は、ML モデルのトレーニングとデプロイを可能にするプラットフォームであり、ベクトル検索を使用してアイテムとユーザー エンティティのテキスト情報に基づいてエンベディングのセットを迅速にデプロイできます。Recs チームの ML インフラストラクチャの成熟度を考えると、ML フロー全体を一度に置き換えることは望ましくありませんでしたし、その必要もありませんでした。そこで、全体を置き換えるのではなく Vertex AI の柔軟性を活かして、Google Cloud をプラグアンドプレイ方式で使用して ML フローの特定のトレーニングと予測コンポーネントを組み込みました。

また、eBay の出品情報にディープ ラーニング ベースのセマンティック エンベディングを使用できるかどうか、ベクトル検索についても調査しました。ベクトル検索では、意味的に類似または関連する十数億ものアイテムから精査することができるため、当社のエンジニアは迅速にイテレーションを行い、お客様は探している商品にすばやくアクセスできるようになります。このツールを使えば、エンベディングを単語やテキスト以外でも使用できます。画像、音声、動画、ユーザー設定など、さまざまな種類のデータに対して、セマンティック エンベディングを生成できます。

当社の ML エンジニアは、特徴量を改善するために仮説検証を繰り返しながら、ML エンべディング モデルを多数開発しています。ML モデルに変更があれば、たとえそれが小さな機能や新しいバージョンであっても、エンべディングのベクトル空間が変化するため、新しいベクトル検索インデックスを作成する必要があります。私たちは、Google Cloud のベクトル検索に含まれる、セルフサービス機能で新しいエンべディング インデックスを短時間で登録する機能が、ML モデルの迅速なイテレーションに非常に重要であることを強調したいと思います。ML モデルの迅速なイテレーションによってレコメンデーション エクスペリエンスが向上し、ひいてはエンドユーザーに価値がもたらされるためです。

アプリケーション チームである私たちは、低レベルのネットワーク接続コンポーネントをはじめ、本番環境のインフラストラクチャ スタックのすべてのレベルを所有しているわけではありません。そこで、Google のネットワーク インフラストラクチャ チームが eBay のネットワーク インフラストラクチャ チームと協力し、eBay のデータセンターと Google Cloud の間にハイブリッド相互接続リンクを構築することになりました。Google のお客様チームが、Recs チームを Google や eBay の関係者につないでくれたり、私たちをこれまで一緒に仕事をしたことのない eBay のチームに結び付けてくれたりしたおかげで、これを実現することができました。ネットワーク接続が確立されると、私たちはチームとお客様のニーズを満たすフレームワークを作成すべく、さまざまな設定や API のテストを開始しました。

テストと調整を繰り返す

より堅牢で直感的なレコメンデーション エンジンを作成するために、まず Vertex AI でカスタムモデルを構築し、ベクトル検索にエンべディングをインデックス登録して、イテレーションとテストを通じてシステムの有効性を評価しました（図 1 を参照）。ハイブリッド相互接続リンクが導入されたため、社内システムで使用していたものと同じインデックスを Google Cloud インフラストラクチャで用いて、同一条件で比較を行いました。データが同じであるため、大差ない結果が得られると予想していましたが、そのとおりの結果を最初の A/B テストでは得ることができました。ところが、リアルタイムのパフォーマンスはこれまでと同等だったものの、登録プロセスはオンプレミスよりもはるかにスムーズで迅速だったのです。

私たちはそれまで、社内モデルのベンチマーク作成にエンジニアリング サイクルの多くを費やし、新しいインデックスの登録には数か月もかかっていました。ベクトル検索を使うことで、今ではこのプロセスを 2 週間で完了できます。モデルの最適化と微調整を行い、ベクトル検索を使用して別の A/B テストを実行した結果、統計的に有意なプラスの収益増加が示され、Google Cloud 実装の長期的な価値が証明されました。この機能をリリースしたところ、広告収入の増加とクラウド費用に対する投資収益率が向上し、毎秒数千トランザクションの本番環境トラフィックに対応できるようになりました。このプロセス全体を通して、私たちは Google Cloud と緊密に連携し、可能な限り最高のカスタマー エクスペリエンスを創出してきました。

たとえば、eBay には、レコメンデーションを提供するリアルタイム アプリケーションに SLA レイテンシ要件があります。Google Cloud チームは当社の要件に耳を傾け、ベクトル検索の設定調整を手助けしてくれました。そのおかげで、ベクトル検索を Google Cloud ダッシュボードのサーバーサイドで測定したところ、95% で 4 ミリ秒未満のリアルタイム読み取りレイテンシを達成できました。

Google Cloud で次世代のショッピング体験を創出

長年にわたり、eBay はテクノロジーを活用したレコメンデーション生成システムを使用して優れたカスタマー エクスペリエンスを作り上げてきましたが、「これで十分」と満足することはありませんでした。私たちは、常に新しいテクノロジーを活用してプラットフォームを改善する革新的な方法を模索しています。そして、Google Cloud による社内システムの強化が、その実現を後押ししてくれています。

Google Cloud の高度な AI 機能と優れた顧客サポートにより、当社のチームは ML ワークストリームのイテレーションを加速し、最終的に eBay における購入者のショッピング体験を向上させることができました。eBay のプラットフォームで関連性の高いレコメンデーションをより適切に分析、予測して提供できるようになったことで、オンラインで商品を見つけて購入するプロセスも簡素化されています。

今後を見据えながら、Gemini などの Google Cloud の生成 AI ツールをさらに探索し、eBay の次なるイテレーションで何が実現できるかと考えると楽しみでなりません。Google Cloud を組み込むことで、購入プロセスをこれまで以上に向上させるうえで必要な AI リソースを活用できる、適切なハイブリッド クラウド環境を構築することができました。

-eBay、応用研究およびエンジニアリング部門シニア マネージャー Yuri M. Brovman 氏