Twitter: AutoML を活用してユーザーが有意義なスペースを見つけられるようサポート

※この投稿は米国時間 2022 年 9 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: スペース機能のリリース以来、Twitter はユーザーの声を聞くことにより Twitter 上の会話がまったく新しい形で活気づくことを実証してきました。その後、Twitter は、ユーザーが個人的に気になるライブの会話に簡単に参加して聞けるようにすることを目指しました。このブログでは、Twitter のスペース エンジニアリング チームがどのようにして AutoML でこのビジョンを実現し、Twitter のお客様にパーソナライズされたレコメンデーションを提供する新しい ML ヒューリスティックを活用しているかをご紹介します。このブログ記事作成にご協力いただいた Twitter の Chuan Lu 氏、Joe Balistreri 氏、Chen-Rui Chou 氏、Pablo Jablonski 氏、Alberto Parrella 氏、Pradip Thachile 氏、Sam Lee 氏、および Google の Helin Wang に著者一同よりお礼申し上げます。

Twitter が 2020 年にスペースを導入して、プラットフォームでのライブ音声会話を実現して以来、Twitter のスペース エンジニアリング チームは継続的にこの機能のテスト、構築、アップデートをオープンに行なってきました。現在では、誰でも Twitter のスペースに参加して、聞いたり話したりすることができ、その人気は急上昇しています。しかし同時に、この成功によりある課題が提起されています。何百万人ものユーザーがいつでもスペースを作成したり参加したりするなかで、どうすれば開催中のスペースを見つけて参加できるでしょうか？これを機にカスタマー エクスペリエンスを向上させるため、Twitter は機械学習（ML）とクラウド技術に答えを求めました。

Twitter の機械学習シニア エンジニア兼データ サイエンティストの Diem Nguyen 氏は次のように説明します。「ML は、Twitter の消費者向けプロダクトおよび収益プロダクト構築の自然な流れ、特にスペースのようなプロダクト機能に適合しています。当社は、スペースを『最も人気のある』ヒューリスティックを使用したベースライン アルゴリズムでリリースしました。このヒューリスティックは、あるスペースの人気が高ければ、自分もそのスペースを気に入る可能性が高いと仮定します。しかし、当社の目的は、ML を活用して特定の Twitter のお客様にとって最も興味深く、関連性の高いスペースを表示し、お客様が個人的に関心のある会話を簡単に見つけて参加できるようにすることです。これは複雑な機能であり、Google Cloud ML の機能によって実現できます。」

限られた ML リソースで新しい機能を構築するステージ設定

2021 年 12 月、Nguyen 氏と彼女のチームは、このビジョンを実現するための適切なツールを探すなかで Vertex AI Platform、特に AutoML で最初にスペースの構築を開始した際に見られた課題を解決できるかどうかの評価を開始しました。これらの課題には、プロダクト機能の構築とデプロイに必要な専用の ML リソースが不足していることや、マルチクラウド環境での作業が必要なことなどが含まれていました。

「評価にあたっては、3 つの重要な質問を念頭に置きました。『プラットフォーム外への AutoML モデルのデプロイは現実的に可能であるか？』『デプロイ後、提供するサービス（この場合はスペースのタブ）から受けるリクエスト負荷を解決できるのか？』『このプロジェクトのための ML エキスパートのチームなしで、このようなソリューションの開発と維持は可能か？』というものです」と Nguyen 氏は説明します。そして、3 つの質問に対する答えはすべて「はい」でした。

肯定的な回答が得られたことは、スペースのエンジニアリング チームが 2022 年 2 月にこのソリューションを本番環境に移行する動機になりました。「AutoML Tables を使用して最小限の ML の専門知識と労力で高精度モデルのトレーニングを開始し、リソースの制約を軽減しました。AutoML はその高いパフォーマンスと、Google Cloud プラットフォームを超えた簡単なデプロイをサポートする点ですぐに卓越した存在となり、マルチクラウド環境でホストされるこのプロジェクトに理想的なものとなりました」と、Nguyen 氏は結果について語ります。

正確な ML 予測で顧客エンゲージメントをスピードアップ

特定のスペースにおけるユーザー エンゲージメントの確率を予測する分類モデルを導入した Twitter は、現在はお客様の嗜好をより深く理解するために、Twitter 機能に関する集計データを使用したモデルの最適化に取り組んでいます。たとえば、あるお客様が過去に特定のトピックに参加しており、新しいスペースがそのトピックと一致した場合、ML モデルはスペースタブでそのユーザーに提供されるスペースのスコアを増加させます。

スペースはライブの音声会話であるため、スペースタブはほぼリアルタイムでランク付けされ、見逃しがないようにする必要があります。これを踏まえて、Twitter のモデルは現在、スペースタブで 1 秒間あたり 900 件のクエリを実行し、1 秒間に 5 万件の候補を評価しています。同時に、これらのリクエストの 99% は 100 ミリ秒より速く、90% は 50 ミリ秒より高速です。

このプロジェクトの成功を測定するために、Nguyen 氏のチームは、主要な顧客エンゲージメント指標に関する A/B テストを実施しました。A は以前から本番環境にあった「最も人気のある」ヒューリスティック、B は個々の Twitter ユーザーの興味に合わせてスペースのレコメンデーションをパーソナライズすることを目指す新しい AutoML モデルです。プロジェクト開始から 3 か月が経過し、数字は順調に推移しました。「AutoML Tables ソリューションのデプロイ後、当社の重要な指標の一つであるスペースの 1 日のアクティブ ユーザーに 1.96% の増加がみられました。また、スペースへの参加率も 1.99% 増加し、スペースを探索するためのユーザーのクリックも 8.42% 増加しました。これは、より多くのユーザーが Twitter アプリのスペースタブ サービスを利用するようになっていることを示す前向きなシグナルであり、まさにこのプロジェクトで当社が目指したことです」と Nguyen 氏は言います。

手間のかからない ML フレームワークで新しいユースケースを実現

スペースタブのパフォーマンスを向上させるために本番環境で実行しているこの最初のソリューションにより、Nguyen 氏は、今後どのように Twitter ユーザーのエクスペリエンスをサポートできるかを考え始めています。「スペースタブは Twitter アプリのほんの一部にすぎません。現在の ML ソリューションでは、多くのトラフィックが発生するホームタブのトラフィックに対応するには距離があるため、より大規模なオペレーションが必要になります。これを実現させるには多少の作業が必要ですが、Google Cloud と連携してモデル性能を最適化する可能性を評価しています」と Nguyen 氏は説明します。

「プロダクト重視の企業として、当社は引き続きカスタマー エクスペリエンスの向上に注力し、そのポイントに到達するだめにできるだけ速くイテレーションを行いたいと考えています。AutoML は人による操作がほとんど不要なため、プロダクト チームにとって価値の高いものになります。この機械学習フレームワークのメリットを享受するために、モデルコードを書く必要はありません。AutoML は、さまざまなモデル アーキテクチャを自動的にテストし、お客様のニーズに対応した最先端のモデルを作り出します。ですから、万能のソリューションとは言えませんが、より多くの Twitter のユースケースを強化できる可能性を秘めた素晴らしいソリューションです」と Nguyen 氏は結論付けています。