SmarterX、Google Cloud とともに顧客ごとにカスタマイズされた LLM を構築

※この投稿は米国時間 2025 年 10 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 今回は SmarterX の取り組みをご紹介します。SmarterX は、小売業者、メーカー、物流企業が法規制リスクを最小限に抑え、売り上げを最大化し、消費者と環境を守るために AI を活用したツールを提供しています。これらのツールにより、製品を安全かつ法令遵守のもとで販売、出荷、保管、廃棄することが可能になります。SmarterX は BigQuery、Gemini、Vertex AI を活用して、ウェブ上に点在する膨大な法規制データや製品データなどの非構造化データを収集、処理、分析しています。こうして得られたデータをもとに、高精度なカスタム大規模言語モデル（LLM）を構築し、大手消費財ブランドや小売業者が規制対象製品を法令遵守のもとで販売、出荷、保管、廃棄できるよう支援しています。Google Cloud の統合された使いやすいツールセットが、SmarterX のプロダクト開発をどのように加速させているのかをご覧ください。

SmarterX でプロダクトおよびテクノロジー担当エグゼクティブ バイス プレジデントを務める Russell Foltz-Smith 氏は、小売業界を検索というレンズを通して見ています。

「ユニバーサル プロダクト コードが本当にユニバーサルなら、商品とその商品に直接関連するすべての情報を探すのはワンステップで済むはずです」と Foltz-Smith 氏はいいます。「でも現実の世界では、そんな理想の普遍性なんて存在しません。」

ブラウザの検索バーに何かを入力するとき、私たちは 1 日に何十回も、同じような現実に直面します。1 つの明確な答えが得られるクエリはほとんどありません。だからこそ、データ サイエンティストが「アルゴリズムによるインデックス作成とランキング戦略に支えられた確率的検索」と呼ぶもの（私たちが普段「ググる」と呼ぶもの）が生まれたのです。

「ある意味、データ サイエンスも LLM の構築も、突き詰めれば正確な情報の検索に行き着きます」と Foltz-Smith 氏は付け加えます。そして彼は、その理由を誰よりもよく理解している人物でもあります。

SmarterX の顧客（消費財ブランド、サードパーティの小売業者、流通業者、物流企業）は、オンライン上にあふれる膨大な法規制対象商品データを整理して意味づけるために SmarterX を利用しています。このプラットフォームは、商品の販売、発送、保管、廃棄が、適用されるすべての法律および規制を遵守して行われるよう支援します。

「SmarterX はデータを収集してインデックスを作成し、欠落しているデータポイントを三角測量的に補完します。さらに、顧客が法令遵守リスクを最小限に抑えながら売り上げを最大化できるように支援する検索インターフェースを提供しています」と Foltz-Smith 氏は説明します。そのために SmarterX は、ML と自然言語処理を活用したクローラを使い、ウェブサイト、研究論文、安全データシートなど、ウェブの隅々に潜む法規制情報を探索、スクレイピング、解析します。

「Google Cloud のテクノロジーは、弊社のニーズにこれ以上ないほどぴったりです」と Foltz-Smith 氏はいいます。「その中核にあるのは、入力や出力があらかじめ定義されておらず、データ自体も非構造化されているという、想像を超えるほど広大なデータ空間から、最適な検索結果を導き出す能力です。」

リアルタイムのデータ処理と高速かつ高精度なモデル構築

これらのデータを収集、保存するために、SmarterX は BigQuery と Cloud Storage を利用しています。「弊社のデータソースはばらばらで、形式も予測不能です。BigQuery は非構造化データと半構造化データを取り込み、実行時にデータを再帰的にクレンジング、正規化、スキーマ化、分類するジョブエンジンとして機能します」と Foltz-Smith 氏は続けます。

さらに、Google Cloud のスケーラブルなコンピューティング リソースとストレージにより、リアルタイムでのデータ処理も可能になります。「データセンターにサーバーが十分あるか、帯域幅が足りるかといった心配をする必要はありません」と Foltz-Smith 氏は付け加えます。「Google Cloud がそうした複雑さをすべて吸収し、自動的かつコスト効率よく処理してくれるのです。」

データ処理をさらに加速させるのが、BigQuery と Gemini の統合です。Gemini はデータ処理ジョブのキューを管理するほか、SmarterX がクライアント向けに構築する大規模言語モデル（LLM）の基盤にもなっています。「Gemini は、Google がこれまでにクロールしてきたあらゆる情報を部分的に集約したものでもあるため、弊社が改めてクロールする必要がありません」と Foltz-Smith 氏は述べています。これにより、モデル構築がより迅速になります。

また、ビルトイン グラウンディング（モデルの出力を検証可能な情報ソースに結びつける機能）により、Gemini は SmarterX の顧客にとって、より安全かつ信頼性の高いデータ収集手段となっています。さらに、検索拡張生成（RAG）により、Gemini を顧客が所有するデータベースと接続できるため、LLM の精度と関連性が高まるだけでなく、顧客データのセキュリティ確保にもつながります。

e コマースと法規制遵守への対応

SmarterX はクライアントごとに複数の個別 LLM を Vertex AI 上に構築しており、ビジネス要件の変化に応じて随時更新しています。

「Vertex AI では、Gemini に直接アクセスできるだけでなく、化学式など特定のトピックに特化した小規模で公開されている AI モデルへのリンクも提供してくれます」と Foltz-Smith 氏はいいます。SmarterX の Gemini ベースのモデルは、発火点、沸点、pH 値などを求める化学計算のような複雑な演算も実行できます。こうして得られたデータは、欠落しているデータを自動で三角測量的に補完したり、既存のデータを拡張したり、古い情報を更新したりするために活用されます。

Vertex AI はスケール対応にも優れており、これは、8 社の大手小売業者を顧客に持つ SmarterX にとって欠かせない要件です。それぞれの小売業者には、規制対象の消費財を扱う何千ものサプライヤーが存在します。SmarterX の顧客には、そのサプライヤー企業も含まれており、各社は Amazon や TikTok などのサードパーティ マーケットプレイスで商品を販売しています。

「ブランドが自社の従来型店舗だけで商品を販売していた時代はもう終わりました」と Foltz-Smith 氏は説明します。「小売サイトの増加やマーケットプレイスごとの商品バリエーションが、弊社の業務をこれまでにないほど複雑にしているのです。」SmarterX は日々、数百万件もの SKU を処理し、新しい法令遵守データが追加されるたびに、顧客ごとの LLM を更新する必要があります。これらの更新は、商品の設計から販売、マーケティング、さらには廃棄に至るまで、顧客のサプライチェーン全体に影響を及ぼします。

SmarterX がこの膨大なデータ量に対応できているのは、BigQuery への SQL の統合および Google Cloud テクノロジー全体が持つ高い相互運用性のおかげだと Foltz-Smith 氏は評価しています。

「もはや別々のワークフローを維持したり、複数のツールの使い方を学んで常に切り替えたりする必要はありません」と同氏は指摘します。「ウェブのクロール、BigQuery に取り込んだデータの処理、プログラム コードや SQL ステートメントによる操作、トレーニング データの調整、新しい LLM の構築、評価、デプロイ、更新という一連の作業を、すべて一貫したシステム内で、同じ使い慣れたインターフェースを通して行うことができます。Google Cloud のワークフローは、大規模データ サイエンスのために設計されているといえます。」

専門知識を持つ担当者を支援

Google のワークフローは、大規模データ サイエンスだけでなく、データ サイエンスの民主化を目的として構築されています。そのため、データ サイエンスのトレーニングを受けていない非技術系の専門担当者でも、データを直接扱ったり、自分でモデルをデプロイしたりできる機能が備わっています。

Foltz-Smith 氏によると、これらの機能には、トレーニング データ セットを簡単に入れ替えられる機能、パラメータ設定を支援する意思決定サポート機能、モデル評価を容易にする標準搭載の可視化機能、評価フレームワークの形式を整えるためのテンプレートなどがあります。

「以前は、モデリング ツール、データベース ツール、API デプロイ ツールの使い方を理解し、さらにモデルの基礎にある数理やコードの書き方も習得しなければ、モデルの構築とデプロイはできませんでした」と同氏はいいます。「しかし今では、それらすべてが 1 つの環境に統合され、使い慣れたユーザー インターフェースを通じて操作できるようになりました。これにより、データ サイエンスの専門的な訓練を受けていない人でも、生産性を大幅に向上させることができます。彼らにとって、これは驚くほど自由で力を与えてくれる体験です。」

この自由が、プロダクト開発の加速につながっています。

規制要件に関する業界特有の知識を持つ SmarterX のチームメンバーは、そうした知識を SmarterX の顧客に提供するモデルを自ら評価、修正、デプロイできるようになりました。以前は、そのノウハウをモデルに反映するために、データ サイエンティストの手を借りる必要がありました。

「世界中のあらゆる情報を整理し、誰もが利用できるようにするという Google の使命は、いま提供されているツールの中にも体現されています。この使命は、SmarterX がデータ サイエンスを顧客支援に活用する方法とまさに一致しています」と Foltz-Smith 氏は締めくくります。「私は 20 年以上データ サイエンティストとして働いてきましたが、Google Cloud のツールは常に私の期待を上回り続けています。」

-Nic Smith、データ分析担当プロダクト マーケティング責任者