Google Cloud が Vertex AI のグラウンディング機能を拡張
Burak Gokturk
VP & GM, Cloud AI & Industry Solutions, Google Cloud
※この投稿は米国時間 2024 年 6 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。
4 月に導入された Vertex AI Agent Builder は、デベロッパーがエンタープライズ対応の生成 AI のエクスペリエンス、アプリ、エージェントを構築する際に必要なすべてのサーフェスやツールを集めたものです。
特に有効なツールに、検索拡張生成（RAG）用のコンポーネントと、Google 検索を根拠として Gemini の出力を生成する独自の機能があります。
本日は、お客様がより高性能のエージェントやアプリを構築できるよう、こうしたグラウンディング（根拠づけ）機能の拡張についてお知らせします。
-
Google 検索によるグラウンディング（一般提供中）では、まもなく動的取得を提供する予定です。これは、Google 検索の結果を使用する場合とモデルのトレーニング データを使用する場合をインテリジェントに選択し、品質と費用対効果のバランスを取ることができる新機能です。
-
高忠実度モードによるグラウンディング（試験運用プレビュー版を本日発表）は、Grounded Generation API の新機能であり、ハルシネーションをさらに減らします。
-
サードパーティ データセットによるグランディングは本年度の第 3 四半期に導入予定です。こうした機能により、お客様は、より精度と有用性に優れた回答を提供する AI エージェントや AI アプリケーションを構築できるようになります。Google Cloud は、Moody's、MSCI、Thomson Reuters、Zoominfo などの専門プロバイダとともに、各社のデータセットへのアクセスを提供できるよう取り組んでいます。
-
また、エンベディング ベースの RAG を支えるベクトル検索も拡張し、ハイブリッド検索を公開プレビュー版として提供しています。
Google 検索による世界中の知識へのモデルのグラウンディング
お客様が Gemini モデルに Google 検索によるグラウンディングを選択すると、Gemini は Google 検索を使用して、関連する検索結果を根拠とする出力を生成します。使い方は簡単で、世界中の知識が Gemini で利用可能になります。
これらの機能は、企業への生成 AI の導入を阻む重要な課題に対応しています。その課題とは、モデルがトレーニング データ以外の情報を知らないということと、基盤モデルに「ハルシネーション」の傾向があること、つまり説得力はあるが事実性の面で問題がある情報が生成される可能性があることです。こうした課題を軽減するために開発された検索拡張生成（RAG）手法では、最初に質問に関する事実を「取得」してから、その事実をモデルに提供して、回答を「生成」します。この一連のプロセスのことを Google Cloud ではグラウンディングと呼んでいます。モデルの知識を拡張するために関連する事実を迅速に入手することは、結局は探索問題となります。
Quora や Palo Alto Networks などの先進企業は Google Cloud のグラウンディング機能を利用して生成 AI のエクスペリエンスを強化しています。
自社の Poe プラットフォームで Google 検索によるグラウンディングを提供している Quora でプロダクト リードを務める Spencer Chan 氏は次のように述べています。「Google 検索によるグラウンディングは、より精度が高く、新しく、信頼できる回答につながります。これまでのところ評判は良く、ユーザーはより確信を持って Gemini の bot を利用できるようになりました。」
「当社はカスタマー エクスペリエンスの最適化と、サポート エージェントの効率の最大化を目指していました。Google Cloud とパートナーシップを組み、Palo Alto Networks のソリューションに生成 AI を統合することでこれが実現しました。その結果、セキュリティに関する複雑な問い合わせの理解や対応の機能が強化されました」と、Palo Alto Networks でデータ サイエンス担当シニア ディレクターを務める Alok Tongaonkar 氏は述べており、次のように続けています。「お客様がセルフサービスでトラブルシューティングできるようになっただけでなく、サポートチームに対するプレッシャーが軽減されました。Vertex AI Agent Builder のグラウンディング機能を、高性能の Gemini モデルと並行して活用することで、正確でタイムリーな回答を提供できるよう、エージェントの構成を整備できました。それはすべて信頼できるデータソースを根拠にしたものです。Agent Builder のグラウンディング機能は進歩し続けているため、情報検索と全体的な有効性のさらなる向上が約束されています。」
Google 検索によるグラウンディングは追加の処理費用を伴いますが、Gemini のトレーニング データは非常に有用であるため、すべてのクエリがグラウンディングを必要とするとは限りません。Google 検索によるグラウンディングでは、お客様が求める回答の質と費用対効果のバランスを確保できるように、まもなく動的取得を提供する予定です。これは、ユーザーからの質問への根拠として Google 検索を使用するか、モデルに組み込まれた知識を使用するかを Gemini が動的に選択できるようにするもので、後者のほうが費用対効果は高くなります。
モデルでは、どのプロンプトが、不変の事実、ゆっくりと変化する事実、または急速に変化する事実と関連しているかを理解する機能に基づいて判断が行われます。たとえば、最近の映画についての質問なら、Google 検索によるグラウンディングで最新情報が得られます。これに対して、「フランスの首都」などの一般的な質問の場合、Gemini は外部に根拠を求めることなく、その豊富な知識から回答をすぐに引き出せます。
企業のコンテキストへのグラウンディング 生成 AI の可能性を最大限に引き出すための鍵は「企業の実体」を根拠にすることにあると Google Cloud は考えています。そのためには、AI モデルを多くの信頼できる情報源に接続する必要があります。これには、ウェブデータ、企業ドキュメント、運用データベースや分析データベース、企業アプリケーション、その他の関連する情報源が含まれます。
社内限定のデータはインターネット上にはなく、Google 検索で見つけることはできないため、Google 検索によるグラウンディングに加えて、Google 品質の検索を企業データに適用する方法が複数用意されています。Vertex AI Search は、ほとんどの企業のユースケースでそのまますぐに使用できます。カスタムの RAG ワークフローの構築、セマンティック検索エンジンの作成、あるいは単に既存の検索機能のアップグレードを検討しているお客様には、検索コンポーネント RAG 用 API が用意されています。一般提供中のこの API スイートは、ドキュメントの解析、エンベディングの生成、セマンティック ランキング、根拠に基づく回答の生成に使用できる、質の高い実装となっています。また、Check Grounding というファクト チェック サービスもあります。
「Deloitte のミッションは、クライアント各社が具体的な成果を特定、実現し、他社とは異なるビジネス価値を創出できるよう支援することです。Vertex AI Agent Builder のグラウンディング機能を使用することで、自社のナレッジベースをスピードアップさせる社内アプリケーションだけでなく、産業界のクライアント向けの外部アプリケーションも構築しました。たとえば、医療分野のクライアント向けに、保険会社が医療機関を検索するための申請プロセスを支援しました」と、Deloitte Consulting LLP で Alphabet Google アライアンス担当グローバル生成 AI リーダーを務める Gopal Srinivasan 氏は述べており、次のように続けています。「Agent Builder では、RAG システムがすぐに使えるようになっており、信頼性と関連性に優れた生成アプリケーションを短期間で構築できました。Agent Builder の新しい検索コンポーネント API により、アプリケーション作成時の柔軟性と管理性がさらに高まり、社内チームと産業界のクライアント チームの特殊なニーズが合理化されます。」
高忠実度モードによるグラウンディング
RAG ベースのエージェントやアプリで生成される回答では一般に、企業データから提供されるコンテキストが、モデルの内部トレーニングと統合されます。この方法は、旅行アシスタントなど多くのユースケースに有効であるものの、金融サービス、医療、保険などの業界では多くの場合、提供されるコンテキストからのみ回答を生成することが求められます。試験運用プレビュー版がこのたび発表された、高忠実度モードによるグラウンディングは、このようなグラウンディングのユースケースに特化して構築された、Grounded Generation API の新機能です。
この機能は、お客様が提供するコンテキストにフォーカスして回答を生成するよう調整された Gemini 1.5 Flash モデルを使用します。このサービスは、複数のドキュメントにわたる要約、金融データのコーパスに対するデータ抽出など、主要な企業向けユースケースをサポートしています。結果的に、高レベルの事実性と、ハルシネーションの削減が実現しています。高忠実度モードを有効にすると、その主張の裏付けとなる参照元が回答内の文に添付されます。グラウンディングの信頼スコアも提供されます。
信頼できるサードパーティ データを RAG で簡単に活用
さらに Vertex AI では、次の四半期から、専用のサードパーティ データをモデルや AI エージェントの根拠として使用できる新サービスも提供されます。企業はサードパーティ データを生成 AI エージェントと統合することで、独自のユースケースを実現し、AI エクスペリエンス全体で企業の実体を強化できます。現在、Moody’s、MSCI、Thomson Reuters、Zoominfo などのプレミア プロバイダとともに、各社のデータをこのサービスで利用可能にできるよう取り組んでいます。
KPMG で税務および法務担当グローバル CTO を務める Brad Brown 氏は次のように述べています。「Google Cloud のサードパーティ データへのグラウンディング サービスは、KPMG と当社のクライアントに新たなアプリケーションの可能性をもたらします。業界リーダー各社が提供する専用のサードパーティ データを当社の生成 AI サービスにシームレスに統合することで、分析情報をより短時間で入手し、より適切な情報に基づく意思決定を推進できます。そして最終的に、信頼性に優れたデータソースを利用して、より高い価値を提供できるようになります。」
独自の RAG システムの構築
エンベディングとは、複雑なデータ（テキスト、画像など）間の意味関係を表す数値表現です。エンベディングは、推奨事項のシステム、広告配信、RAG のセマンティック検索など、複数のユースケースに活用されています。このようなユースケース向けに、Vertex AI はベクトル検索を提供しています。これは、数十億のベクトルまでスケールし、わずか数秒で最近傍を検索できるものです。
このたび、ベクトル検索を拡張してハイブリッド検索に対応できるようになりました。ハイブリッド検索は、ベクトルベースとキーワード ベースの検索手法を組み合わせ、関連性と精度が最も高い回答をユーザーに提供するものです。現時点で公開プレビュー版となっています。
また、新しいテキスト エンベディング モデル（text-embedding-004、text-multilingual-embedding-002）が、質の面で旧バージョンを上回り、MTEB リーダーボードのパフォーマンス ランキングで上位に入っています。これにより、AI モデルは多様なデータタイプにわたって意味、コンテキスト、類似性をより適切に理解できるようになり、エンベディングやベクトル検索ベースのアプリケーションのパフォーマンスが高まります。「当社のリサーチ プラットフォーム Factiva の目標は、20 億以上の記事を含むデータセット内の情報にユーザーがもっとアクセスしやすくすることでした。結果として、関連性と信頼性を向上させるために最適化された検索エクスペリエンスを作成する必要がありました」と、Dow Jones でコンシューマー向けテクノロジー担当 SVP を務める Clarence Kwei 氏は述べており、次のように続けています。「Google Cloud のテキスト エンベディング モデル Gecko とベクトル検索を適用することで、Factiva でセマンティック検索が可能になり、クエリに対してより高い質と精度で回答を生成できるようになりました。カスタマー エクスペリエンスも改善されたことで、さらに効率が向上し、最終的にサービスの活用が促進されると思われます。」
「当社の検索ロジックはこれまで単語の一致に大きく依存していました。このアプローチは、シンプルなクエリ（『Samsung TV』など）では適切に機能しましたが、『サッカーが大好きでメッシのファンである娘へのプレゼント』といった複雑な検索には適していませんでした。ここに、ユーザーの意図と意味的に関連するアイテムを検索できる、よりパワフルなソリューションの必要性を認識しました」と、Mercado Libre でシニア エンジニアリング マネージャーを務める Nicolas Presta 氏は述べており、次のように続けています。「この問題を解決するため、エンベディングとベクトル検索テクノロジーを使い始めました。当社の売り上げのほとんどは検索がきっかけです。このため、ユーザーのクエリに最も適合する結果を返すことが重要です。ベクトル検索から取得されたアイテムを追加することで、複雑な検索は改善されており、最終的にはこれがコンバージョン率の向上につながります。ハイブリッド検索によって検索エンジンをさらにレベルアップできれば、最適なカスタマー エクスペリエンスを提供しながら、収益を拡大できるでしょう。」
すべてを企業向けに提供
エンタープライズ クラスの生成 AI の時代になりました。組織が企業の実体を根拠とする生成 AI アプリケーションを構築できるよう、Vertex AI Agent Builder はあらゆる技術レベルのお客様に対応し、ノーコードのエージェント コンソール、ローコードの API を提供しています。また、LangChain、LlamaIndex、Firebase GenKit などの一般的な OSS フレームワークをサポートしているため、デベロッパーは本番環境ですぐ使えるソリューションを構築できます。
データを Cloud SQL、Spanner、BigQuery などの Google データベースにすでに格納している場合は、Vertex AI Search へのコネクタを通じてアクセスするか、組み込みのベクトル検索機能を使用してセマンティック検索を有効にすることで、データの移動やコピーを行うことなく、企業向け生成 AI アプリケーションを構築できます。
こうしたテクノロジーの性能が高まるなか、Google Cloud は、企業が根拠のある生成 AI を現実世界で最大限に活用できるよう取り組んでいます。次のステップに進む準備はできていますか。Google Cloud の担当者にお問い合わせいただくか、Vertex AI Agent Builder をご確認ください。
