Fullstory が Gemini 1.5 Pro を提供する Vertex AI を利用して、ユーザー分析情報を明らかにする方法

※この投稿は米国時間 2024 年 12 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

ユーザー エクスペリエンスのマッピングは、企業が直面する最も根強い課題の一つです。Fullstory は行動データ分析の有力なプラットフォームです。ユーザー セッションを再現し、カスタマー ジャーニーの改善点を明らかにする高度な分析を共有することで、組織の課題の特定とデジタル エクスペリエンス最適化を後押しします。この結果、コンバージョン率を向上させてチャーンを低減し、顧客満足度を高めます。

このプラットフォームが、AI によってさらに強化されています。Fullstory の包括的な AI 搭載の自動キャプチャ技術、Fullcapture は、手動での計測を不要にし、見逃される可能性のあった隠れたパターンを明らかにします。

ここでは、Fullstory がどのように Gemini 1.5 Pro を提供する Vertex AI を活用して自動キャプチャ技術を向上させているかを説明します。

Vertex AI と AI エージェントが、どのように Fullstory のユーザー エクスペリエンス測定に役立つか

Fullcapture を、ウェブサイトやアプリのあらゆる操作を詳細にキャプチャするビデオ レコーダーだと考えてみてください。従来の自動キャプチャ方法は、音声文字変換のようなもので、選択された一部のみをロギングし、全体像を見逃しがちでした。Fullcapture は、デバイスのパフォーマンスに対する影響を最小限に抑えながら、すべてのユーザー アクションを記録します。Fullcapture はサーバーサイドで動作するため、必要に応じてユーザー行動のあらゆる側面を再確認できます。新しいシグナルが必要な場合は記録されたデータから簡単に取得可能で、クライアントサイドのパフォーマンスに影響を与えることはありません。

以下の表は、ユーザーが顧客データをより深く理解できるようにするために、Fullcapture が従来の自動キャプチャ以上の機能をどのように提供できるかを示しています。

Fullstory は、Gemini 1.5 Pro を提供する Google の Vertex AI を Fullcapture 機能と統合して、お客様が膨大なデータを簡単に分析し、本当に重要な問題に集中できるようにします。Fullstory は、プロアクティブな AI エージェントを活用し、重要な要素のハイライト表示とユーザー インタラクションのセマンティック コンポーネントへの自動分類により、データをすばやく見つけられるようにして、より深いレベルの分析を可能にします。

AI によるデータの検出

データ検出は 6 段階のプロセスです。さまざまなソースからデータを探して分類、分析し、パターンを見出して行動につながるインサイトを引き出します。このプロセスによりユーザーは、データの関係性を視覚的に把握し、高度な分析を適用して、ビジネス上の意思決定とパフォーマンスを最適化できます。

ユーザー行動を効果的に分析するため、企業はウェブサイト上の重要な要素（ボタン、フォームなど）を特定し、ラベルを付ける必要があります。こうしたプロセスは手間と時間がかかります。Gemini 1.5 Pro を搭載した Fullstory の AI エージェントは、ユーザー インタラクションからデータを収集し、重要な要素の特定、要素の重要性の判断、自律的な分類など各段階でインテリジェントに意思決定を行うことで、この重要なタスクを自動化します。多段階の意思決定プロセスにより、ワークフローが効率化されるうえに、企業が手作業によるラベリングではなく、行動につながるインサイトの抽出に集中できるようになります。

Fullstory では「要素」によって、特定の CSS セレクタに基づいた UI コンポーネントのラベリングができるようになります。CSS セレクタは、クラス、ID、属性など、ウェブページ上の要素をターゲットとするために使用されるパターンです。たとえば、「Checkout Button」という要素は、.checkout-page-container [data-testid="primary-button"] のセレクタで作成可能です。こうしたラベルは、UI コンポーネントを分類してプロダクト分析に活用する際に役立ちます。広範なセマンティック ラベリングは、Fullstory を長期的に活用するために重要であり、このプロセスを自動化することでユーザーのワークフローを簡素化できます。

Gemini 1.5 Pro を提供する Vertex AI は、大きな規模で人間味を加えるユニークな機会を提示します。ウェブ コンポーネントをプロアクティブに特定、説明し、最終的には Fullstory のお客様に役立つ、行動につながるインサイトを提供します。Gemini 1.5 Pro は、React などのウェブ フレームワークや CSS によるウェブ実装を含む幅広いウェブの専門知識に加えて、膨大なウェブサイト画像のデータセットを基にトレーニングされています。

たとえばこのモデルは、ページ全体の構造と表示されているテキストの両方に加えてウェブページの論理構造を理解し、ウェブサイトのスクリーンショットを分析してその構成要素を正確に説明できます。CSS セレクタなど、ウェブ実装の詳細を追加するとさらに理解を補い、特定のコンポーネントに対するモデルの理解を深めることができます。

要素の正確な特定のための最適化

Fullstory は、モデルが確実に高精度の要素提案を行えるように、以下の 4 つの重要な方法で緻密なアプローチをとっています。

1. 戦略的なプロンプト エンジニアリング: 複雑なタスクを管理可能なステップに細かく分解して、モデルが基礎的な理解を構築し、一貫性のある正確な結果を提供できるようにします。

2. ヒューリスティックによる事前フィルタリング: Gemini を提供する Vertex AI にリクエストが送信される前に、ヒューリスティックが潜在的な要素を事前にフィルタリングし、効率性を最適化します。

3. Gemini を提供する Vertex AI による検証: モデルの専門知識が潜在的な要素を検証し、有益な提案のみが表示されるようにします。

4. コンテキストに基づいた提案: 各提案はスクリーンショット、CSS セレクタ、出現頻度の指標を含んでおり、情報に基づいた意思決定に必要な重要なコンテキストを提供します。

こうしたプロセスにより、Gemini AI 機能が効果的かつ効率的に活用され、正確で価値のある要素提案が可能になります。

特定と精度向上: 重要なウェブ要素の特定とラベリング

デジタル エクスペリエンスを最適化するには、ウェブの重要な要素を特定し理解する必要があります。こうした要素は、ウェブサイトが変更されても問題のない方法で定義されなければなりません。ウェブサイトやユーザー行動は多様であるため、これは大きな課題となります。

実際の例として、要素セレクタが次のようになる場合があります。

「特にクリック数の多いボタン」のような指標はある程度の知見を提供してくれますが、エンゲージメントを促進し、エラーを知らせ、隠れた機会を示す要素を明らかにするには、さらに高度なアプローチが必要です。長く脆弱になりかねない要素セレクタ定義を効果的に管理するのも、データ品質を維持するには重要です。

意味のある要素の検索

Fullstory はすべてのユーザー インタラクションをキャプチャし、豊富なデータを生成します。プラットフォームは以下を優先して、認識できないコンポーネントを継続的にモニタリングします。

• 新機能の検出: 新しくリリースされた機能ページ上の要素を特定します。

• パワーユーザーの行動: 経験豊富なユーザーがウェブサイトでどのように行動するのか理解します。

• エラーシグナル: エラーの可能性を示唆する CSS がある要素を検出します。

• コンテンツの分析: ユーザーの意図や潜在的な問題を示唆するテキストを含んだ要素を分析します。

こうした検索では、CSS セレクタを利用して要素を正確にターゲットとし、細かな分析と効率的な改善を行います。

Fullstory でユーザー行動を分析すると、複雑な CSS セレクタの生成が必要になる場合がよくありますが、Vertex AI と Gemini 1.5 Pro で、このプロセスを簡素化できます。

• ディープ インデックス: ウェブサイトの CSS セレクタのコンポーネントや関連するイベントは、トークン化されてインデックスに登録され、無数のバリエーションを効率的に検索できるようにします。

• 意味的関連性: モデルはセレクタの背後にある意味を理解します。たとえば、「Add to Cart」のボタンをトラッキングする際に、モデルは .add-to-cart が .primary-button のような汎用クラスよりも、より関連度の高いクラスだと認識します。

• パワフルな検索: 意味の理解と高度な検索機能を組み合わせて、モデルはセレクタに最もマッチする要素を特定します。

これにより、深い CSS の専門知識がなくても高品質なセレクタを生成でき、ユーザーは Fullstory データから価値ある分析情報を見つけることに集中できるようになります。

Fullstory の要素が最適化された例はこちらです。

正確なラベリングの重要性

CSS セレクタで要素を特定すると、正確なラベリングが重要になります。これには以下が含まれます。

• 名前: 要素の機能を反映した明確で簡潔な名前。

• 説明: 要素の目的と動作の詳しい説明。

• ロール: Fullstory のライブラリからの事前定義ロール（「Add to Cart Button」「Validation Error」など）の割り当て。

式にコンテキストを加える

高品質で一貫した要素のラベリングを行うために、Gemini 1.5 Pro を提供する Vertex AI は、Fullstory のリッチデータと高度な AI 機能を活用して包括的なコンテキストを提供します。

• 視覚的表現: セッション再生から生成された、動作している要素のスクリーンショット。

• テキスト分析: 要素に関連したテキストの出現を調査します。

• 場所のトラッキング: 要素が現れた URL を特定します。

このアプローチで、Fullstory のデータ キャプチャと Vertex AI、Gemini 1.5 Pro を組み合わせて、ユーザー行動を真に理解するための、基本的な指標にとどまらない AI による分析が可能になります。重要なウェブ要素を、コンテキストに基づいて高い適合率で特定し、ラベリングすることで、企業は価値のある知見を得て、素晴らしいデジタル エクスペリエンスを作成できます。

Vertex AI API for Gemini 1.5 Pro で実世界での結果を生み出す

Fullstory と Google Cloud のコラボレーションにより、数万件の要素提案がお客様に向けて生成されました。また、Gemini 1.5 Pro によって大量の無関係な提案がインテリジェントにフィルタリングされています。さらにこのモデルは、以前は認識されていなかった数多くのエラー要素を特定しました。

要素の特定だけでなく、要素の構成とスクリーンショットとのマッピングにより、サイト設定の改善や分析の強化に向けた新たな可能性が広がりました。今後も Fullstory と Google Cloud のコラボレーションで、お客様がユーザー行動をより深く理解し、デジタル エクスペリエンスを最適化できるように、大きな価値を提供し続けます。

ぜひ、行動データをご活用ください。Google Cloud Marketplace で Fullstory をご確認いただけます。Fullstory で、ユーザー行動に隠された洞察を明らかにし、デジタル エクスペリエンスを最適化する重要な機会を特定することで、お客様へのより深い理解を得られます。

Fullstory のエクスペリエンスを向上させるために AI を活用する詳しい方法について、さらに詳しくお知りになりたい場合は、Fullstory のドキュメントをご覧になるか、AI がお客様の取り組みをどのように加速できるか確認するためにこのコラボレーションをお試しください。

-Fullstory、シニア ソフトウェア エンジニア、Kevin Wang 氏

-Google Cloud、AI / ML プリンシパル アーキテクト、Christian Williams