このガイドでは、データストア ハンドラのパフォーマンスをモニタリングして改善するための推奨事項について説明します。
エージェントのパフォーマンスを追跡する
エージェントの会話履歴をモニタリングしたり、エージェントの統計情報に分析ツールを使用したりできます。
セルフサービス評価を実行する
セルフサービス評価を実行して、データストア エージェントの品質を評価し、変更を推奨できます。
エージェントのレスポンスを改善する
テスト中に期待どおりでないレスポンスが見つかった場合は、次の手順をお試しください。
- 特定の質問のよくある質問のエントリを追加することで、回答を上書きできます。
- 構造化されたよくある質問で質の低い回答がある場合は、非構造化されたよくある質問をお試しください。
- レスポンスを最適化するには、構成の解析とチャンクを使用します。
- 特定のフレーズを禁止するには、エージェントの設定: 禁止フレーズをご覧ください。
- 責任ある AI（RAI）のコンテンツ フィルタリングをカスタマイズするには、エージェントの設定: 安全フィルタをご覧ください。
- 会話の早い段階の情報に基づいてエージェントのレスポンスを微調整するには、検索条件を構成します。この機能はデータストア ツールでのみ使用できます。
Playbook で使用されるデータストア ツールの最適化
この設定により、ユーザーのクエリを書き換えたり、ツール パラメータを動的に入力したりしないことで、データストアの RAG レスポンスが高速化され、レイテンシが改善されます。つまり、ユーザーのクエリはそのままデータストアに渡され、フィルタやユーザー メタデータ関連のパラメータは入力されません。
この機能を有効にするには、Dialogflow CX コンソールでプレイブックを選択し、[設定] タブをクリックします。フォローアップ アクションをすぐに処理するか、次のエンドユーザーの入力を待つようにハンドブックを構成できます。
有効になっている場合でも、以下の Playbook の手順は適用されます。
- データストアを使用してユーザーのクエリに回答するタイミング。
- データストアを使用してユーザーのクエリに回答せず、代替の回答を提供するタイミング。
- たとえば「競合製品に関する質問には答えないでください」など、防御的な指示。
有効にすると、次の Playbook の手順は無視されます。次のいずれかのクエリ要件がある場合は、この設定を有効にしないでください。
- 手順に沿って入力する特定のデータストア フィルタ。
- フィルタによって渡されたユーザーのパーソナライズ メタデータを適用する手順。
- データストアにクエリを発行する前にユーザー クエリを書き換えるためのその他の指示。
会話の余談を処理する
エンドユーザーが会話中に明らかにするための質問をする場合があります。たとえば、クレジット カード情報の収集中に、CVV が何かを明確にする必要があります。この場合、エージェントは質問に回答し、必要なクレジット カード情報の収集に戻る必要があります。これを行うには、質問に答えるデータストアを使用してデータストア ハンドラを作成し、そのハンドラをクレジット カード情報の収集を処理するフローのフロースタートページに適用して、このハンドラが「現在のページ」に戻るためのトランジション ターゲットを設定します。
望ましくないインテント マッチを処理する
エージェントがデータストア ハンドラを使うべきなのにインテントと一致している場合、これを修正するために以下を試すことができます。
- あいまいなトレーニング フレーズを削除または変更します。これにより、すべてのトレーニング フレーズが目的の意図を正確に処理し、データストアのコンテンツと競合しなくなります。
- ネガティブ サンプルを使用してインテント不一致を回避します。
データストアのフィルタリング
場合によっては、セッション パラメータ値に応じて、クエリに特定のデータストアのみを使用することがあります。たとえば、商品カテゴリごとに一意のデータストアを作成する場合があります。商品カテゴリのデータストア フィルタリングを行うには:
- セッション パラメータを商品カテゴリに設定します。
- セッション パラメータの値をチェックし、目的のデータストア ハンドラを含む特定のページに遷移する条件ルートを作成します。
- データストア ハンドラが呼び出しページに戻り、会話を続行できます。
データストア検索の構成
データストアの検索結果のファインチューニングの詳細については、データストアの検索構成をご覧ください。