ユーザーガイド: 要約の自動評価

要約の自動評価（自動評価）では、精度、完全性、準拠性の 3 つの指標に基づいて要約の品質を評価します。この機能は、要約ジェネレータの品質を評価するのに役立ちます。これは、カスタム セクション定義を調整したり、要約モデルに影響するソフトウェアをアップグレードしたりする際に重要です。評価指標の詳細については、要約の自動評価の基本をご覧ください。

始める前に

  • 評価用の候補要約を生成する要約生成ツールを作成します。
  • 生成器のセクション定義は、評価のグラウンド トゥルースとして機能します。
  • 最終スコアでジェネレータの品質を反映させるには、各セクションの手順がジェネレータの手順と一致している必要があります。

要約の自動評価リクエストを作成する

要約ジェネレータを作成する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインします。

    コンソールへ移動

  2. プロジェクトを選択します。

  3. [評価] > [新しい評価] をクリックします。

  4. 一意の [表示名] を入力し、候補者の概要に一致する [生成ツール] を選択します。

  5. [次へ] をクリックします。

  6. 次の 2 つのオプションのいずれかを使用して、評価データセットを選択します。

    • 期間内の会話のランダム サンプル: エージェント アシストの要約機能の料金を支払っている場合は、期間と会話の最大数を指定します。評価では、履歴から最大数の会話と要約がランダムに選択されます。
    • 特定のデータセットを選択する: 会話インサイトでキュレートした会話の特定のサンプルを選択します。

  7. 次のいずれかのオプションから概要のソースを選択します。

    • 指定されたジェネレータを使用して、欠落している要約のみを生成します。要約生成費用を支払う
    • すべての会話の新しい要約を生成します。要約生成費用を支払う
    • 要約を生成しない。代わりに、データセットで見つかった既存の要約を使用します。別の費用をお支払いいただく必要があります。

  8. [次へ] をクリックします。

  9. [フォルダを選択] をクリックし、結果を保存するバケット内の Cloud Storage フォルダを選択して、[OK] をクリックします。自動評価は CSV ファイルに書き込み、Cloud Storage バケットに保存します。

  10. [実行] をクリックします。これは長時間実行オペレーションです。新しい評価が表に表示されます。

評価

要約ジェネレータと完了した評価セッション実行のリストを表示する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインします。コンソールに移動
  2. プロジェクトを選択します。
  3. [評価] をクリックします。
  4. 省略可: 作成時間の順序を切り替えるには、[作成時間] 列の見出しにある keyboard_arrow_down [下] をクリックします。

リストをフィルタリングする

リストをフィルタして特定の評価を検索する手順は次のとおりです。

  1. [評価をフィルタ] をクリックします。

  2. 次のいずれかのオプションを選択します。

    - **Display name**
- **Generator name**
- **Create time**

  3. パラメータの値を入力します。

評価を削除する

  1. ジェネレータが評価の実行を完了するまで待ちます。
  2. [削除]（削除）をクリックして、評価をクリアします。

評価の結果を表示する

Agent Assist コンソールで評価結果の詳細を表示する手順は次のとおりです。

  1. Agent Assist コンソールに移動してログインします。コンソールに移動
  2. プロジェクトを選択します。
  3. [評価] をクリックします。
  4. リストの任意の行をクリックすると、評価の詳細が表示されます。これには次の情報が含まれます。
    • 生成ツールの表示名
    • 会話数
    • 会話型分析情報データセットがある場合、関連付けられた会話型分析情報データセットの名前
    • 実行日時
    • Cloud Storage 出力
    • データセット全体の全体的なパフォーマンス結果
    • データセット内の各会話の会話レベルの結果

会話レベルの結果

Agent Assist は、会話レベルの評価結果をテーブルに表示します。

  1. [評価の詳細] ページで、[会話レベルの結果] テーブルの任意の行をクリックすると、詳細な結果、概要、会話の文字起こしが表示されます。
  2. セクションをクリックすると、概要からそのセクションの例が表示されます。

結果の比較

異なる評価の結果を比較する手順は次のとおりです。

  1. Agent Assist コンソールで、[Evaluations] に移動します。
  2. 評価をクリックすると、詳細が表示されます。この評価は比較の基準となり、比較に含める指標を決定します。
  3. [比較] > [実行を追加] をクリックして、比較用の他の評価を追加します。一度に最大 5 つの評価を比較できます。各表示名はグレーでハイライト表示されます。
  4. 比較から評価を削除するには、[閉じる] 閉じるをクリックします。

制約事項

要約の自動評価は VPC Service Controls をサポートしていません。

利用可能なリージョン

要約の自動評価は、エージェント アシストの 2 つのリージョンでのみ使用できます。各機能で利用可能なリージョンの一覧については、地域化の表をご覧ください。