使用者指南：摘要自動評估

摘要自動評估 (自動評估) 會根據準確度、完整度和一致性這三項指標，評估摘要品質。這項功能可協助您評估摘要產生器的品質，在調整自訂章節定義或升級會影響摘要模型的軟體時，這項功能至關重要。如要進一步瞭解評估指標，請參閱摘要自動評估基礎知識。

事前準備

  • 建立摘要生成器，為評估作業生成候選摘要。
  • 生成器中的章節定義會做為評估的實際資料。
  • 如要讓最終分數反映生成器品質，各節的指示必須與生成器中的指示相符。

建立摘要自動評估要求

請按照下列步驟建立摘要產生器。

  1. 前往 Agent Assist 控制台並登入帳戶。

    前往控制台

  2. 選取專案。

  3. 依序點選「評估」 >「新評估」。

  4. 輸入專屬的「顯示名稱」，然後選擇與候選人摘要相符的「產生器」。

  5. 點選「下一步」。

  6. 選擇評估資料集，方法如下：

    • 指定日期範圍內的隨機對話樣本：如果您已付費使用 Agent Assist 摘要功能，請指定日期範圍和對話數量上限。評估功能會從記錄中隨機選取最多上限的對話和摘要。
    • 選取特定資料集：選擇您使用 Conversational Insights 策劃的特定對話樣本。

  7. 從下列選項中選擇摘要來源：

    • 只使用指定的產生器產生缺少的摘要。支付摘要生成費用
    • 為所有對話生成新的摘要。支付摘要生成費用
    • 不要生成摘要。請改用資料集隨附的現有摘要。你必須支付其他費用。

  8. 點選「下一步」。

  9. 按一下「選取資料夾」，在值區中選擇要儲存結果的 Cloud Storage 資料夾，然後按一下「確定」。自動評估會將結果寫入 CSV 檔案，並儲存在 Cloud Storage bucket 中。

  10. 按一下「執行」。這項作業需要長時間執行。新評估結果會列在表格中。

評估結果

如要查看摘要生成器清單和已完成的評估工作階段執行作業，請按照下列步驟操作。

  1. 前往 Agent Assist 控制台並登入帳戶。前往控制台
  2. 選取專案。
  3. 按一下「評估」。
  4. 選用：如要切換建立時間順序，請按一下「建立時間」欄標題中的 keyboard_arrow_down「向下」。

篩選清單

如要篩選清單來搜尋特定評估，請按照下列步驟操作：

  1. 按一下「篩選評估結果」。

  2. 您可以選擇下列其中一個選項：

    - **Display name**
- **Generator name**
- **Create time**

  3. 輸入參數值。

刪除評估作業

  1. 等待生成器完成評估。
  2. 按一下「delete」(刪除)「Delete」(刪除)，即可清除評估結果。

查看評估結果

如要查看詳細的評估結果，請按照下列步驟操作：Agent Assist 控制台。

  1. 前往 Agent Assist 控制台並登入帳戶。前往控制台
  2. 選取專案。
  3. 按一下「評估」。
  4. 按一下清單中的任一資料列，即可查看「評估詳細資料」，包括下列資訊：
    • 產生器的顯示名稱
    • 對話次數
    • 如果任何 Conversational Insights 資料集，相關聯的 Conversational Insights 資料集名稱
    • 執行時間
    • Cloud Storage 輸出
    • 整個資料集的整體成效結果
    • 資料集中每個對話的對話層級結果

對話層級結果

Agent Assist 會在表格中顯示對話層級的評估結果。

  1. 在「評估詳細資料」頁面中，按一下「對話層級結果」表格的任一行，即可查看詳細結果、摘要和對話記錄。
  2. 按一下任一區段，即可查看摘要中該區段的範例。

比較結果

請按照下列步驟比較不同評估作業的結果：

  1. 在 Agent Assist 控制台中，前往「評估」。
  2. 按一下評估結果即可查看詳細資料。這項評估作業是比較的基礎，並決定比較作業要納入哪些指標。
  3. 依序點按「比較」和「新增執行作業」，即可新增其他評估項目進行比較。一次最多可以比較五項評估。每個顯示名稱都會以灰色醒目顯示。
  4. 如要從比較中移除評估結果，請依序按一下「關閉」。

限制

摘要自動評估功能不支援 VPC Service Controls。

可用地區

摘要自動評估功能僅適用於兩個 Agent Assist 區域。如需各項功能適用的地區清單，請參閱區域化表格。