用户指南：总结自动评估

总结自动评估（自动评估）会根据三个指标（准确性、完整性和一致性）来评估总结的质量。此功能可帮助您评估总结生成器的质量，这对于调整自定义部分定义或升级影响总结模型的软件至关重要。如需详细了解评估指标，请参阅摘要自动评估基础知识。

准备工作

  • 创建摘要生成器，以生成用于评估的候选摘要。
  • 生成器中的部分定义用作评估的标准答案。
  • 为了使最终得分反映生成器的质量，每个部分的说明都必须与生成器中的说明一致。

创建总结自动评估请求

请按照以下步骤创建总结生成器。

  1. 前往 Agent Assist 控制台并登录。

    转到控制台

  2. 选择您的项目。

  3. 依次点击评估 > 新建评估。

  4. 输入唯一的显示名称，然后选择与候选人摘要匹配的生成器。

  5. 点击下一步。

  6. 选择评估数据集，可采用以下两种方式之一：

    • 日期范围内的随机对话样本：如果您已付费购买 Agent Assist 总结功能，请指定日期范围和对话数量上限。评估会从您的历史记录中随机选择最多指定数量的对话和摘要。
    • 选择特定数据集：选择您使用对话洞见精心挑选的特定对话样本。

  7. 从以下选项中选择摘要来源：

    • 仅使用指定的生成器生成缺失的摘要。您需要支付摘要生成费用
    • 为所有对话生成新的摘要。您需要支付摘要生成费用
    • 不生成摘要。请改用数据集随附的现有摘要。您必须支付不同的费用。

  8. 点击下一步。

  9. 点击选择文件夹，选择存储桶中用于存储结果的 Cloud Storage 文件夹，然后点击确定。自动评估会写入 CSV 文件，并将其保存到您的 Cloud Storage 存储桶中。

  10. 点击运行。这是一项长时间运行的操作。您的新评估会显示在表格中。

评估

请按照以下步骤查看总结生成器和已完成的评估会话运行的列表。

  1. 前往 Agent Assist 控制台并登录。 前往控制台
  2. 选择您的项目。
  3. 点击评估。
  4. 可选：如需切换创建时间顺序，请点击创建时间列标题中的keyboard_arrow_down 向下。

过滤列表

如需过滤列表以搜索特定评估，请按以下步骤操作：

  1. 点击过滤评估。

  2. 请从下列选项中选择一项：

    - **Display name**
- **Generator name**
- **Create time**

  3. 输入参数的值。

删除评估

  1. 等待生成器完成评估。
  2. 点击删除 删除以清除评估。

查看评估结果

按照以下步骤在 Agent Assist 控制台中查看详细的评估结果。

  1. 前往 Agent Assist 控制台并登录。 前往控制台
  2. 选择您的项目。
  3. 点击评估。
  4. 点击列表中的任意一行，即可查看评估详情，其中包含以下信息：
    • 生成器的显示名称
    • 对话数
    • 如果有任何对话式数据洞见数据集，则为关联的对话式数据洞见数据集的名称
    • 运行时间
    • Cloud Storage 输出
    • 整个数据集的总体效果结果
    • 数据集中每个对话的对话级结果

对话级结果

Agent Assist 会在表格中显示对话级评估结果。

  1. 在评估详情页面中，点击对话级结果表格中的任意一行，即可查看详细结果、摘要和对话转写内容。
  2. 点击某个部分，即可查看摘要中该部分的示例。

结果比较

如需比较不同评估的结果，请按以下步骤操作：

  1. 在 Agent Assist 控制台中，前往评估。
  2. 点击相应评估即可查看其详细信息。此评估可作为比较的基础，并确定比较中包含哪些指标。
  3. 点击比较 > 添加跑步，添加其他评估以进行比较。您一次最多可比较 5 个评估。每个显示名称都以灰色突出显示。
  4. 如需从比较中移除评估，请依次点击关闭 关闭。

限制

总结自动评估不支持 VPC Service Controls。

可用区域

总结自动评估功能仅在两个 Agent Assist 区域提供。如需查看每个功能可用的区域列表，请参阅区域化表。