实验

实验用于在处理实时流量时比较多个流版本(变体版本)与一个控制版本(通常是生产版本)的性能。您可以将一部分实时流量分配给每个流版本,并监控以下指标:

  • 包含:在未触发以下其他指标的情况下到达 END_SESSION 的会话次数。仅适用于使用电话集成的代理。
  • 实时代理移交率向实时代理移交的会话次数。
  • 回调率:最终用户重启的会话次数。仅适用于使用电话集成的代理。
  • 放弃率:最终用户放弃的会话次数。仅适用于使用电话集成的代理。
  • 会话结束率:到达 END_SESSION 的会话次数。
  • 无匹配条目总数无匹配事件的出现总数。
  • 总转弯次数:对话回合总数量(一个最终用户输入和一个代理响应被视为一个回合)。
  • 平均回合计数:平均回合次数。

准备工作

如需准备实验,请执行以下操作:

  1. 确定实验将使用的流。您不能在单个流中运行多个实验,因此请确保将代理分成多个流。
  2. 为您的流创建多个版本。每个版本之间的差异可能很小或很大,具体取决于要比较的内容。
  3. 确定将分配给实验的流量。如果要测试次要更改,则您开始时可能会有更多流量。对于可能具有破坏性的大量更改,请考虑为实验分配较少的流量。

创建实验

如需创建实验,请执行以下操作:

  1. 打开 Dialogflow CX 控制台
  2. 选择您的项目以打开代理选择器。
  3. 选择您的代理以打开代理构建器。
  4. 选择管理标签页。
  5. 点击实验以打开“实验”面板。
  6. 选择状态标签页。
  7. 点击创建
  8. 输入说明文字。
  9. 选择实验的运行环境
  10. 选择实验流。
  11. (可选)输入之后实验将自动停止的天数。
  12. 输入控制流版本以及流向控制版本的流量百分比。
  13. 输入一到四个变体流版本,以及流向变体版本的流量百分比。
  14. (可选)点击启用自动发布和步骤,以逐步将流量发布到变体流。自动化实验基于步骤,即持续时间中将一定比例的流量增加到变体流的持续时间。自动发布仅支持一个变体流。
    1. 发布规则下,您可以设置一个或多个条件规则,以确定实验应如何逐步执行。
      1. 如果您选择至少匹配一个规则,则在至少满足一个规则和当前步骤的持续时间的情况下,实验将继续进行下一步。
      2. 如果您选择匹配所有规则,则在满足当前步骤的所有规则和持续时间的情况下,实验将继续进行下一步。
      3. 如果您选择仅限步骤,则实验将根据每个步骤的持续时间进行。
    2. 增加步骤下,定义要分配给变体流的流量百分比以及每个步骤的持续时间。每个步骤的默认持续时间为 6 小时。
    3. 选择停止条件以设置一个或多个停止向变体流发送流量的条件。请注意,您无法重启已停止的实验。
  15. 点击保存

开始和停止实验

您可以随时启动保存的实验或手动停止正在运行的实验。停止实验将会取消流量分配,并将流量恢复为原始状态。

如需启动或停止实验,请执行以下操作:

  1. 打开“实验”面板。
  2. 选择状态标签页。
  3. 针对列表中的实验点击开始停止

管理实验

您可以随时修改或删除实验:

  1. 打开“实验”面板。
  2. 选择状态标签页。
  3. 点击列表中实验的选项 菜单。
  4. 点击修改删除

监控实验状态

不管处于哪个状态,所有实验都可以在实验面板中找到。实验有四种不同的状态:

  • 草稿:实验已经创建,但从未运行过。
  • 待处理:实验最近已开始,但结果尚不可用。
  • 正在运行:实验正在运行且有临时结果可用。
  • 已完成:实验已因自动或手动停止而完成。

查看实验结果

如需查看实验结果,请执行以下操作:

  1. 打开 Dialogflow CX 控制台
  2. 选择您的项目以打开代理选择器。
  3. 选择您的代理以打开代理构建器。
  4. 选择管理标签页。
  5. 点击实验以打开“实验”面板。
  6. 选择结果标签页。
  7. 选择环境并实验以查看结果。

绿色结果表示结果理想,而红色表示结果不太好。请注意,在某些情况下,更高/较低的数字不一定更好(高放弃率/低放弃率)。

限制

存在以下限制: