实验

实验用于在处理实时流量时比较多个流版本(变体版本)与一个控制版本(通常是生产版本)的性能。您可以将一部分实时流量分配给每个流版本,并监控以下指标:

  • 包含:在未触发以下其他指标的情况下到达 END_SESSION 的会话次数。仅适用于使用电话集成的代理。
  • 实时代理移交率向实时代理移交的会话次数。
  • 回调率:最终用户重启的会话次数。仅适用于使用电话集成的代理。
  • 放弃率:最终用户放弃的会话次数。仅适用于使用电话集成的代理。
  • 会话结束率:到达 END_SESSION 的会话次数。
  • 无匹配条目总数无匹配事件的出现总数。
  • 总转弯次数:对话回合总数量(一个最终用户输入和一个代理响应被视为一个回合)。
  • 平均回合计数:平均回合次数。

准备工作

如需准备实验,请执行以下操作:

  1. 确定实验将使用的流。您不能在单个流中运行多个实验,因此请确保将代理分成多个流。
  2. 为您的流创建多个versions。每个版本之间的差异可能很小或很大,具体取决于要比较的内容。
  3. 确定将分配给实验的流量。如果要测试次要更改,则您开始时可能会有更多流量。对于可能具有破坏性的大量更改,请考虑为实验分配较少的流量。

创建实验

如需创建实验,请执行以下操作:

  1. 打开 Dialogflow CX 控制台
  2. 选择您的 GCP 项目以打开代理选择器。
  3. 选择您的代理以打开代理构建器。
  4. 选择管理标签页。
  5. 点击实验以打开“实验”面板。
  6. 选择状态标签页。
  7. 点击创建
  8. 输入说明文字。
  9. 选择实验的运行环境
  10. 选择实验流。
  11. (可选)输入之后实验将自动停止的天数。
  12. 输入控制流版本以及流向控制版本的流量百分比。
  13. 输入一到四个变体流版本,以及流向变体版本的流量百分比。
  14. (可选)点击启用自动发布和步骤,以逐步将流量发布到变体流。自动化实验基于步骤,即持续时间中将一定比例的流量增加到变体流的持续时间。自动发布仅支持一个变体流。
    1. 发布规则下,您可以设置一个或多个条件规则,以确定实验应如何逐步执行。
      1. 如果您选择至少匹配一个规则,则在至少满足一个规则和当前步骤的持续时间的情况下,实验将继续进行下一步。
      2. 如果您选择匹配所有规则,则在满足当前步骤的所有规则和持续时间的情况下,实验将继续进行下一步。
      3. 如果您选择仅限步骤,则实验将根据每个步骤的持续时间进行。
    2. 增加步骤下,定义要分配给变体流的流量百分比以及每个步骤的持续时间。每个步骤的默认持续时间为 6 小时。
    3. 选择停止条件以设置一个或多个停止向变体流发送流量的条件。请注意,您无法重启已停止的实验。
  15. 点击保存

开始和停止实验

您可以随时启动保存的实验或手动停止正在运行的实验。停止实验将会取消流量分配,并将流量恢复为原始状态。

如需启动或停止实验,请执行以下操作:

  1. 打开“实验”面板。
  2. 选择状态标签页。
  3. 针对列表中的实验点击开始停止

管理实验

您可以随时修改或删除实验:

  1. 打开“实验”面板。
  2. 选择状态标签页。
  3. 点击列表中实验的选项 菜单。
  4. 点击修改删除

监控实验状态

不管处于哪个状态,所有实验都可以在实验面板中找到。实验有四种不同的状态:

  • 草稿:实验已经创建,但从未运行过。
  • 待处理:实验最近已开始,但结果尚不可用。
  • 正在运行:实验正在运行且有临时结果可用。
  • 已完成:实验已因自动或手动停止而完成。

查看实验结果

如需查看实验结果,请执行以下操作:

  1. 打开 Dialogflow CX 控制台
  2. 选择您的 GCP 项目以打开代理选择器。
  3. 选择您的代理以打开代理构建器。
  4. 选择管理标签页。
  5. 点击实验以打开“实验”面板。
  6. 选择结果标签页。
  7. 选择环境并实验以查看结果。

绿色结果表示结果理想,而红色表示结果不太好。请注意,在某些情况下,更高/较低的数字不一定更好(高放弃率/低放弃率)。

限制

存在以下限制: