实验用于在处理实时流量时比较多个流版本(变体版本)与一个控制版本(通常是生产版本)的性能。您可以将一部分实时流量分配给每个流版本,并监控以下指标:
- 包含:在未触发以下其他指标的情况下到达 END_SESSION 的会话次数。仅适用于使用电话集成的代理。
- 实时代理移交率:向实时代理移交的会话次数。
- 回调率:最终用户重启的会话次数。仅适用于使用电话集成的代理。
- 放弃率:最终用户放弃的会话次数。仅适用于使用电话集成的代理。
- 会话结束率:到达 END_SESSION 的会话次数。
- 无匹配条目总数:无匹配事件的出现总数。
- 总转弯次数:对话回合总数量(一个最终用户输入和一个代理响应被视为一个回合)。
- 平均回合计数:平均回合次数。
准备工作
如需准备实验,请执行以下操作:
- 确定实验将使用的流。您不能在单个流中运行多个实验,因此请确保将代理分成多个流。
- 为您的流创建多个版本。每个版本之间的差异可能很小或很大,具体取决于要比较的内容。
- 确定将分配给实验的流量。如果要测试次要更改,则您开始时可能会有更多流量。对于可能具有破坏性的大量更改,请考虑为实验分配较少的流量。
创建实验
如需创建实验,请执行以下操作:
- 打开 Dialogflow CX 控制台。
- 选择您的项目以打开代理选择器。
- 选择您的代理以打开代理构建器。
- 选择管理标签页。
- 点击实验以打开“实验”面板。
- 选择状态标签页。
- 点击创建。
- 输入说明文字。
- 选择实验的运行环境。
- 选择实验流。
- (可选)输入之后实验将自动停止的天数。
- 输入控制流版本以及流向控制版本的流量百分比。
- 输入一到四个变体流版本,以及流向变体版本的流量百分比。
- (可选)点击启用自动发布和步骤,以逐步将流量发布到变体流。自动化实验基于步骤,即持续时间中将一定比例的流量增加到变体流的持续时间。自动发布仅支持一个变体流。
- 在发布规则下,您可以设置一个或多个条件规则,以确定实验应如何逐步执行。
- 如果您选择至少匹配一个规则,则在至少满足一个规则和当前步骤的持续时间的情况下,实验将继续进行下一步。
- 如果您选择匹配所有规则,则在满足当前步骤的所有规则和持续时间的情况下,实验将继续进行下一步。
- 如果您选择仅限步骤,则实验将根据每个步骤的持续时间进行。
- 在增加步骤下,定义要分配给变体流的流量百分比以及每个步骤的持续时间。每个步骤的默认持续时间为 6 小时。
- 选择停止条件以设置一个或多个停止向变体流发送流量的条件。请注意,您无法重启已停止的实验。
- 在发布规则下,您可以设置一个或多个条件规则,以确定实验应如何逐步执行。
- 点击保存。
开始和停止实验
您可以随时启动保存的实验或手动停止正在运行的实验。停止实验将会取消流量分配,并将流量恢复为原始状态。
如需启动或停止实验,请执行以下操作:
- 打开“实验”面板。
- 选择状态标签页。
- 针对列表中的实验点击开始或停止。
管理实验
您可以随时修改或删除实验:
- 打开“实验”面板。
- 选择状态标签页。
- 点击列表中实验的选项 more_vert 菜单。
- 点击修改或删除。
监控实验状态
不管处于哪个状态,所有实验都可以在实验面板中找到。实验有四种不同的状态:
- 草稿:实验已经创建,但从未运行过。
- 待处理:实验最近已开始,但结果尚不可用。
- 正在运行:实验正在运行且有临时结果可用。
- 已完成:实验已因自动或手动停止而完成。
查看实验结果
如需查看实验结果,请执行以下操作:
- 打开 Dialogflow CX 控制台。
- 选择您的项目以打开代理选择器。
- 选择您的代理以打开代理构建器。
- 选择管理标签页。
- 点击实验以打开“实验”面板。
- 选择结果标签页。
- 选择环境并实验以查看结果。
绿色结果表示结果理想,而红色表示结果不太好。请注意,在某些情况下,更高/较低的数字不一定更好(高放弃率/低放弃率)。
限制
存在以下限制:
- 必须启用启用互动日志记录代理设置。