监控和分析 A/B 实验

本页面介绍如何在 Search for Retail 控制台中监控 A/B 实验流量并比较搜索的关键业务指标。

概览

您可以进行 A/B 实验，以比较现有搜索实现和零售专用 Vertex AI Search 之间的关键业务指标。

设置实验及其流量拆分后，您可以使用 Search for Retail 控制台中的实验页面监控实验流量并查看业务指标。

如需在控制台中设置 A/B 实验监控，您需要输入 A/B 测试的相关信息，例如名称、时间范围和实验组信息。每个实验变体实验组都会映射到您为 A/B 实验创建的一个实验组，其中您在控制台中设置的第一个实验组会被视为基准对照组。

每个实验都有一个监控标签页，其中显示流量分配指标，可帮助您确定 A/B 测试是否设置正确。这对于验证 A/B 测试中是否引入了偏差非常重要。例如，一个典型的问题需要注意，即某些查询或类别是否由一个实验组处理，而不由其他实验组处理。

每个实验还有一个 Analytics 标签页，您可以在其中查看关键业务指标的比较情况。其中包含两类业务指标：

• 每次搜索或每次浏览的指标，例如每次搜索的点击次数。
• 每次搜索或每次浏览访问指标，例如每次浏览访问带来的收入。

如需查看完整的指标列表，请参阅指标列表。

每项业务指标都提供原始值、与基准对照的相对升幅以及 95% 的置信区间。您可以按日期查看汇总的指标和指标。

“流量监控”标签页会显示是否发生了意外的流量拆分，以及具体的发生日期。通过将实际流量拆分百分比与您在设置监控时输入的预期拆分百分比进行比较，可确定意外的流量分配比例。如果相对差值等于或小于 10%，则认为流量分配正确无误。例如，如果流量要将流量平均拆分到两个实验组，45% 到 55% 的实际拆分比例就在预期的范围内。

您可以使用控制台同时监控多个实验。

按日期划分的实验日期和指标使用 America/Los_Angeles 作为时区，并使用美洲/洛杉矶时间凌晨 12:00 作为开始日期和结束日期。

您可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体实验组的数量、实验 ID 和预期的流量分配百分比，无论实验是正在进行、已完成还是待处理。数据可追溯更新。

监控和分析 A/B 实验具有以下要求/限制：

• 您可以跟踪的实验数据的时间范围上限为 180 天。如果实验开始的时间已超过 180 天，则系统不会捕获早于该期限的指标。

• 按查询或按类别进行流量监控只会返回实验中所有变体实验组流量最多的前 100 个查询或类别。

准备工作

在 Search for Retail 控制台中为 A/B 实验设置监控之前，请执行以下操作：

• 为现有搜索实现和 Vertex AI Search for Retail 提供的事件设置用户事件提取。

• 查看 A/B 实验最佳实践。

• 使用第三方实验平台（如 Google 优化工具或 Optimizely）设置实验。

• 为每个实验组设置并记下用户事件 experimentIds。 设置实验监控时，您需要为每个变体实验组指定实验 ID。

在控制台中添加实验

按照以下步骤添加要在 Search for Retail 控制台中监控的新实验：

• 添加实验详细信息
• 添加变体

在此过程中，您将在 Search for Retail 控制台中创建变体实验组，它们与您在第三方实验平台中创建的现有实验组相对应。如需查看变体组如何映射到现有实验组的示例，请参阅实验设置示例。

添加实验详细信息

在控制台中添加实验并输入其详细信息。

1. 在 Search for Retail 控制台中，前往实验页面。
   
   转到“实验”页面

2. 点击添加实验。

   系统随即会打开新建实验页面。

3. 为实验输入名称。

4. 选择实验的开始日期和结束日期。

   如果实验流量设置为逐步增加，请将开始日期设置为磨合完成且流量分配稳定时的日期。

5. 选择此实验跟踪的活动类型：

   • 浏览：按页面类别浏览您的网站。 浏览 activity 在搜索响应中由空查询表示。

   • 搜索：在您的网站上搜索文字查询。

接下来，为您的实验创建变体实验组。

添加变体

在控制台中添加实验详细信息后，创建与每个实验组对应的变体实验组。

您设置的首个变体实验组是基准变体。基准通常代表您现有的解决方案。

开始之前，请确保每个实验组的用户事件 experimentIds。

1. 点击添加变体实验组。

   Create Variant Arm 面板随即会打开。

2. 输入与此变体实验组将监控的实验设置相关联的用户事件 experimentId：

   • 如果您正在设置第一个变体实验组：请输入与将用作基准的基准组相关联的用户事件 experimentId。

   • 如果您已设置基准变体实验组：请输入与下一个实验组关联的用户事件 experimentId。

3. 请为此变体实验组输入简单易懂的名称。

   此名称会显示在控制台的监控信息中心内。

4. （可选）提供此变体实验组的说明。

5. 选择服务流量目的地：

   • Google Vertex AI Search for Retail API：此变体实验组监控用于查找零售结果的 Vertex AI Search 流量。

   • 外部：此变体实验组监控来自外部服务的流量结果。例如，如果实验将现有服务的流量与 Vertex AI Search 中的零售流量进行比较，则基准（或对照组）变体组可能表示外部目的地。

6. 点击创建，完成此变体实验组的创建。

   变体实验组会显示在新建实验页面上。

7. 重复前面的步骤，创建与您计划监控的每个实验组相关联的变体实验组。

   您必须至少有一个 External 分支和一个 Google Vertex AI Search for Retail API 分支。

8. （可选）默认情况下，预期流量百分比会在所有变体实验组之间平均分配。如需自定义预期的流量百分比，请执行以下操作：

   1. 在添加变体部分下，点击流量百分比列中的流量百分比值。

      此时会打开流量百分比面板。

   2. 在权重分布字段中，选择自定义百分比。

   3. 在每个变体实验组的流量百分比列中，输入其预期的流量百分比。

      所有变体实验组的总流量百分比之和必须等于 100%。

   4. 点击完成。

      此时将关闭流量百分比面板。

9. 点击新建实验页面上的创建，完成实验的创建。

   该实验会显示在新手入门实验页面上。

实验设置示例

本部分介绍了两个实验设置示例。

示例 1 展示了一个基准对照组和一个适用于零售业的 Vertex AI Search 实验组。

示例 2 显示将基准对照组与两个适用于零售行业的 Vertex AI Search 的对照组进行比较。

示例 1：两个变体实验组

在本示例中，假设您计划设置一项 A/B 实验，指定以下条件：

• 发送到内部搜索引擎的搜索请求的 20% 作为基准对照组
• 发送到 Google Vertex AI Search for Retail API 的搜索请求的 20% 作为实验组
• 60% 的留待群体（不在 A/B 测试中）

请求和用户事件配置如下：

流量类型	发现引擎	event.experimentIds	event.attributionToken	流量百分比
控制流量	内部	CONTROL	不适用	20%
实验流量	Google Vertex AI Search for Retail API	EXPERIMENT	搜索响应中的归因令牌	20%
留出流量	两者皆可	不适用	取决于发现引擎	60%

维持流量可能由内部搜索引擎和/或零售专用 Vertex AI Search 提供。由于它们不属于 A/B 测试，因此没有实验 ID。如需指明哪些用户事件是 A/B 测试的一部分，请务必提供 experimentIds 和 attributionToken 信息。您的 experimentId 字符串可能与此示例中给出的字符串不同。请确保您使用的 ID 在实验和用户事件之间保持一致。

在控制台中创建相应的实验时，您只能创建两个变体实验组，因为留出组并不属于实验。两个变体实验组之间的预期流量分配百分比为 50% / 50%。

如需为此示例实验设置监控功能，您需要在控制台中为每个实验组创建相应的变体实验组。下表显示了在此示例的变体实验组设置期间需要在控制台中输入的信息。

变体实验组名称	流量目的地	用户事件实验 ID	预期流量百分比
对照组示例	外部	控制	50%
示例实验组	Google Vertex AI Search for Retail API	实验	50%

示例 2：三个变体实验组

在此示例中，假设您计划对头部查询（高频查询）进行 A/B 实验，并包括开启和关闭动态分面。请求和用户事件配置如下：

变体实验组名称	流量目的地	event.experimentIds	event.attributionToken	流量百分比
头部查询控件	内部	控制	不适用	50% 的头部查询
前向查询动态分面启用实验	Google Vertex AI Search for Retail API	EXP_DF_ON	搜索响应中的归因令牌	25% 的头部查询
头部查询动态分面关闭实验	Google Vertex AI Search for Retail API	EXP_DF_OFF	搜索响应中的归因令牌	25% 的头部查询
非头查询和其他预留项	Google Vertex AI Search for Retail API	不适用	取决于所使用的引擎	不适用

如需为此示例实验设置监控功能，您需要在控制台中为每个实验组创建相应的变体实验组。下表显示了在此示例的变体实验组设置期间需要在控制台中输入的信息。

变体实验组名称	流量目的地	用户事件实验 ID	预期流量百分比
对照组示例	外部	控制	50%
示例实验组 1	Google Vertex AI Search for Retail API	EXP_DF_ON	25%
示例实验组 2	Google Vertex AI Search for Retail API	EXP_DF_OFF	25%

流量指标

实验的 Monitoring 页面会显示以下指标是否存在意外的流量拆分：

• 按日期搜索/浏览事件数
• 按日期搜索/浏览的访问者数量
• 每个类别的搜索/浏览事件数

当其中一个指标发生意外的流量拆分时，监控页面顶部的相应卡片会显示发生意外流量拆分的日期。点击意外的流量拆分，看到一个可过滤的表，其中列出了该指标的意外流量拆分。

实验的 Monitoring 页面上的下表根据使用情况比较了变体实验组的流量指标。点击任意表标题旁边的查看更多，即可看到一个可过滤的表格，其中列出了该指标的所有流量拆分：

• 按日期搜索/浏览事件数：变体实验组在给定日期发生的搜索或浏览总次数。

• 搜索/浏览访问者数量（按日期）：在指定日期查询或浏览过变体实验组的访问者数量。

• 每个类别的搜索/浏览事件数：从实验开始日期到结束日期（如果实验正在进行，则是截至今天，在变体实验组上搜索指定查询或类别的总次数）。此表仅显示实验中所有变体组的总流量对应的前 100 个查询或类别。

监控实验

新手入门实验页面会以表格形式列出您最近的实验。

若要监控实验，请按以下步骤操作：

1. 在 Search for Retail 控制台中，前往实验页面。
   
   转到“实验”页面

2. 点击实验名称。

   系统会打开该实验的监控页面。

3. 查看此页面，看看是否有意外的流量分配。

   每个指标都会显示发生任何意外流量拆分的日期。

4. 如果您看到意外的流量拆分，请点击意外的流量拆分，以查看可过滤的表格，其中列出了该指标的意外流量拆分。

解决意外的流量分配问题

通过 Search for Retail 控制台监控实验有助于您关注实验中的潜在问题。

如果您遇到意外的流量分配，请确保使用正确的实验 ID 标记事件。例如，如果对照组的事件被标记了错误的实验 ID，可能会导致该事件被归因于错误的变体实验组。

如果事件代码正常运行，Search for Retail 控制台报告的流量分配意外可能表明实验平台中存在流量分配问题。在这种情况下，请在解决问题之前暂停 A/B 测试，以免实验产生错误的结果。

用于分析的业务指标

系统会提供两组业务指标：

• 每次搜索或每次浏览指标
• 每次搜索访问或每次浏览访问

每次搜索访问指标

下面列出了每次搜索访问的指标定义。每次浏览访问指标的定义与每次搜索访问指标的定义类似，所有搜索实例都替换为浏览。

在采购订单费率中，一个采购订单可以包含多个 SKU。每个 SKU 的数量可以大于或等于 1。

指标名称	定义
搜索访问次数	至少包含一次搜索的访问次数。
网页浏览率	点击次数（网页浏览量）/搜索访问次数
加入购物车 (ATC) 率	搜索访问次数中的“加入购物车”单元数 / 搜索访问次数
采购订单费率	搜索访问次数中的采购订单数 / 搜索访问次数
收入率	搜索访问次数 / 搜索访问次数的收入总和
平均订单价值 (AOV)	搜索访问带来的收入总和 / 搜索访问带来的采购订单计数

每次搜索指标

下面列出了每次搜索指标的定义。每次浏览指标的定义与每次搜索指标的定义类似，所有搜索实例都替换为浏览。

指标名称	定义
搜索量	搜索事件数
无结果率	无结果的搜索事件数 / 搜索数
点击率 (CTR)	搜索带来的点击次数（网页浏览量）/搜索次数
加入购物车 (ATC) 率	由搜索带来的加入购物车次数 / 搜索次数
购买率	搜索带来的购买单元数 / 搜索数
收入率	搜索带来的收入 / 搜索次数之和
平均单位价值 (AUV)	搜索带来的收入总和 / 搜索带来的购买单元数总和

分析实验业务成效

每个实验的数据分析标签页都会显示业务指标信息中心。信息中心会显示不同变体实验组的性能比较。

有两种指标信息中心：

• 每次搜索访问和每次浏览访问指标
• 每次搜索和每次浏览指标

系统会根据实验的 ProductType 属性显示搜索指标或浏览指标。

每个信息中心都会显示一个摘要指标表格，表格中显示日期范围过滤条件所示日期的汇总指标结果。默认日期值为实验的开始日期和结束日期。

每个指标都显示为汇总结果表以及提供更多详细信息的每日值图表。

汇总表格日期范围使用实验的开始日期和结束日期作为默认日期值。如果实验正在进行，结束日期将设置为当前日期。您可以修改日期范围过滤条件。如果为 userAgent 提供了注入的用户事件，您还可以按设备类型划分指标。点击刷新图标，将修改后的过滤条件应用于指标。

当指标相对升幅为正，足以超过置信区间带宽时，系统就会针对该变体显示绿色的背景颜色。同样，如果相对升幅足够负数，则该变体会显示红色背景颜色。如果相对升幅小于置信区间宽度，则灰色背景颜色表示结果没有统计显著性。

例如，比较变体组与基准组时：

• 如果指标“每次搜索的点击率”为 +3.0%，且置信区间显示为提升 CI 为 [2.1%, 4.0%]，则变体组会以绿色突出显示，表示与基准对照组相比，变体组在此指标上具有更好的效果。
• 如果“每次浏览访问收入率”指标为 -1.5%，置信区间为 [-2.6%, -0.4%]，则变体实验组将用红色突出显示，表示在此指标上优于基准对照组。
• 如果“每次搜索的平均单位值”指标为 +1.0%，且置信区间为 [-1.1%, 3.0%]，则变体实验组会突出显示为灰色，表示效果差异尚不具有统计显著性。

通常，数据点越多，方差越小。与每日指标相比，几周累积的指标的置信区间带宽较低，并且更有可能显示统计显著性。

修改实验详细信息

您可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体实验组数量、实验 ID 和预期的流量分配百分比，无论实验是正在进行、已完成还是待处理。数据可追溯更新。

修改实验详细信息：

1. 在 Search for Retail 控制台中，前往实验页面。
   
   转到“实验”页面

2. 在显示近期实验的表格中，找到您打算修改的实验。

3. 点击表格行右侧的三点状操作图标，然后点击修改。

   系统随即会打开修改实验页面。

4. 修改您要更新的实验字段。

5. 点击更新以保存更改。

从控制台中删除实验

如需从 Search for Retail 控制台中删除实验，请执行以下操作：

1. 在 Search for Retail 控制台中，前往实验页面。
   
   转到“实验”页面

2. 在显示近期实验的表格中，找到您打算删除的实验。

3. 点击表格行右侧的三点状操作图标，然后点击删除。

   此时系统会打开删除实验？确认窗口。

4. 输入实验名称，然后点击确认以确认删除。

   删除完成后，控制台会显示一条消息，告知您实验已成功删除。