本页介绍了如何在“面向商业的 Google 搜索”控制台中监控 A/B 实验流量，并比较搜索的关键业务指标。
概览
您可以进行 A/B 实验，比较现有搜索实现与 Vertex AI Search 商务解决方案之间的关键业务指标。
设置实验及其流量分配后，您可以使用 Search for commerce 控制台中的实验页面监控实验流量并查看业务指标。
如需在控制台中设置 A/B 实验监控，您需要输入有关 A/B 测试的信息，例如名称、时间范围和实验组信息。每个实验变体组都对应于您为 A/B 实验创建的实验组，其中您在控制台中设置的第一个组会被视为基准对照组。
每个实验都有一个监控标签页，其中显示了流量分配指标，可帮助您确定 A/B 测试是否设置正确。这对于验证 A/B 测试中是否引入了偏差非常重要。例如，需要注意的一个典型问题是，某些搜索查询或类别是否仅由一个实验组提供服务，而其他实验组则不提供服务。
每个实验还包含一个 Google Analytics 标签页，您可以在其中查看关键业务指标比较。其中包括两类业务指标：
- 每次搜索或每次浏览的指标，例如每次搜索的点击次数。
- 每次搜索或每次浏览访问的指标，例如每次浏览访问的收入。
如需查看指标的完整列表，请参阅指标列表。
每个业务指标都提供原始值、与基准对照组相比的相对升幅以及 95% 置信区间。您可以查看汇总指标和按日期显示的指标。
“流量监控”标签页会显示是否发生了意外的流量分配以及发生日期。系统会比较实际流量分配百分比与您在设置监控时输入的预期分配百分比，以确定是否存在意外的流量分配。如果相对差异等于或小于 10%，则认为流量分配正确。例如，如果流量本应在两个实验组之间平均分配，但实际分配比例为 45% 到 55%，则仍属于预期范围。
您可以使用控制台同时监控多个实验。
实验日期和按日期划分的指标使用 America/Los_Angeles 作为时区，并使用 America/Los_Angeles 时间 12:00 AM 作为开始日期和结束日期。
无论实验是正在进行、已完成还是待处理，您都可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体组数量、实验 ID 和预期流量分配百分比。数据会追溯更新。
监控和分析 A/B 实验有以下要求/限制：
您可以跟踪的实验数据的最长时间范围为 180 天。如果实验开始时间已超过 180 天，系统不会捕获比该时间更早的指标。
按查询或按类别进行的流量监控仅返回实验中所有变体组获得流量最多的前 100 个查询或类别。
准备工作
在“面向商务的搜索”控制台中为 A/B 实验设置监控之前，请执行以下操作：
为现有搜索实现和 Vertex AI Search 商务解决方案所提供的事件设置用户事件注入。
查看 A/B 实验最佳实践。
使用第三方实验平台（如 Google 优化工具或 Optimizely）来设置实验。
为每个实验组设置并记录用户事件
experimentIds。 设置实验监控时，您需要为每个变体组指定实验 ID。
在控制台中添加实验
请按照以下步骤在“Search for commerce”控制台中添加要监控的新实验：
在此过程中，您将在“面向商业的搜索”控制台中创建与您在第三方实验平台中创建的现有实验组对应的变体组。如需查看变体实验组如何映射到现有实验组的示例，请参阅实验设置示例。
添加实验详细信息
在控制台中添加实验并输入其详细信息。
前往 Search for commerce 控制台中的实验页面。
前往“实验”页面点击添加实验。
系统会打开新实验页面。
输入实验的名称。
选择实验的开始日期和结束日期。
如果您的实验流量设置为逐渐增加，请将开始日期设置为流量增加完成且流量分配稳定后的日期。
选择此实验跟踪的活动类型：
浏览：按网页类别浏览网站上的内容。 浏览活动通过搜索响应中的空查询来表示。
搜索：您网站上的文字查询搜索。
接下来，为实验创建变体组。
添加变体
在控制台中添加实验详细信息后，创建与每个实验组对应的变体实验组。
您设置的第一个变体实验组是基准变体。基准通常代表现有解决方案。
在开始之前，请确保您已为每个实验组设置用户事件 experimentIds。
点击添加变体实验组。
系统会打开创建变体实验组面板。
输入与此变体实验组将监控的实验设置关联的用户事件
experimentId：如果您要设置第一个变体组：请输入与作为基准的基准组关联的用户事件
experimentId。如果您已设置基准变体臂：输入与下一个实验组关联的用户事件
experimentId。
为此变体实验组输入一个直观易懂的名称。
此名称会显示在控制台的监控信息中心内。
（可选）提供此变体实验组的说明。
选择投放流量的目标页面：
Google Vertex AI Search for Retail API：如果此变体臂监控 Vertex AI Search 商务版结果的流量。
外部：如果此变体组监控来自外部服务的流量以获取结果。例如，如果实验是将现有服务的流量与 Vertex AI Search for Commerce 流量进行比较，则基准（或对照）变体组可能代表外部目的地。
点击创建以完成此变体组的创建。
变体实验组会显示在新实验页面上。
重复上述步骤，为计划监控的每个实验组创建关联的变体组。
您必须至少有一个外部组和一个 Google Vertex AI Search for Retail API 组。
（可选）默认情况下，预期流量百分比会在所有变体实验组之间平均分配。如需自定义预期流量百分比，请执行以下操作：
在添加变体部分下，点击流量百分比列中的流量百分比值。
系统会打开流量百分比面板。
在权重分配字段中，选择自定义百分比。
在每个变体组的流量百分比列中，输入其预期流量百分比。
所有变体实验组的流量百分比总和必须为 100%。
点击完成。
流量百分比面板会关闭。
在新实验页面上点击创建，以完成实验创建。
相应实验会显示在新手入门实验页面上。
实验设置示例
本部分介绍了两个实验设置示例。
示例 1 显示了一个基准对照组和一个 Vertex AI Search 商务解决方案实验组。
示例 2 展示了如何将基准对照组与两个 Vertex AI Search 商务解决方案实验组进行比较。
示例 1：两个变体实验组
在此示例中，假设您计划设置一个 A/B 实验，其中包含：
- 发送给内部搜索引擎的 20% 的搜索请求作为基准对照组
- 发送给 Google Vertex AI Search for Retail API 的搜索请求中有 20% 作为实验组
- 60% 作为未纳入 A/B 测试的对照组
请求和用户事件配置如下：
| 流量类型 | Discovery Engine | 60% | event.experimentIds |
event.attributionToken |
流量百分比 |
|---|---|---|---|---|---|
| 控制流量 | 内部 | CONTROL |
不适用 | 20% | |
| 实验流量 | Google Vertex AI Search for Retail API | EXPERIMENT |
搜索响应中的归因令牌 | 20% | |
| 留出流量 | 任一 / 两者皆有 | 不适用 | 取决于 Discovery Engine | 60% |
留出流量可能由内部搜索引擎、Vertex AI Search 商务解决方案或两者共同提供。由于它们不属于 A/B 测试，因此没有实验 ID。为了指明哪些用户事件属于 A/B 测试，请务必提供 experimentIds 和 attributionToken 信息。您的 experimentId 字符串可能与此示例中给出的字符串不同。确保您在实验和用户事件中使用的 ID 保持一致。
在控制台中创建相应实验时，您只需创建两个实验组，因为留出组不属于实验的一部分。两个变体实验组之间的预期流量百分比分配比例为 50% / 50%。
若要为此示例实验设置监控，您需要在控制台中为每个实验组创建相应的变体组。下表显示了您在此示例的变体组设置期间在控制台中输入的信息。
| 变体实验组名称 | 流量目的地 | 用户事件实验 ID | 预期流量百分比 |
|---|---|---|---|
| 对照组示例 | 外部 | 控制 | 50% |
| 实验组示例 | Google Vertex AI Search for Retail API | 实验 | 50% |
示例 2：三个变体实验组
在此示例中，假设您计划对热门查询（高频查询）进行 A/B 实验，并同时包含启用和停用动态多面浏览。请求和用户事件配置如下：
| 变体实验组名称 | 流量目的地 | event.experimentIds | event.attributionToken | 流量百分比 |
|---|---|---|---|---|
| 热门查询控制 | 内部 | 控制 | 不适用 | 50% 的头部查询 |
| 启用动态分面的头部查询实验 | Google Vertex AI Search for Retail API | EXP_DF_ON | 搜索响应中的归因令牌 | 25% 的头部查询 |
| 热门查询动态分面关闭实验 | Google Vertex AI Search for Retail API | EXP_DF_OFF | 搜索响应中的归因令牌 | 25% 的头部查询 |
| 非头部查询和其他留出数据 | Google Vertex AI Search for Retail API | 不适用 | 取决于所用引擎 | 不适用 |
若要为此示例实验设置监控，您需要在控制台中为每个实验组创建相应的变体组。下表显示了您在此示例的变体组设置期间在控制台中输入的信息。
| 变体实验组名称 | 流量目的地 | 用户事件实验 ID | 预期流量百分比 |
|---|---|---|---|
| 对照组示例 | 外部 | 控制 | 50% |
| 实验组 1 示例 | Google Vertex AI Search for Retail API | EXP_DF_ON | 25% |
| 实验组 2 示例 | Google Vertex AI Search for Retail API | EXP_DF_OFF | 25% |
流量指标
实验的监控页面会显示以下指标是否存在意外的流量分配：
- 搜索/浏览事件数（按日期）
- 搜索/浏览访问者数量（按日期）
- 搜索/浏览事件数（按类别）
如果其中一个指标出现意外的流量拆分，监控页面顶部的相应卡片会显示发生意外流量拆分的日期。点击意外的流量分配，查看列出相应指标的意外流量分配的可过滤表格。
实验的监控页面上的下表根据使用情况比较了各变体组的流量指标。点击任意表格标题旁边的查看更多，即可查看一个可过滤的表格，其中列出了相应指标的所有流量分配：
搜索/浏览事件数（按日期）：在指定日期，变体组中发生的搜索或浏览的总次数。
搜索/浏览访问者数量（按日期）：在指定日期，在某个变体组中进行过搜索或浏览的访问者数量。
每个类别的搜索/浏览事件数：从实验开始日期到结束日期（如果实验仍在进行中，则为到今天）期间，在某个变体组中搜索给定查询或类别的总次数。此表仅显示实验中所有变体实验组的总流量排名前 100 的查询或类别。
监控实验
新手入门实验页面会显示一个表格，其中列出了您最近的实验。
如需监控实验，请执行以下操作：
前往 Search for commerce 控制台中的实验页面。
前往“实验”页面点击实验名称。
系统随即会打开相应实验的监控页面。
查看页面是否存在意外的流量分配。
每个指标都会显示发生任何意外流量分配的日期。
如果您发现意外的流量分配，请点击意外的流量分配，查看列出相应指标的意外流量分配的可过滤表格。
解决意外的流量分配问题
通过“面向商业的搜索”控制台监控实验，有助于您发现实验中的潜在问题。
如果您遇到意外的流量分配情况，请确保事件已标记正确的实验 ID。例如，如果属于对照组的事件被标记了错误的实验 ID，则该事件可能会归因于错误的变体组。
如果事件标记正常运行，Search for Commerce 控制台报告的意外流量拆分可能表明您的实验平台存在流量拆分问题。在这种情况下，请在解决问题之前暂停 A/B 测试，以免实验产生错误的结果。
Google Analytics 的业务指标
有两组业务指标可供使用：
- 每次搜索或每次浏览指标
- 每次搜索访问或每次浏览访问
每次搜索访问的指标
此处列出了每次搜索访问的指标定义。每次浏览会话指标的定义与每次搜索会话指标的定义类似，只是将所有“搜索”实例替换为“浏览”。
在“采购订单费率”中，一个采购订单可以包含多个 SKU。每个 SKU 的数量可以大于或等于 1。
-->| 指标名称 | 定义 |
|---|---|
| 搜索访问次数 | 包含至少一次搜索的会话数。 |
| 跳出率 | 仅包含 1 个用户事件的搜索会话数 / 搜索会话数 |
| 网页浏览率 | 点击次数（网页浏览次数）/ 搜索访问次数 |
| “加入购物车”(ATC) 率 | 搜索访问中的“加入购物车”商品数量 / 搜索访问次数 |
| 购买订单率 | 搜索会话中的采购订单数量 / 搜索会话次数 |
| 收入率 | 搜索访问带来的收入总和 / 搜索访问次数 |
| 平均订单价值 (AOV) | 搜索访问中的收入总和 / 搜索访问中的购买订单数 |
每次搜索的指标
此处列出了每次搜索的指标定义。浏览指标的定义与搜索指标的定义类似，只是将所有“搜索”替换为“浏览”。
| 指标名称 | 定义 |
|---|---|
| 搜索量 | 搜索事件的次数 |
| “无结果”率 | 无结果的搜索事件数 / 搜索次数 |
| 点击率 (CTR) | 因搜索而产生的点击次数（网页浏览次数）/ 搜索次数 |
| “加入购物车”(ATC) 率 | 因搜索而产生的“添加到购物车”操作次数 / 搜索次数 |
| 购买率 | 搜索促成的购买商品单位数 / 搜索次数 |
| 收入率 | 搜索带来的收入总和 / 搜索次数 |
| 平均单位价值 (AUV) | 搜索带来的收入总和 / 搜索带来的购买商品单位数 |
分析实验的业务效果
每个实验的 Analytics 标签页都会显示业务指标信息中心。信息中心会显示不同变体组的效果比较情况。
指标信息中心有两个：
- 每次搜索访问和每次浏览访问指标
- 每次搜索和每次浏览的指标
系统会根据实验的 ProductType 属性显示搜索指标或浏览指标。
每个信息中心都会显示一个汇总指标表，其中包含在日期范围过滤器中显示的日期内汇总的指标结果。默认日期值是实验的开始日期和结束日期。
每个指标都会显示为汇总结果表以及提供更详细信息的每日值图表。
汇总表的日期范围使用实验的开始日期和结束日期作为默认日期值。如果实验正在进行中，则结束日期设置为当前日期。您可以修改日期范围过滤条件。如果 userAgent 随提取的用户事件一起提供，您还可以按设备类型细分指标。点击刷新图标，将修改后的过滤条件应用于指标。
当指标的相对升幅足够大，超过置信区间带宽时，相应变体将显示绿色背景色。 同样，如果相对升幅足够负，相应变体就会显示红色背景颜色。如果相对升幅小于置信区间宽度，则灰色背景色表示相应结果不具有统计显著性。
例如，在比较变体组与基准对照组时：
- 如果某个指标（例如每次搜索的点击率）为 +3.0%，且置信区间（显示为升幅 CI）为 [2.1%、4.0%]，则系统会以绿色突出显示相应实验组，以表明与基准对照组相比，该实验组在此指标上的效果更佳。
- 如果指标每次浏览会话的收入率为 -1.5%，置信区间为 [-2.6%, -0.4%]，则变体组会以红色突出显示，表示该指标的效果不如基准对照组。
- 如果指标“每次搜索的平均单位价值”为 +1.0%，置信区间为 [-1.1%, 3.0%]，则变体组会以灰色突出显示，表示效果差异尚未达到统计显著性。
一般来说，数据点越多，方差就越小。与每日指标相比，累积数周的指标的置信区间带宽更小，更有可能显示出统计显著性。
修改实验详情
无论实验是正在进行、已完成还是处于待处理状态，您都可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体组数量、实验 ID 和预期流量分配百分比。数据会追溯更新。
如需修改实验详细信息，请执行以下操作：
前往 Search for commerce 控制台中的实验页面。
前往“实验”页面在显示近期实验的表格中，找到您计划修改的实验。
点击相应表格行右侧的三点状操作图标，然后点击修改。
系统随即会打开修改实验页面。
修改您打算更新的实验字段。
点击更新以保存更改。
从控制台中删除实验
如需从“面向商业的搜索”控制台中删除实验，请执行以下操作：
前往 Search for commerce 控制台中的实验页面。
前往“实验”页面在显示近期实验的表格中，找到您计划删除的实验。
点击相应表格行右侧的三点状操作图标，然后点击删除。
系统会打开删除实验？确认窗口。
输入实验名称，然后点击确认以确认删除。
删除完成后，控制台会显示一条消息，指出您的实验已成功删除。