监控和分析 A/B 实验

本页介绍了如何在搜索广告助力商务控制台中监控 A/B 实验流量，以及比较搜索广告的关键业务指标。

概览

您可以开展 A/B 实验，比较现有搜索实现与 Vertex AI Search for Commerce 之间的关键业务指标。

设置实验及其流量分配后，您可以使用购物搜索控制台中的实验页面监控实验流量并查看业务指标。

如需在控制台中设置 A/B 实验监控，您需要输入 A/B 测试的相关信息，例如名称、时间范围和实验组信息。每个实验变体组都会映射到您为 A/B 实验创建的实验组，其中您在 Play 管理中心内设置的第一个组会被视为基准对照组。

每个实验都有一个监控标签页，其中会显示流量分配指标，这些指标有助于您确定 A/B 测试的设置是否正确。这对于验证 A/B 测试中是否引入了偏差至关重要。例如，一个常见的问题是，某些查询或类别是否由一个实验组提供，而其他实验组则不提供。

每个实验还包含一个数据分析标签页，您可以在其中查看关键业务指标的对比情况。其中包含两类商家指标：

  • 每次搜索或每次浏览的指标，例如每次搜索的点击次数。
  • 每次搜索或每次浏览访问的指标，例如每次浏览访问带来的收入。

如需查看指标的完整列表，请参阅指标列表。

每个业务指标都会提供原始值、与基准对照组相比的相对提升幅度，以及 95% 置信区间。您可以按日期查看汇总指标和指标。

“流量监控”标签页会显示是否发生了意外的流量分配以及发生的日期。意外的流量分配是指实际流量分配百分比与您在设置监控时输入的预期分配百分比不一致。如果相对差异等于或小于 10%，则流量分配被视为正确。例如，如果您希望将流量平均分配给两个组，那么实际分配比例介于 45% 到 55% 之间，就属于预期范围。

您可以使用控制台同时监控多个实验。

按日期对实验日期和指标进行切片时，时区为 America/Los_Angeles，开始日期和结束日期为凌晨 12:00（America/Los_Angeles 时间）。

无论实验是正在进行、已完成还是待处理，您都可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体组数量、实验 ID 和预期的流量分配百分比。数据会回溯更新。

监控和分析 A/B 实验有以下要求/限制：

  • 您可以跟踪的实验数据的最大时间范围为 180 天。如果实验已超过 180 天，系统不会捕获该实验之前的指标。

  • 按查询或按类别监控流量时，系统只会返回实验中所有变体组中流量最多的前 100 个查询或类别。

准备工作

在 Search Ads 360 中的购物广告控制台中为 A/B 实验设置监控之前，请先执行以下操作：

  • 为现有搜索实现和 Vertex AI Search for Commerce 提供的事件设置用户事件提取。

  • 查看 A/B 实验最佳做法。

  • 使用第三方实验平台（如 Google 优化工具或 Optimizely）来设置实验。

  • 为每个实验组设置并记下用户事件 experimentIds。设置实验监控时，您需要为每个变体组指定实验 ID。

在控制台中添加实验

请按照以下步骤在购物搜索广告系列控制台中添加要监控的新实验：

在此过程中，您需要在 Google 易购搜索控制台中创建与您在第三方实验平台中创建的现有实验组对应的变体组。如需查看变体组如何映射到现有实验组的示例，请参阅实验设置示例。

添加实验详细信息

在控制台中添加实验并输入其详细信息。

  1. 前往“搜索购物”控制台中的实验页面。

    前往“实验”页面

  2. 点击添加实验。

    系统随即会打开新建实验页面。

  3. 输入实验的名称。

  4. 选择实验的开始日期和结束日期。

    如果您将实验流量设置为逐步增加，请将开始日期设置为流量逐步增加完成且流量分配稳定下来的日期。

  5. 选择此实验要跟踪的活动类型：

    • 浏览：按网页类别浏览您网站上的网页。浏览活动由搜索响应中的空查询表示。

    • 搜索：您网站上的文本查询搜索。

接下来，为实验创建变体组。

添加变体

在控制台中添加实验详细信息后，创建与每个实验组对应的变体实验组。

您设置的第一个变体组是基准变体。基准通常代表您的现有解决方案。

开始之前，请确保您为每个实验组都设置了用户事件 experimentIds。

  1. 点击添加变体组。

    系统随即会打开创建变体实验组面板。

  2. 输入与此变体组将监控的实验设置相关联的用户事件 experimentId：

    • 如果您要设置第一个变体组：输入与基准组（将用作基准）关联的用户事件 experimentId。

    • 如果您已设置基准变体组：输入与下一个实验组关联的用户事件 experimentId。

  3. 为此变体实验组输入一个直观易懂的名称。

    此名称会显示在控制台的监控信息中心内。

  4. （可选）提供此变体实验组的说明。

  5. 选择投放流量目标页面：

    • Google Vertex AI Search for Retail API：确定此变体组是否监控 Vertex AI Search for Commerce 结果的流量。

    • 外部：如果此变体组监控外部服务的流量以获取结果。例如，如果实验比较的是现有服务的流量与 Vertex AI Search for Commerce 的流量，基准（或对照组）变体组可能代表外部目标平台。

  6. 点击创建以完成此变体分支的创建。

    变体组会显示在新建实验页面上。

  7. 重复上述步骤，创建与您计划监控的每个实验组关联的变体组。

    您必须至少有一个外部组件和一个 Google Vertex AI Search for Retail API 组件。

  8. （可选）默认情况下，预期流量百分比会平均分配给所有变体组。如需自定义预期流量百分比，请执行以下操作：

    1. 在添加变体部分下，点击流量百分比列中的某个流量百分比值。

      系统随即会打开流量百分比面板。

    2. 在权重分布字段中，选择自定义百分比。

    3. 在每个变体组的流量百分比列中，输入其预期的流量百分比。

      所有变体实验组的总流量百分比必须等于 100%。

    4. 点击完成。

      流量百分比面板会关闭。

  9. 在新建实验页面上点击创建，以完成实验的创建。

    该实验会显示在新手入门实验页面上。

实验设置示例

本部分介绍了两个实验设置示例。

示例 1 显示了基准对照组和一个 Vertex AI Search 商务解决方案实验组。

示例 2 展示了将基准对照组与两个 Vertex AI Search 商务解决方案实验组进行比较。

示例 1：两个变体组

在本示例中，假设您计划设置以下 A/B 实验：

  • 将 20% 的搜索请求发送到内部搜索引擎作为基准对照组
  • 将 20% 的搜索请求发送到 Google Vertex AI Search for Retail API（作为实验组）
  • 60% 作为不参与 A/B 测试的保留组

请求和用户事件配置将如下所示：

流量类型 Discovery Engine event.experimentIds event.attributionToken 流量百分比
控制流量 内部 CONTROL 不适用 20%
实验流量 Google Vertex AI Search for Retail API EXPERIMENT 搜索响应中的归因令牌 20%
隔离流量 任一 / 两者皆可 不适用 取决于发现引擎 60%

留存流量可能会由内部搜索引擎和/或 Vertex AI Search 商务解决方案提供。由于这些用户不属于 A/B 测试，因此没有实验 ID。如需指明哪些用户事件属于 A/B 测试，请务必提供 experimentIds 和 attributionToken 信息。您的 experimentId 字符串可能与此示例中给出的字符串不同。确保您在实验和用户事件中使用的 ID 保持一致。

在控制台中创建相应的实验时，您只需创建两个变体组，因为留存组不属于实验的一部分。两个变体实验组之间的预期流量百分比分配为 50% / 50%。

如需为此示例实验设置监控，您需要在 Play 管理中心内为每个实验组创建相应的变体组。下表显示了您在为此示例设置变体分支时需要在控制台中输入的信息。

变体实验组名称 流量目的地 用户事件实验 ID 预期流量百分比
对照组示例 外部 CONTROL 50%
实验组示例 Google Vertex AI Search for Retail API 实验 50%

示例 2：三个变体组

在此示例中，假设您计划针对主搜索查询（高频搜索查询）开展 A/B 实验，并同时启用和停用动态细分。请求和用户事件配置将如下所示：

变体实验组名称 流量目的地 event.experimentIds event.attributionToken 流量百分比
Header 查询控制 内部 CONTROL 不适用 50% 的头部查询
在实验中查询动态分面的标题 Google Vertex AI Search for Retail API EXP_DF_ON 搜索响应中的归因令牌 25% 的热门查询
停用动态分面的首页查询实验 Google Vertex AI Search for Retail API EXP_DF_OFF 搜索响应中的归因令牌 25% 的热门查询
非主查询和其他保留组 Google Vertex AI Search for Retail API 不适用 取决于所使用的引擎 不适用

如需为此示例实验设置监控，您需要在 Play 管理中心内为每个实验组创建相应的变体组。下表显示了您在为此示例设置变体分支时需要在控制台中输入的信息。

变体实验组名称 流量目的地 用户事件实验 ID 预期流量百分比
对照组示例 外部 CONTROL 50%
示例实验组 1 Google Vertex AI Search for Retail API EXP_DF_ON 25%
实验组 2 示例 Google Vertex AI Search for Retail API EXP_DF_OFF 25%

流量指标

实验的监控页面会显示以下指标是否存在意外的流量分配：

  • 搜索/浏览事件数（按日期）
  • 搜索/浏览访问者数量（按日期）
  • 各类别的搜索/浏览事件数

如果其中某个指标出现意外的流量分配，监控页面顶部的相应卡片会显示意外流量分配发生的日期。点击意外的流量分配，即可查看一个可过滤的表格，其中列出了该指标的意外流量分配。

实验的监控页面上的以下表格会根据使用情况比较各个变体组的流量指标。点击任何表格标题旁边的展开，即可查看一个可过滤的表格，其中列出了该指标的所有流量分配情况：

  • 搜索/浏览事件数（按日期）：在给定日期在变体组中发生的搜索或浏览的总次数。

  • 搜索/浏览访问者数量（按日期）：在指定日期查询过或浏览过变体组的访问者数量。

  • 每个类别的搜索/浏览事件数：从实验开始日期到结束日期（如果实验仍在进行，则为当天）在变体组中针对给定查询或类别进行的搜索次数或浏览次数的总和。此表仅显示实验中所有变体组的总流量排名前 100 的查询或类别。

监控实验

新手入门实验页面会显示一个表格，其中列出了您近期的实验。

如需监控实验，请执行以下操作：

  1. 前往“搜索购物”控制台中的实验页面。

    前往“实验”页面

  2. 点击相应实验的名称。

    系统随即会打开该实验的监控页面。

  3. 查看该页面，了解是否存在意外的流量分配。

    每个指标都会显示发生意外流量分配的日期。

  4. 如果您发现意外的流量分配，请点击意外的流量分配，查看一个可过滤的表格，其中列出了该指标的意外流量分配。

解决意外的流量分配

通过搜索广告网络中的“购物”控制台监控实验有助于您发现实验中的潜在问题。

如果您遇到意外的流量分配，请确保事件已使用正确的实验 ID 进行标记。例如，如果对照组中的事件使用了错误的实验 ID 进行标记，则可能会导致该事件归因于错误的变体组分支。

如果事件代码植入正常运行，搜索广告格式效果衡量控制台报告的意外流量分配情况可能表明您的实验平台存在流量分配问题。在这种情况下，请先暂停 A/B 测试，然后再解决问题，以免实验产生不正确的结果。

用于分析的业务指标

商家指标分为两组：

  • 每次搜索或每次浏览的指标
  • 每次搜索访问或每次浏览访问

每次搜索访问指标

下面列出了每次搜索访问指标的定义。每次浏览访问的指标定义与每次搜索访问的指标定义类似，只需将“搜索”的所有实例替换为“浏览”即可。

在采购订单费率中，一个采购订单可以包含多个 SKU。每个 SKU 的数量不得低于 1。

指标名称 定义
搜索访问次数 包含至少一次搜索的访问次数。
网页浏览量 点击次数（网页浏览次数）/搜索访问次数
“加入购物车”率 (ATC) 搜索访问次数中的“加入购物车”单位数 / 搜索访问次数
采购订单费率 搜索光顾中的采购订单数 / 搜索光顾次数
收入率 搜索访问带来的收入总和 / 搜索访问次数
平均订单价值 (AOV) 搜索光顾带来的收入总和 / 搜索光顾带来的采购订单数

每次搜索指标

下面列出了每次搜索指标的定义。每次浏览指标的定义与每次搜索指标的定义类似，只需将“搜索”的所有实例替换为“浏览”即可。

指标名称 定义
搜索量 搜索事件数
无结果率 无结果的搜索事件数 / 搜索次数
点击率 (CTR) 搜索带来的点击次数（网页浏览次数）/搜索量
“加入购物车”率 (ATC) 搜索驱动的“添加到购物车”单位数 / 搜索次数
购买率 搜索驱动的购买交易量 / 搜索量
收入率 搜索带来的收入总和 / 搜索次数
平均单元价值 (AUV) 搜索带来的收入总和 / 搜索带来的购买交易量

分析实验的业务效果

每个实验的分析标签页都会显示业务指标信息中心。信息中心会显示各个变体组的效果对比情况。

指标信息中心包含两个信息中心：

  • 每次搜索访问和每次浏览访问指标
  • 每次搜索和每次浏览指标

系统会根据实验的 ProductType 属性显示搜索指标或浏览指标。

每个信息中心都会显示一个摘要指标表，其中显示了按日期范围过滤条件中显示的日期汇总的指标结果。默认日期值为实验的开始日期和结束日期。

每个指标都会显示为汇总结果表格，以及提供更详细信息的每日值图表。

汇总表的日期范围会使用实验的开始日期和结束日期作为默认日期值。如果实验正在进行，结束日期会设为当前日期。您可以修改日期范围过滤条件。如果 userAgent 提供了提取的用户事件，您还可以按设备类型细分指标。点击刷新图标，将修改后的过滤条件应用于指标。

如果指标相对提升幅度足够正，超出置信区间带宽，系统会为该变体显示绿色背景颜色。同样，如果相对提升幅度足够低，系统会为该变体显示红色背景颜色。如果相对提升幅度小于置信区间宽度，灰色背景颜色表示结果不具有统计显著性。

例如，比较变体组与基准对照组时：

  • 如果每次搜索的点击率指标为 +3.0%，而置信区间（显示为提升幅度置信区间）为 [2.1%, 4.0%]，则变体组会以绿色突出显示，表示与基准对照组相比，该变体在此指标上的效果更好。
  • 如果每次浏览带来的收入率指标为 -1.5%，置信区间为 [-2.6%，-0.4%]，则变体组会以红色突出显示，表示其在此指标上的效果不如基准对照组。
  • 如果每次搜索的平均单位价值指标为 +1.0%，置信区间为 [-1.1%，3.0%]，则变体组会以灰色突出显示，表示效果差异尚不具有统计显著性。

一般来说，数据点越多，方差就越小。与每日指标相比，几周内的累积指标的置信区间带宽较小，并且更有可能显示出统计显著性。

修改实验详情

无论实验是正在进行、已完成还是待处理，您都可以随时在控制台中更新实验详细信息，例如开始日期和结束日期、变体组数量、实验 ID 和预期的流量分配百分比。数据会回溯更新。

如需修改实验详细信息，请执行以下操作：

  1. 前往“搜索购物”控制台中的实验页面。

    前往“实验”页面

  2. 在显示近期实验的表格中，找到您计划修改的实验。

  3. 点击其表格行右侧的三点状操作图标，然后点击修改。

    系统随即会打开修改实验页面。

  4. 修改您打算更新的实验字段。

  5. 点击更新以保存更改。

从控制台中删除实验

如需从购物搜索广告控制台中删除实验，请执行以下操作：

  1. 前往 Google 搜索购物控制台中的实验页面。

    前往“实验”页面

  2. 在显示近期实验的表格中，找到您计划删除的实验。

  3. 点击其表格行右侧的三点状 Actions 图标，然后点击 Delete。

    系统会打开删除实验？确认窗口。

  4. 输入实验名称，然后点击确认以确认删除。

    删除完成后，控制台会显示一条消息，告知您实验已成功删除。