本页介绍了如何使用 A/B 实验来了解适用于零售业的 Vertex AI Search 对您的业务有何影响。
概览
A/B 实验是针对两个组（实验组和对照组）的随机实验。实验组会得到一些不同的处理（本例中为来自零售行业 Vertex AI Search 的预测或搜索结果）；对照组没有。
运行 A/B 实验时，您需要在记录用户事件时添加用户所属的群组的相关信息。该信息用于优化模型并提供指标。
应用的两个版本必须相同，只是实验组中的用户可以看到由 Vertex AI Search 针对零售生成的结果，而对照组看不到。您可以记录两个组的用户事件。
如需详细了解流量拆分，请参阅 App Engine 文档中的拆分流量。
实验平台
使用第三方实验平台（如 Google 优化工具或 Optimizely）来设置实验。对照组和实验组均会从平台获得一个唯一的实验 ID。记录用户事件时，请在 experimentIds 字段中添加实验 ID，以指定用户属于哪个组。通过提供实验 ID，您可以比较对照组和实验组看到的应用版本指标。
A/B 实验最佳做法
A/B 实验的目标是准确确定更新网站的影响（在本例中，为零售业采用 Vertex AI Search）。如需准确衡量影响，您必须正确设计并实施实验，这样其他差异就不会混入并影响实验结果。
如需设计有意义的 A/B 实验，请参考以下提示：
在设置 A/B 实验之前，请使用预测或搜索预览来确保模型的行为符合预期。
请确保实验组网站和对照组网站的行为相同。
网站行为包括延迟时间、显示格式、文本格式、页面布局、图片质量、图片大小。在对照组和实验组的实验之间，上述任何特性应该没有明显的差异。
接受并显示从适用于零售的 Vertex AI Search 返回的结果，并按照返回顺序显示这些结果。
您可以过滤掉缺货的商品。但是，您应该避免根据业务规则过滤结果或对建议结果进行排序。
如果您在用户事件中包含归因令牌，请确保其设置正确无误。请参阅归因令牌文档。
请确保您在请求推荐或搜索结果时提供的服务配置与您针对该推荐内容或搜索结果的意图以及您显示结果的位置相匹配。
使用推荐时，服务配置会影响模型的训练方式，以及推荐哪些产品。了解详情。
如果要将现有解决方案与零售专用 Vertex AI Search 进行比较，请将对照组的体验与实验组的体验严格分开。
如果对照解决方案未提供推荐或搜索结果，请勿在对照页面中提供来自 Vertex AI Search for Retail 的推荐或搜索结果。这样做会导致测试结果出现偏差。
确保您的用户不会在对照组和实验组之间切换。这在同一会话内尤为重要，但也建议跨会话进行。这样可以提升实验效果，帮助您更快获得具有统计显著性的 A/B 测试结果。