本页介绍了如何使用 A/B 实验来了解 Vertex AI Search for Retail 对您的业务有何影响。
概览
A/B 实验是针对两个组（实验组和对照组）的随机实验。实验组会接收一些不同的处理结果（在这种情况下，来自 Vertex AI Search for Retail 的预测或搜索结果），而对照组则不接收。
运行 A/B 实验时，您需要包括当您记录用户事件时用户所在群组的相关信息。该信息会用于优化模型和提供指标。
应用的两个版本必须相同，但实验组中的用户会看到 Vertex AI Search for Retail 生成的结果，而对照组无法看到。您可以记录两个组的用户事件。
如需详细了解流量拆分，请参阅 App Engine 文档中的拆分流量。
实验平台
使用第三方实验平台（如 VWO、ABTasty 或 Optimizely）来设置实验。对照组和实验组均会从平台获得一个唯一的实验 ID。记录用户事件时，请在 experimentIds 字段中添加实验 ID，以指定用户属于哪个组。通过提供实验 ID，您可以比较由对照组和实验组看到的应用版本的指标。
A/B 实验最佳做法
A/B 实验的目标是准确地确定更新网站（在本例中是使用 Vertex AI Search for Retail）的影响。如需准确衡量影响，您必须正确设计并实施实验，这样其他差异就不会混入并影响实验结果。
如需设计有意义的 A/B 实验，请参考以下提示：
在设置 A/B 实验之前，请使用预测或搜索预览来确保模型的行为符合预期。
请确保实验组网站和对照组网站的行为相同。
网站行为包括延迟时间、显示格式、文本格式、页面布局、图片质量、图片大小。在对照组和实验组的实验之间，上述任何特性应该没有明显的差异。
接受并显示 Vertex AI Search for Retail 返回的结果，并按照返回结果的顺序显示。
您可以过滤掉缺货的商品。但是，您应该避免根据业务规则过滤结果或对建议结果进行排序。
如果您在用户事件中添加了归因令牌，请确保其设置正确无误。请参阅归因令牌文档。
您在请求推荐或搜索结果时提供的投放配置应与此建议或搜索结果的意图以及显示结果的位置相匹配。
当您使用推荐功能时，投放配置会影响模型的训练方式，从而推荐哪些产品。了解详情。
如果您要将现有解决方案与 Vertex AI Search for Retail 进行比较，请将对照组的体验与实验组的体验严格隔离。
如果对照解决方案未提供建议或搜索结果，请不要在对照页面中提供 Vertex AI Search for Retail 中的建议或搜索结果。这样做会导致测试结果出现偏差。
确保用户不会在对照组和实验组之间切换。这在同一会话中尤为重要，但也建议在多个会话中这样做。这有助于提升实验效果，并帮助您更快获得具有统计显著性的 A/B 测试结果。