本页将介绍如何使用 A/B 实验来了解 面向零售的 Vertex AI Search 正在影响您的业务。
概览
A/B 实验是针对两个组（实验组和对照组）的随机实验。实验组会接收一些不同的处理结果（在这种情况下，来自 Vertex AI Search for Retail 的预测或搜索结果），而对照组则不接收。
运行 A/B 实验时，您需要包括当您记录用户事件时用户所在群组的相关信息。该信息会用于优化模型和提供指标。
应用的两个版本必须相同，但用户 实验组看到 Vertex AI Search for Retail 和 而对照组则不然。您可以记录两个组的用户事件。
如需详细了解流量拆分，请参阅 App Engine 文档中的拆分流量。
实验平台
使用第三方实验平台（如 VWO、ABTasty 或 Optimizely）来设置实验。对照组和实验组均会从平台获得一个唯一的实验 ID。记录用户事件时，请在 experimentIds 字段中添加实验 ID，以指定用户属于哪个组。提供实验 ID 可启用
您可以比较
对照组和实验组看到的应用。
A/B 实验最佳做法
A/B 实验的目标是准确确定更新 （在本例中，使用的是面向零售业的 Vertex AI Search）。如需准确衡量影响，您必须正确设计并实施实验，这样其他差异就不会混入并影响实验结果。
如需设计有意义的 A/B 实验，请参考以下提示：
在设置 A/B 实验之前，请使用预测或搜索预览来确保模型的行为符合预期。
请确保实验组网站和对照组网站的行为相同。
网站行为包括延迟时间、显示格式、文本格式、页面布局、图片质量、图片大小。在对照组和实验组的实验之间，上述任何特性应该没有明显的差异。
接受并显示 Vertex AI Search for Retail 返回的结果，并按照返回结果的顺序显示。
您可以过滤掉缺货的商品。但是，您应该避免根据业务规则过滤结果或对建议结果进行排序。
如果您在用户事件中添加归因令牌，请确保 设置正确。请参阅关于归因令牌的文档。
请确保您在发送请求时提供的服务配置 推荐内容或搜索结果与您的意图相符 推荐内容或搜索结果，以及您展示内容的位置 结果。
使用推荐功能时，服务配置 会影响模型的训练方式，从而影响推荐的产品。 了解详情。
如果您要将现有解决方案与 Vertex AI Search for Retail 进行比较， 将对照组的体验严格隔离开来， 体验。
如果对照解决方案未提供建议或搜索结果，请不要在对照页面中提供 Vertex AI Search for Retail 中的建议或搜索结果。这样做会导致测试结果出现偏差。
请确保您的用户不会在对照组和 实验组。在同一个会话中，这一点尤为重要 。这有助于提升实验效果，并帮助您更快获得具有统计显著性的 A/B 测试结果。