En esta página, se describe cómo puedes usar los experimentos A/B para comprender cómo Vertex AI Search para venta minorista afecta a tu empresa.
Descripción general
Un experimento A/B es un experimento aleatorio con dos grupos: un grupo experimental y un grupo de control. El grupo experimental recibe un tratamiento diferente (en este caso, predicciones o resultados de la búsqueda de Vertex AI Search para venta minorista). El grupo de control no lo recibe.
Cuando ejecutas un experimento A/B, debes incluir la información sobre en qué grupo se encontraba un usuario cuando registraste los eventos del usuario. Esa información se usa para definir mejor el modelo y proporcionar métricas.
Ambas versiones de la aplicación deben ser iguales, excepto que los usuarios del grupo experimental ven los resultados generados por la Búsqueda de Vertex AI para venta minorista y los del grupo de control no. Debes registrar eventos de usuario para ambos grupos.
Para obtener más información sobre la división del tráfico, consulta Divide el tráfico en la documentación de App Engine.
Plataformas de experimentos
Configura el experimento mediante una plataforma de experimentos de terceros, como VWO, ABTasty o Optimizely. Los grupos de control y experimental obtienen un ID de experimento único de la plataforma. Cuando registres un evento de usuario, especifica en qué grupo se encuentra el usuario con el ID del experimento en el campo experimentIds. Proporcionar el ID del experimento te permite comparar las métricas de las versiones de tu aplicación que ven los grupos de control y experimentales.
Prácticas recomendadas para los experimentos A/B
El objetivo de un experimento A/B es determinar con precisión el impacto de la actualización de tu sitio (en este caso, mediante el uso de Vertex AI Search para la venta minorista). Para obtener una medición precisa del impacto, debes diseñar y, luego, implementar el experimento de forma correcta, de modo que otras diferencias no se acumulen y no afecten los resultados del experimento.
Para diseñar un experimento A/B significativo, usa las siguientes sugerencias:
Antes de configurar tu experimento A/B, usa la predicción o la vista previa de la búsqueda para asegurarte de que el modelo se comporte como se espera.
Asegúrate de que el comportamiento de tu sitio sea idéntico para el grupo experimental y el de control.
El comportamiento del sitio incluye la latencia, el formato de visualización, el formato del texto, el diseño de página, la calidad de imagen y el tamaño de imagen. No debería haber diferencias discernibles para ninguno de estos atributos entre la experiencia de los grupos de control y experimental.
Acepta y muestra los resultados como se muestran en la Búsqueda de Vertex AI para la venta minorista, y muéstralos en el mismo orden en que se muestran.
Filtrar los elementos que estén agotados es aceptable. Sin embargo, debes evitar ordenar o filtrar los resultados según las reglas de tu empresa.
Si incluyes un token de atribución con tus eventos del usuario, asegúrate de que esté configurado correctamente. Consulta la documentación sobre los tokens de atribución.
Asegúrate de que la configuración de entrega que proporciones cuando solicites recomendaciones o resultados de la búsqueda coincida con tu intención para esa recomendación o resultado de búsqueda, y con la ubicación en la que muestras los resultados.
Cuando usas recomendaciones, la configuración de entrega afecta la forma en que se entrenan los modelos y, por lo tanto, qué productos se recomiendan. Obtén más información.
Si comparas una solución existente con Vertex AI Search para venta minorista, mantén la experiencia del grupo de control segregada de forma estricta de la experiencia del grupo experimental.
Si la solución de control no proporciona una recomendación o un resultado de búsqueda, no proporciones uno de Vertex AI Search para venta minorista en las páginas de control. Si lo haces, se sesgarán los resultados de tu prueba.
Asegúrate de que los usuarios no cambien entre el grupo de control y el experimental. Esto es importante, en especial, dentro de la misma sesión, pero también se recomienda entre sesiones. Esto mejora el rendimiento del experimento y te ayuda a obtener resultados de pruebas A/B con importancia estadística más rápido.