En esta página, se describe cómo puedes usar los experimentos A/B para comprender cómo la venta minorista afecta a tu empresa.
Descripción general
Un experimento A/B es un experimento aleatorio con dos grupos: un grupo experimental y un grupo de control. El grupo experimental recibe un tratamiento diferente (en este caso, predicciones o resultados de la búsqueda de la API de venta minorista). El grupo de control no lo recibe.
Cuando ejecutas un experimento A/B con la API de venta minorista, debes incluir la información sobre en qué grupo se encontraba un usuario cuando registraste los eventos del usuario. La API de venta minorista usa esa información para definir mejor el modelo y proporcionar métricas.
Ambas versiones de la aplicación deben ser iguales, excepto que los usuarios del grupo experimental ven los resultados generados por la API de venta minorista y los del grupo de control no. Debes registrar eventos de usuario para ambos grupos.
Para obtener más información sobre la división del tráfico, consulta Divide el tráfico en la documentación de App Engine.
Plataformas de experimentos
Configura el experimento mediante una plataforma de experimentos de terceros, como Google Optimize u Optimizely. Los grupos de control y experimental obtienen un ID de experimento único de la plataforma. Cuando registres un evento de usuario, especifica en qué grupo se encuentra el usuario con el ID del experimento en el campo experimentIds. Proporcionar el ID del experimento permite que la API de venta minorista compare las métricas de las versiones de tu aplicación que ven los grupos de control y experimental.
Prácticas recomendadas para los experimentos A/B
El objetivo de un experimento A/B es determinar con precisión el impacto de la actualización de tu sitio (en este caso, mediante el uso de la venta minorista). Para obtener una medición precisa del impacto, debes diseñar y, luego, implementar el experimento de forma correcta, de modo que otras diferencias no se acumulen y no afecten los resultados del experimento.
Para diseñar un experimento A/B significativo, usa las siguientes sugerencias:
Antes de configurar tu experimento A/B, usa la predicción o la vista previa de la búsqueda para asegurarte de que el modelo se comporte como se espera.
Asegúrate de que el comportamiento de tu sitio sea idéntico para el grupo experimental y el de control.
El comportamiento del sitio incluye la latencia, el formato de visualización, el formato del texto, el diseño de página, la calidad de imagen y el tamaño de imagen. No debería haber diferencias discernibles para ninguno de estos atributos entre la experiencia de los grupos de control y experimental.
Acepta y muestra los resultados como se muestran en la venta minorista, y muéstralos en el mismo orden en que se muestran.
Filtrar los elementos que estén agotados es aceptable. Sin embargo, debes evitar ordenar o filtrar los resultados según las reglas de tu empresa.
Asegúrate de incluir el token de atribución con tus eventos de usuario de forma correcta. Más información
Asegúrate de que la configuración de entrega que proporciones cuando solicites recomendaciones o resultados de la búsqueda coincida con tu intención para esa recomendación o resultado de búsqueda, y con la ubicación en la que muestras los resultados.
Cuando usas Recomendaciones IA, la configuración de entrega afecta la forma en que se entrenan los modelos y, por lo tanto, qué productos se recomiendan. Más información
Si comparas una solución existente con la API de venta minorista, mantén la experiencia del grupo de control segregada de forma estricta de la experiencia del grupo experimental.
Si la solución de control no proporciona una recomendación o un resultado de búsqueda, no proporciones uno desde la API de venta minorista en las páginas de control. Si lo haces, se sesgarán los resultados de tu prueba.