En esta página, se describe cómo puedes supervisar el tráfico de experimentos A/B y comparar las métricas empresariales clave para la búsqueda en la consola de Search for Retail.
Descripción general
Puedes realizar un experimento A/B para comparar las métricas comerciales clave entre la implementación de la búsqueda existente y Vertex AI Search para la venta minorista.
Después de configurar el experimento y su división del tráfico, puedes supervisar el tráfico del experimento y ver las métricas empresariales con la página Experimento en la consola de Search for Retail.
Para configurar la supervisión de experimentos A/B en la consola, ingresa información sobre tu prueba A/B, como el nombre, el intervalo de tiempo y la información del grupo experimental. Cada grupo de variantes del experimento se asigna a un grupo que creaste para el experimento A/B, en el que el primer grupo que configures en la consola se tratará como el control de referencia.
Cada experimento tiene una pestaña Supervisión que muestra métricas de división del tráfico que pueden ayudarte a determinar si la prueba A/B se configuró correctamente. Esto es importante para validar si se introdujo sesgo en la prueba A/B. Por ejemplo, un problema típico que se debe tener en cuenta es si un grupo experimental entrega algunas consultas o categorías, pero no otros.
Cada experimento también tiene una pestaña Analytics en la que puedes ver comparaciones de las métricas comerciales clave. Se incluyen dos categorías de métricas empresariales:
- Métricas por búsqueda o por exploración, como los clics por búsqueda.
- Métricas por búsqueda o por visita de exploración, como los ingresos por visita de navegación.
Consulta la Lista de métricas para ver una lista completa de ellas.
Cada métrica empresarial proporciona valores sin procesar, una efectividad relativa en comparación con el control de referencia y un intervalo de confianza del 95%. Puedes ver las métricas agregadas y las métricas por fecha.
La pestaña de supervisión del tráfico muestra si se realizaron divisiones de tráfico no deseadas y las fechas en las que se produjeron. Se determina una división del tráfico no deseada mediante la comparación del porcentaje real de la división del tráfico con el porcentaje de división deseado que ingresas cuando configuras la supervisión. La división del tráfico se considera correcta si la diferencia relativa es igual o inferior al 10%. Por ejemplo, si se pretende dividir el tráfico de manera uniforme en dos grupos, una división real del 45% al 55% está dentro del rango deseado.
Puedes usar la consola para supervisar varios experimentos al mismo tiempo.
La fecha del experimento y las métricas divididas por fecha usan America/Los_Angeles como la zona horaria y la hora de América/Los_Angeles a las 12:00 a.m. para las fechas de inicio y finalización.
Puedes actualizar los detalles del experimento en la consola, como las fechas de inicio y finalización, la cantidad de grupos de variantes, los IDs del experimento y el porcentaje de división del tráfico prevista, en cualquier momento, sin importar si el experimento está en curso, finalizado o pendiente. Los datos se actualizan de forma retroactiva.
La supervisión y el análisis de los experimentos A/B tiene las siguientes limitaciones o requisitos:
El intervalo de tiempo máximo de los datos del experimento al que puedes hacer un seguimiento es de 180 días. Si un experimento comenzó hace más de 180 días, las métricas anteriores a ese no se registran.
La supervisión del tráfico por consulta o por categoría muestra solo las 100 consultas principales o las categorías que obtienen la mayor cantidad de tráfico de todos los grupos de variantes del experimento.
Antes de comenzar
Antes de configurar la supervisión en la consola de Search for Retail para un experimento A/B, haz lo siguiente:
Configura la transferencia de eventos de usuarios para los eventos que entregan tu implementación de búsqueda existente y Vertex AI Search para la venta minorista.
Revisa las prácticas recomendadas para los experimentos A/B.
Configura el experimento mediante una plataforma de experimentos de terceros, como Google Optimize u Optimizely.
Configura y anota el evento de usuario
experimentIdspara cada grupo experimental. Cuando configures la supervisión de experimentos, deberás especificar los IDs de cada grupo de variantes.
Agrega un experimento en la consola
Usa los siguientes procedimientos para agregar un experimento nuevo y supervisarlo en Search for Retail Console:
En este procedimiento, crearás grupos de variantes en la consola de Search for Retail que correspondan a los grupos experimentales existentes que creaste en la plataforma de experimentos de terceros. Para ver ejemplos de cómo se pueden asignar los grupos de variantes a grupos experimentales existentes, consulta Ejemplos de configuraciones de experimentos.
Agrega detalles del experimento
Agrega un experimento en la consola y, luego, ingresa sus detalles.
Ve a la página Experimentos en la consola de Search for Retail.
Ir a la página ExperimentosHaz clic en Agregar experimento.
Se abrirá la página Experimento nuevo.
Ingresa un nombre para el experimento.
Selecciona las fechas de inicio y finalización del experimento.
Si el tráfico de tu experimento está configurado para aumentar de manera gradual, establece la fecha de inicio en una fecha en la que se complete el período de adaptación y se estabilice la división del tráfico.
Selecciona el tipo de actividad que registra este experimento:
Explorar: Navegación por el sitio por categoría de página. La actividad de navegación se indica con una consulta vacía en la respuesta de búsqueda.
Búsqueda: Buscas de texto en tu sitio.
A continuación, crea grupos de variantes para tu experimento.
Agregar variantes
Después de agregar los detalles del experimento en la consola, crea grupos de variantes que correspondan a cada grupo experimental.
El primer grupo de variantes que configuras es el modelo de referencia. Por lo general, el modelo de referencia representa tu solución existente.
Antes de comenzar, asegúrate de tener el evento de usuario experimentIds para cada
grupo experimental.
Haz clic en Agregar grupo de variantes.
Se abrirá el panel Create Variant Arm.
Ingresa el evento de usuario
experimentIdasociado con la configuración del experimento que este grupo de variantes supervisará:Si quieres configurar tu primer grupo de variantes: Ingresa el evento de usuario
experimentIdasociado con el grupo de referencia que funcionará como modelo de referencia.Si ya configuraste tu grupo de variantes de referencia, ingresa el evento del usuario
experimentIdasociado con el siguiente grupo experimental.
Ingresa un nombre legible para este grupo de variantes.
Este nombre se muestra en los paneles de supervisión en la consola.
Proporciona una descripción de este grupo de variantes (opcional).
Selecciona un destino de entrega de tráfico:
API de Google Vertex AI Search for Retail: Si este grupo de variantes supervisa el tráfico de los resultados de la venta minorista de Vertex AI Search.
Externo: Indica si este grupo de variantes supervisa el tráfico para buscar resultados de un servicio externo. Por ejemplo, es probable que el grupo de variantes del modelo de referencia (o de control) represente un destino externo si el experimento compara el tráfico de un servicio existente con Vertex AI Search para el tráfico de venta minorista.
Haz clic en Crear para terminar de crear este grupo de variantes.
El grupo de variantes se muestra en la página Experimento nuevo.
Repite los pasos anteriores para crear grupos de variantes asociados con cada grupo experimental que planees supervisar.
Debes tener al menos un grupo Externo y un grupo de API de Google Vertex AI Search para Retail.
De forma predeterminada, el porcentaje de tráfico deseado se divide de manera uniforme entre todos los grupos de variantes (opcional). Para personalizar los porcentajes de tráfico previstos, haz lo siguiente:
En la sección Add Variants, haz clic en un valor de porcentaje de tráfico en la columna Traffic %.
Se abrirá el panel Porcentaje de tráfico.
En el campo Distribución del peso, selecciona Porcentajes personalizados.
En la columna %de tráfico de cada grupo de variantes, ingresa el porcentaje de tráfico deseado.
El porcentaje de tráfico total en todos los grupos de variantes debe sumar 100%.
Haz clic en Listo.
Se cerrará el panel Porcentaje de tráfico.
En la página Experimento nuevo, haz clic en Crear para terminar de crearlo.
El experimento se mostrará en la página Experimentos de integración.
Ejemplos de configuraciones de experimentos
En esta sección, se presentan dos ejemplos de configuraciones de experimentos.
En el ejemplo 1, se muestra un control de modelo de referencia y un grupo experimental de Vertex AI Search para venta minorista.
En el ejemplo 2, se muestra la comparación de un control de modelo de referencia con dos grupos experimentales de Vertex AI Search para venta minorista.
Ejemplo 1: Dos grupos de variantes
En este ejemplo, supongamos que planeas configurar un experimento A/B con lo siguiente:
- El 20% de las solicitudes de búsqueda que se envían a los motores de búsqueda internos como grupo de control de referencia
- El 20% de las solicitudes de búsqueda se enviaron a la API de Google Vertex AI Search for Retail como el grupo experimental
- El 60% como grupo excluido que no está en la prueba A/B
La configuración de solicitud y evento de usuario sería la siguiente:
| Tipo de tráfico | Motor de descubrimiento | event.experimentIds |
event.attributionToken |
Tráfico % |
|---|---|---|---|---|
| Cómo controlar el tráfico | Interno | CONTROL |
N/A | 20% |
| Tráfico del experimento | API de Google Vertex AI Search for Retail | EXPERIMENT |
Token de atribución de la respuesta de búsqueda | 20% |
| Tráfico de exclusión | Ambas o ambas | N/A | Depende de Discovery Engine | 60% |
El tráfico de exclusión puede ser entregado por un motor de búsqueda interno,
Vertex AI Search para venta minorista o ambos. Dado que no forman parte de la prueba A/B,
no tienen un ID de experimento. Para indicar qué eventos de usuario forman parte de la prueba A/B, asegúrate de proporcionar información de experimentIds y attributionToken. Tus cadenas de experimentId pueden ser diferentes de las que se proporcionan en este ejemplo. Asegúrate de que los IDs que utilices sean coherentes entre tus
experimentos y los eventos de usuario.
Cuando crees el experimento correspondiente en la consola, solo deberías crear dos grupos de variantes, ya que el grupo de exclusión no forma parte del experimento. El porcentaje de tráfico previsto entre los dos grupos de variantes es del 50% al 50%.
Si deseas configurar la supervisión para este experimento de ejemplo, debes crear los grupos de variantes correspondientes en la consola para cada grupo experimental. En la siguiente tabla, se muestra la información que puedes ingresar en la consola durante la configuración del grupo de variantes para este ejemplo.
| Nombre del grupo de variantes | Destino de tráfico | ID del experimento de evento del usuario | % de tráfico previsto |
|---|---|---|---|
| Ejemplo de grupo de control | Externa | CONTROL | 50% |
| Ejemplo de grupo experimental | API de Google Vertex AI Search for Retail | EXPERIMENTO | 50% |
Ejemplo 2: Tres grupos de variantes
En este ejemplo, supongamos que planeas realizar un experimento A/B de las consultas principales (consultas de alta frecuencia) y que incluyes la activación y desactivación de facetas dinámicas. Las configuraciones de solicitudes y eventos de usuario serían:
| Nombre del grupo de variantes | Destino de tráfico | event.experimentIds | event.attributionToken | Tráfico % |
|---|---|---|---|---|
| Control de consultas de encabezado | Interno | CONTROL | N/A | 50% de las consultas principales |
| Experimento de facetas dinámicas de las consultas principales ACTIVADOS | API de Google Vertex AI Search for Retail | EXP_DF_ON | Token de atribución de la respuesta de búsqueda | 25% de las consultas principales |
| Experimento de facetas dinámicas de las consultas principales DESACTIVADOS | API de Google Vertex AI Search for Retail | EXP_DF_OFF | Token de atribución de la respuesta de búsqueda | 25% de las consultas principales |
| Búsquedas que no son principales y otras exclusiones | API de Google Vertex AI Search for Retail | N/A | Depende del motor utilizado | N/A |
Si deseas configurar la supervisión para este experimento de ejemplo, debes crear los grupos de variantes correspondientes en la consola para cada grupo experimental. En la siguiente tabla, se muestra la información que puedes ingresar en la consola durante la configuración del grupo de variantes para este ejemplo.
| Nombre del grupo de variantes | Destino de tráfico | ID del experimento de evento del usuario | % de tráfico previsto |
|---|---|---|---|
| Ejemplo de grupo de control | Externa | CONTROL | 50% |
| Ejemplo del grupo experimental 1 | API de Google Vertex AI Search for Retail | EXP_DF_ON | 25% |
| Ejemplo del grupo experimental 2 | API de Google Vertex AI Search for Retail | EXP_DF_OFF | 25% |
Métricas de tráfico
La página Supervisión de un experimento muestra si hay divisiones de tráfico no deseadas para las siguientes métricas:
- Recuento de eventos de búsqueda/exploración por fecha
- Recuento de visitantes de la Búsqueda/exploración por fecha
- Recuento de eventos de búsqueda/exploración por categoría
Cuando se producen divisiones de tráfico no deseadas para una de estas métricas, la tarjeta en la parte superior de la página Supervisión muestra las fechas en las que se produjeron las divisiones del tráfico no deseadas. Haz clic en Divisiones de tráfico no deseadas para ver una tabla que se puede filtrar y que muestra las divisiones de tráfico no deseadas para esa métrica.
En las siguientes tablas de la página Supervisión de un experimento, se comparan las métricas de tráfico en los grupos de variantes según el uso. Haz clic en Ver más junto al título de cualquier tabla para ver una tabla que se puede filtrar y que enumera todas las divisiones del tráfico de esa métrica:
Recuento de eventos de búsqueda/navegación por fecha: Es la cantidad total de búsquedas o exploraciones que se realizaron en un grupo de variantes en una fecha determinada.
Recuento de visitantes de Búsqueda/Explorar por fecha: Es la cantidad de visitantes que consultaron o navegaron en un grupo de variantes en una fecha determinada.
Recuento de eventos de búsqueda y exploración por categoría: Es la cantidad total de veces que se busca una búsqueda o categoría determinada en un grupo de variantes desde la fecha de inicio del experimento hasta su fecha de finalización (o hasta la fecha de hoy, si el experimento está en curso). En esta tabla, solo se muestran las 100 búsquedas o categorías principales en términos del tráfico total de todos los grupos de variantes del experimento.
Supervisa un experimento
En la página Experimentos de integración, se muestra una tabla de tus experimentos recientes.
Para supervisar un experimento, haz lo siguiente:
Ve a la página Experimentos en la consola de Search for Retail.
Ir a la página ExperimentosHaz clic en el nombre del experimento.
Se abrirá la página Supervisión de ese experimento.
Revisa la página para detectar divisiones de tráfico no deseadas.
Cada métrica muestra las fechas en las que se produjeron divisiones de tráfico no deseadas.
Si ves divisiones no deseadas, haz clic en Divisiones de tráfico no deseadas para ver una tabla filtrable que incluye las divisiones de tráfico no deseadas para esa métrica.
Cómo abordar las divisiones de tráfico no deseadas
La supervisión de los experimentos desde la consola de Search for Retail puede ayudar a dirigir tu atención a posibles problemas en tu experimento.
Si te encuentras con divisiones de tráfico no deseadas, asegúrate de que los eventos estén etiquetados con el ID de experimento correcto. Por ejemplo, un evento que pertenece a un grupo de control etiquetado con un ID de experimento incorrecto puede hacer que el evento se atribuya al grupo de variantes incorrecto.
Si el etiquetado de eventos funciona correctamente, las divisiones de tráfico no deseadas informadas por la consola de Search for Retail pueden indicar problemas de división del tráfico en tu plataforma del experimento. Cuando este sea el caso, pausa tus pruebas A/B antes de resolver el problema para que el experimento no produzca resultados incorrectos.
Métricas empresariales para las estadísticas
Hay dos grupos de métricas empresariales disponibles:
- Métricas por búsqueda o por exploración
- Visitas por búsqueda o por navegación
Métricas de visitas por búsqueda
A continuación, se muestran las definiciones de las métricas por visita por búsqueda. Las definiciones de las métricas por visita por exploración son similares a las de las métricas por visita por búsqueda, y todas las instancias de búsqueda se reemplazan por exploración.
En el porcentaje de orden de compra, una orden de compra puede incluir varios SKU. Cada SKU puede tener una cantidad igual o superior a uno.
| Nombre de la métrica | Definición |
|---|---|
| Recuento de visitas de búsqueda | Recuento de visitas que incluyen, al menos, una búsqueda. |
| Tasa de vistas de página | Recuento de clics (páginas vistas) / recuento de visitas a la búsqueda |
| Tarifa de artículos agregados al carrito (ATC) | Recuento de unidades de artículos agregados al carrito en las visitas de búsqueda / recuento de visitas de búsqueda |
| Tarifa de orden de compra | Recuento de órdenes de compra en las visitas de búsqueda / recuento de visitas de búsqueda |
| Tasa de ingresos | Suma de los ingresos en las visitas a la búsqueda / recuento de visitas de búsqueda |
| Valor promedio del pedido (AOV) | Suma de los ingresos en las visitas a la búsqueda / recuento de las órdenes de compra en las visitas a la búsqueda |
Métricas por búsqueda
A continuación, se muestran las definiciones de las métricas por búsqueda. Las definiciones de las métricas por exploración son similares a las de las métricas por búsqueda; todas las instancias de búsqueda se reemplazan por exploración.
| Nombre de la métrica | Definición |
|---|---|
| Cantidad de búsquedas | Recuento de eventos de búsqueda |
| Sin tasa de resultados | Recuento de eventos de búsqueda sin resultados / recuento de búsquedas |
| Tasa de clics (CTR) | Recuento de clics generados por la búsqueda (vistas de página) / recuento de búsquedas |
| Tarifa de artículos agregados al carrito (ATC) | Recuento de unidades de artículos agregados al carrito impulsadas por búsquedas / recuento de búsquedas |
| Porcentaje de compra | Recuento de unidades de compra basadas en búsquedas / recuento de búsquedas |
| Tasa de ingresos | Suma de los ingresos generados por las búsquedas / el recuento de búsquedas |
| Valor de unidad promedio (AUV) | Suma de los ingresos generados por las búsquedas / recuento de unidades de compras basadas en la búsqueda |
Analizar el rendimiento comercial del experimento
La pestaña Analytics de cada experimento muestra los paneles de métricas empresariales. En los paneles, se muestran comparaciones del rendimiento en los grupos de variantes.
Hay dos paneles de métricas:
- Métricas por visita por búsqueda y por exploración
- Métricas por búsqueda y por exploración
Las métricas de búsqueda o de exploración se muestran en función del atributo ProductType
del experimento.
Cada panel muestra una tabla de resumen de métricas que muestra los resultados de métricas agregadas en las fechas indicadas en el filtro de período. Los valores de fecha predeterminados son las fechas de inicio y finalización del experimento.
Cada métrica se muestra como una tabla de resultados agregados y un gráfico de valores diarios que proporciona información más detallada.
El período de la tabla agregada utiliza las fechas de inicio y finalización del experimento como
valores de fecha predeterminados. Si el experimento está en curso, la fecha de finalización se establece en la fecha actual. Puedes modificar el filtro de período. Si se proporciona userAgent con eventos de usuario transferidos, también puedes dividir las métricas por tipo de dispositivo.
Haz clic en el ícono Actualizar para aplicar los filtros modificados a las métricas.
Cuando la efectividad relativa de las métricas es lo suficientemente positiva como para exceder el ancho de banda del intervalo de confianza, se muestra un color de fondo verde para esa variante. De manera similar, si la efectividad relativa es lo suficientemente negativa, se mostrará un color de fondo rojo para esa variante. Si la efectividad relativa es menor que el ancho del intervalo de confianza, el color de fondo gris indica que el resultado no tiene importancia estadística.
Por ejemplo, cuando compare un grupo de variantes con un grupo de control de referencia, tenga en cuenta lo siguiente:
- Si una métrica Tasa de clics por búsqueda es superior al 3.0% y el intervalo de confianza, que se muestra como CI de efectividad, es [2.1%, 4.0%], el grupo de variantes se destaca en verde para indicar que es una variante con mejor rendimiento para esta métrica en comparación con el control del modelo de referencia.
- Si la métrica Tasa de ingresos por visita de exploración es -1.5% y el intervalo de confianza es [-2.6%, -0.4%], el grupo de variantes se destaca en rojo para indicar que tiene un peor rendimiento en esta métrica en comparación con el control de referencia.
- Si una métrica Valor de unidad promedio por búsqueda es +1.0% y el intervalo de confianza es [-1.1%, 3.0%], el grupo de variantes se destaca en gris para indicar que la diferencia en el rendimiento aún no tiene importancia estadística.
Por lo general, cuantas más datos haya, menor es la varianza. Las métricas acumuladas en unas semanas tendrán un ancho de banda de intervalo de confianza menor que las métricas diarias y tienen más probabilidades de mostrar importancia estadística.
Modifica los detalles del experimento
Puedes actualizar los detalles del experimento en la consola, como la fecha de inicio y finalización, la cantidad de grupos de variantes, los IDs del experimento y el porcentaje de división del tráfico prevista, en cualquier momento, sin importar si el experimento está en curso, finalizado o pendiente. Los datos se actualizan de forma retroactiva.
Para editar los detalles del experimento, sigue estos pasos:
Ve a la página Experimentos en la consola de Search for Retail.
Ir a la página ExperimentosEn la tabla en la que se muestran tus experimentos recientes, busca el experimento que planeas modificar.
Haz clic en el ícono de tres puntos Acciones a la derecha de la fila de la tabla y haz clic en Editar.
Se abrirá la página Editar experimento.
Modifica los campos del experimento que quieres actualizar.
Haz clic en Actualizar para guardar los cambios.
Cómo borrar un experimento de la consola
Para borrar un experimento de la consola de Search for Retail, haz lo siguiente:
Ve a la página Experimentos en la consola de Search for Retail.
Ir a la página ExperimentosEn la tabla en la que se muestran tus experimentos recientes, busca el experimento que planeas borrar.
Haz clic en el ícono de tres puntos Acciones a la derecha de la fila de la tabla y haz clic en Borrar.
Se abrirá la ventana de confirmación ¿Quieres borrar el experimento?,
Escribe el nombre del experimento y haz clic en Confirmar para confirmar la eliminación.
Cuando se complete la eliminación, la consola mostrará un mensaje que indicará que el experimento se borró correctamente.