En esta página, se describe cómo puedes supervisar el tráfico de los experimentos A/B y comparar las métricas comerciales clave para la búsqueda en la consola de Search for commerce.
Descripción general
Puedes realizar un experimento A/B para comparar las métricas comerciales clave entre tu implementación de búsqueda existente y Vertex AI Search para comercio.
Después de configurar el experimento y su división del tráfico, puedes supervisar el tráfico del experimento y ver las métricas comerciales en la página Experiment de la consola de Search for commerce.
Para configurar la supervisión del experimento A/B en la consola, debes ingresar información sobre tu prueba A/B, como el nombre, el período y los datos del grupo experimental. Cada grupo de variantes del experimento se asigna a un grupo experimental que creaste para el experimento A/B, en el que el primer grupo que configuraste en la consola se considera el control de referencia.
Cada experimento tiene una pestaña Monitoring en la que se muestran métricas de división del tráfico que pueden ayudarte a determinar si la prueba A/B está configurada correctamente. Esto es importante para validar si se introdujo sesgo en la prueba A/B. Por ejemplo, un problema típico que se debe tener en cuenta es si algunas búsquedas o categorías se publican en un grupo experimental, pero no en otros.
Cada experimento también tiene una pestaña Analytics en la que puedes ver comparaciones de las métricas comerciales clave. Se incluyen dos categorías de métricas comerciales:
- Métricas por búsqueda o por exploración, como los clics por búsqueda
- Métricas por búsqueda o por visita de exploración, como los ingresos por visita de exploración
Consulta la Lista de métricas para obtener una lista completa de las métricas.
Cada métrica comercial proporciona valores sin procesar, la efectividad relativa en comparación con el grupo de control de referencia y un intervalo de confianza del 95%. Puedes ver tanto las métricas agregadas como las métricas por fecha.
En la pestaña de supervisión del tráfico, se muestra si se produjeron divisiones de tráfico no deseadas y las fechas en las que ocurrieron. Para determinar si hay una división del tráfico no deseada, se compara el porcentaje de división del tráfico real con el porcentaje de división previsto que ingresaste cuando configuraste la supervisión. La división del tráfico se considera correcta si la diferencia relativa es igual o inferior al 10%. Por ejemplo, si se pretende dividir el tráfico de manera uniforme entre dos grupos, una división real del 45% al 55% se encuentra dentro del rango previsto.
Puedes usar la consola para supervisar varios experimentos de forma simultánea.
La fecha del experimento y las métricas segmentadas por fecha usan America/Los_Angeles como zona horaria y las 12:00 a.m. (hora de Los Ángeles) para las fechas de inicio y finalización.
Puedes actualizar los detalles del experimento en la consola, como las fechas de inicio y finalización, la cantidad de grupos de variantes, los IDs de experimento y el porcentaje de división del tráfico previsto en cualquier momento, independientemente de si el experimento está en curso, finalizado o pendiente. Los datos se actualizan de forma retroactiva.
La supervisión y el análisis de los experimentos A/B tienen los siguientes requisitos y limitaciones:
El período máximo de datos del experimento que puedes hacer un seguimiento es de 180 días. Si un experimento comenzó hace más de 180 días, no se registran las métricas anteriores a ese período.
El monitoreo del tráfico por búsqueda o por categoría solo muestra las 100 búsquedas o categorías principales que obtienen la mayor cantidad de tráfico de todos los grupos de variantes en el experimento.
Antes de comenzar
Antes de configurar la supervisión en la consola de Búsqueda para comercio para un experimento A/B, haz lo siguiente:
Configura la transferencia de eventos del usuario para los eventos que publica tu implementación de búsqueda existente y Vertex AI Search for Commerce.
Revisa las prácticas recomendadas para los experimentos A/B.
Configura el experimento mediante una plataforma de experimentos de terceros, como Google Optimize u Optimizely.
Configura y anota el evento de usuario
experimentIdspara cada grupo experimental. Cuando configures el monitoreo del experimento, deberás especificar los IDs de experimento para cada grupo de variantes.
Agrega un experimento en la consola
Sigue estos procedimientos para agregar un experimento nuevo que se supervisará en la consola de Búsqueda para comercio:
En este procedimiento, crearás segmentos de variantes en la consola de Search for commerce que corresponden a los grupos de experimentos existentes que creaste en tu plataforma de experimentos de terceros. Para ver ejemplos de cómo los grupos de variantes se pueden asignar a grupos de experimentos existentes, consulta Ejemplos de configuraciones de experimentos.
Agrega detalles del experimento
Agrega un experimento en la consola y, luego, ingresa sus detalles.
Ve a la página Experiments en la consola de Search for commerce.
Ir a la página ExperimentosHaz clic en Agregar experimento.
Se abrirá la página Experimento nuevo.
Ingresa un nombre para el experimento.
Selecciona las fechas de inicio y finalización del experimento.
Si el tráfico de tu experimento está configurado para aumentar gradualmente, establece la fecha de inicio en una fecha en la que se haya completado el aumento y se haya estabilizado la división del tráfico.
Selecciona el tipo de actividad que registra este experimento:
Explorar: Navegación en tu sitio por categoría de página La actividad de navegación se indica con una búsqueda vacía en la respuesta de búsqueda.
Búsqueda: Búsquedas de consultas de texto en tu sitio
A continuación, crea grupos de variantes para tu experimento.
Cómo agregar variantes
Después de agregar los detalles del experimento en la consola, crea grupos de variantes que correspondan a cada grupo experimental.
El primer grupo de variantes que configures será la variante de referencia. Por lo general, el modelo de referencia representa tu solución existente.
Antes de comenzar, asegúrate de tener el evento del usuario experimentIds para cada grupo de experimento.
Haz clic en Agregar grupo de variantes.
Se abrirá el panel Crear grupo de variantes.
Ingresa el evento del usuario
experimentIdasociado con la configuración del experimento que supervisará este grupo de variantes:Si es la primera vez que configuras una variante: Ingresa el evento del usuario
experimentIdasociado con el grupo de referencia que servirá como referencia.Si ya configuraste tu rama de la variante de referencia: Ingresa el evento del usuario
experimentIdasociado al siguiente grupo experimental.
Ingresa un nombre legible para este grupo de variantes.
Este nombre se muestra en los paneles de supervisión de la consola.
(Opcional) Proporciona una descripción de este grupo de variantes.
Selecciona un destino de tráfico de publicación:
API de Google Vertex AI Search for Retail: Si esta rama de la variante supervisa el tráfico de los resultados de Vertex AI Search for Commerce.
Externo: Si este grupo de variantes supervisa el tráfico para obtener resultados de un servicio externo. Por ejemplo, es probable que el brazo de la variante de referencia (o de control) represente un destino externo si el experimento compara el tráfico de un servicio existente con el tráfico de Vertex AI Search for Commerce.
Haz clic en Crear para terminar de crear esta variante.
El grupo de variantes se muestra en la página Experimento nuevo.
Repite los pasos anteriores para crear ramas de variantes asociadas con cada grupo de experimentos que planeas supervisar.
Debes tener al menos un segmento Externo y un segmento de la API de Google Vertex AI Search for Retail.
(Opcional) De forma predeterminada, el porcentaje de tráfico previsto se divide de manera uniforme entre todos los grupos de variantes. Para personalizar los porcentajes de tráfico previstos, haz lo siguiente:
En la sección Agregar variantes, haz clic en un valor de porcentaje de tráfico en la columna %de tráfico.
Se abrirá el panel Porcentaje de tráfico.
En el campo Distribución del peso, selecciona Porcentajes personalizados.
En la columna %de tráfico de cada grupo de variantes, ingresa el porcentaje de tráfico previsto.
El porcentaje total de tráfico en todos los grupos de variantes debe sumar el 100%.
Haz clic en Listo.
Se cerrará el panel Porcentaje de tráfico.
Haz clic en Crear en la página Nuevo experimento para terminar de crear tu experimento.
El experimento se muestra en la página Experimentos de integración.
Ejemplos de configuraciones de experimentos
En esta sección, se presentan dos ejemplos de configuraciones de experimentos.
El ejemplo 1 muestra un grupo de control de referencia y un grupo de experimentos de Vertex AI Search para el comercio.
El ejemplo 2 muestra la comparación de un control de referencia con dos grupos experimentales de Vertex AI Search para el comercio.
Ejemplo 1: Dos grupos de variantes
En este ejemplo, supón que planeas configurar un experimento A/B con los siguientes parámetros:
- El 20% de las solicitudes de búsqueda se envían a los motores de búsqueda internos como grupo de control de referencia.
- El 20% de las solicitudes de búsqueda se envían a la API de Google Vertex AI Search for Retail como grupo experimental.
- El 60% como grupo de exclusión que no participa en la prueba A/B
La configuración de la solicitud y el evento del usuario sería la siguiente:
| Tipo de tráfico | Motor de descubrimiento | 60% | event.experimentIds |
event.attributionToken |
Tráfico % |
|---|---|---|---|---|---|
| Controla el tráfico | Interno | CONTROL |
N/A | 20% | |
| Tráfico del experimento | API de Google Vertex AI Search for Retail | EXPERIMENT |
Es el token de atribución de la respuesta de búsqueda. | 20% | |
| Tráfico de datos de exclusión | Cualquiera de las dos opciones | N/A | Depende del motor de descubrimiento | 60% |
El tráfico de datos de exclusión puede provenir de un motor de búsqueda interno, de Vertex AI Search para el comercio o de ambos. Como no forman parte de la prueba A/B, no tienen un ID de experimento. Para indicar qué eventos de usuario forman parte de la prueba A/B, asegúrate de proporcionar información de experimentIds y attributionToken. Tus cadenas de experimentId podrían ser diferentes de las que se indican en este ejemplo. Asegúrate de que los IDs que usas sean coherentes entre tus experimentos y eventos de usuario.
Cuando crees el experimento correspondiente en la consola, solo crearás dos grupos de variantes, ya que el grupo de aislamiento no forma parte del experimento. El porcentaje de división del tráfico previsto entre los dos grupos de variantes es del 50% y el 50%.
Para configurar la supervisión de este experimento de ejemplo, crearías los grupos de variantes correspondientes en la consola para cada grupo experimental. En la siguiente tabla, se muestra la información que ingresarías en la consola durante la configuración de la rama de la variante para este ejemplo.
| Nombre del grupo de variantes | Destino de tráfico | ID del experimento de evento del usuario | Porcentaje de tráfico previsto |
|---|---|---|---|
| Ejemplo de grupo de control | Externo | CONTROL | 50% |
| Ejemplo de grupo experimental | API de Google Vertex AI Search for Retail | EXPERIMENTO | 50% |
Ejemplo 2: Tres grupos de variantes
En este ejemplo, supongamos que planeas realizar un experimento A/B en las búsquedas principales (búsquedas de alta frecuencia) y que incluirás la activación y desactivación de facetas dinámicas. Las configuraciones de solicitudes y eventos del usuario serían las siguientes:
| Nombre del grupo de variantes | Destino de tráfico | event.experimentIds | event.attributionToken | Tráfico % |
|---|---|---|---|---|
| Control de las búsquedas principales | Interno | CONTROL | N/A | El 50% de las búsquedas principales |
| Experimento de facetas dinámicas ACTIVADAS para las búsquedas de encabezado | API de Google Vertex AI Search for Retail | EXP_DF_ON | Es el token de atribución de la respuesta de búsqueda. | El 25% de las búsquedas principales |
| Experimento de facetas dinámicas de las búsquedas de encabezado DESACTIVADAS | API de Google Vertex AI Search for Retail | EXP_DF_OFF | Es el token de atribución de la respuesta de búsqueda. | El 25% de las búsquedas principales |
| Búsquedas que no son de encabezado y otros datos excluidos | API de Google Vertex AI Search for Retail | N/A | Depende del motor de búsqueda que se use | N/A |
Para configurar la supervisión de este experimento de ejemplo, crearías los grupos de variantes correspondientes en la consola para cada grupo experimental. En la siguiente tabla, se muestra la información que ingresarías en la consola durante la configuración de la rama de la variante para este ejemplo.
| Nombre del grupo de variantes | Destino de tráfico | ID del experimento de evento del usuario | Porcentaje de tráfico previsto |
|---|---|---|---|
| Ejemplo de grupo de control | Externo | CONTROL | 50% |
| Grupo experimental de ejemplo 1 | API de Google Vertex AI Search for Retail | EXP_DF_ON | 25% |
| Ejemplo de grupo experimental 2 | API de Google Vertex AI Search for Retail | EXP_DF_OFF | 25% |
Métricas de tráfico
En la página Supervisión de un experimento, se muestra si hay divisiones del tráfico no deseadas para las siguientes métricas:
- Recuento de eventos de búsqueda o navegación por fecha
- Recuento de visitantes de búsqueda o navegación por fecha
- Recuento de eventos de búsqueda o navegación por categoría
Cuando se producen divisiones de tráfico no deseadas para una de estas métricas, su tarjeta en la parte superior de la página Supervisión muestra las fechas en las que se produjo la división de tráfico no deseada. Haz clic en Divisiones de tráfico no deseadas para ver una tabla filtrable en la que se enumeran las divisiones de tráfico no deseadas para esa métrica.
En las siguientes tablas de la página Supervisión de un experimento, se comparan las métricas de tráfico en los diferentes grupos de variantes según el uso. Haz clic en Ver más junto al título de cualquier tabla para ver una tabla filtrable que enumere todas las divisiones del tráfico para esa métrica:
Recuento de eventos de búsqueda o navegación por fecha: Es la cantidad total de búsquedas o navegaciones que se produjeron en una variante en una fecha determinada.
Recuento de visitantes de búsqueda o navegación por fecha: Es la cantidad de visitantes que realizaron búsquedas o navegaron en una variante del experimento en una fecha determinada.
Recuento de eventos de búsqueda o navegación por categoría: Es la cantidad total de veces que se buscó una consulta o categoría determinada en una rama de la variante desde la fecha de inicio del experimento hasta su fecha de finalización (o hasta la fecha actual, si el experimento está en curso). En esta tabla, solo se muestran las 100 principales búsquedas o categorías en términos del tráfico total de todos los grupos de variantes del experimento.
Supervisa un experimento
En la página Experimentos de integración, se muestra una tabla con tus experimentos recientes.
Para supervisar un experimento, haz lo siguiente:
Ve a la página Experiments en la consola de Search for commerce.
Ir a la página ExperimentosHaz clic en el nombre del experimento.
Se abrirá la página Monitoring de ese experimento.
Revisa la página para detectar divisiones de tráfico no deseadas.
Cada métrica muestra las fechas en las que se produjeron divisiones de tráfico no deseadas.
Si ves divisiones no deseadas, haz clic en Divisiones de tráfico no deseadas para ver una tabla filtrable en la que se enumeran las divisiones de tráfico no deseadas para esa métrica.
Aborda las divisiones de tráfico no deseadas
Supervisar los experimentos desde la consola de Búsqueda para comercios puede ayudarte a detectar posibles problemas en tu experimento.
Si encuentras divisiones de tráfico no deseadas, asegúrate de que los eventos estén etiquetados con el ID de experimento correcto. Por ejemplo, si un evento que pertenece a un grupo de control se etiqueta con el ID de experimento incorrecto, es posible que se atribuya a la rama de la variante incorrecta.
Si el etiquetado de eventos funciona correctamente, las divisiones de tráfico no deseadas que informa la consola de Búsqueda para comercio pueden indicar problemas de división del tráfico en tu plataforma de experimentos. En ese caso, pausa la prueba A/B antes de resolver el problema para que el experimento no produzca resultados incorrectos.
Métricas comerciales para las estadísticas
Hay dos grupos de métricas comerciales disponibles:
- Métricas por búsqueda o por exploración
- Por visita de búsqueda o por visita de navegación
Métricas por visita de búsqueda
Aquí se enumeran las definiciones de las métricas por visita de búsqueda. Las definiciones de las métricas por visita de exploración son similares a las de las métricas por visita de búsqueda, con todas las instancias de búsqueda reemplazadas por exploración.
En la tarifa de la orden de compra, una orden de compra puede incluir varios SKU. Cada SKU puede tener una cantidad mayor o igual a uno.
-->| Nombre de la métrica | Definición |
|---|---|
| Recuento de visitas de búsqueda | Es el recuento de visitas que contienen al menos una búsqueda. |
| Porcentaje de rebote | Cantidad de visitas de búsqueda que solo tienen 1 evento del usuario / cantidad de visitas de búsqueda |
| Tasa de vistas de página | Cantidad de clics (vistas de página) / cantidad de visitas de búsqueda |
| Tasa de agregación de artículos al carrito (ATC) | Cantidad de unidades agregadas al carrito en visitas de búsqueda / cantidad de visitas de búsqueda |
| Tasa de órdenes de compra | Cantidad de órdenes de compra en visitas de búsqueda / cantidad de visitas de búsqueda |
| Tasa de ingresos | Suma de los ingresos en las visitas de búsqueda / cantidad de visitas de búsqueda |
| Valor promedio del pedido (AOV) | Suma de los ingresos en las visitas de búsqueda / cantidad de pedidos de compra en las visitas de búsqueda |
Métricas por búsqueda
Aquí se enumeran las definiciones de las métricas por búsqueda. Las definiciones de las métricas por navegación son similares a las de las métricas por búsqueda, con todas las instancias de búsqueda reemplazadas por navegación.
| Nombre de la métrica | Definición |
|---|---|
| Cantidad de búsquedas | Cantidad de eventos de búsqueda |
| Tasa de no resultados | Cantidad de eventos de búsqueda sin resultados / cantidad de búsquedas |
| Tasa de clics (CTR) | Cantidad de clics provenientes de búsquedas (vistas de página) / cantidad de búsquedas |
| Tasa de agregación de artículos al carrito (ATC) | Cantidad de unidades de agregar al carrito basadas en la búsqueda / cantidad de búsquedas |
| Tasa de compras | Cantidad de unidades de compra impulsadas por la búsqueda / cantidad de búsquedas |
| Tasa de ingresos | Suma de los ingresos generados por las búsquedas / cantidad de búsquedas |
| Valor promedio por unidad (AUV) | Suma de los ingresos generados por las búsquedas / cantidad de unidades compradas generadas por las búsquedas |
Analiza el rendimiento comercial del experimento
En la pestaña Analytics de cada experimento, se muestran paneles de métricas comerciales. Los paneles muestran comparaciones de rendimiento entre los diferentes grupos de variantes.
Existen dos paneles de métricas:
- Métricas por visita de búsqueda y por visita de navegación
- Métricas por búsqueda y por exploración
Se muestran las métricas de búsqueda o las de exploración según el atributo ProductType del experimento.
En cada panel, se muestra una tabla de métricas de resumen con los resultados de las métricas agregados en las fechas que se muestran en el filtro de período. Los valores de fecha predeterminados son las fechas de inicio y finalización del experimento.
Cada métrica se muestra como una tabla de resultados agregados y como un gráfico de valores diarios que proporciona información más detallada.
El período de la tabla agregada usa las fechas de inicio y finalización del experimento como valores de fecha predeterminados. Si el experimento está en curso, la fecha de finalización se establece en la fecha actual. Puedes modificar el filtro de período. Si se proporciona userAgent con eventos de usuario transferidos, también puedes segmentar las métricas por tipo de dispositivo.
Haz clic en el ícono Actualizar para aplicar los filtros modificados a las métricas.
Cuando el aumento relativo de las métricas es lo suficientemente positivo como para superar el ancho del intervalo de confianza, se muestra un color de fondo verde para esa variante. Del mismo modo, si la efectividad relativa es lo suficientemente negativa, se muestra un color de fondo rojo para esa variante. Si la efectividad relativa es menor que el ancho del intervalo de confianza, un color de fondo gris indica que el resultado no tiene importancia estadística.
Por ejemplo, cuando se compara un grupo de variantes con un grupo de control de referencia:
- Si una métrica Porcentaje de clics por búsqueda es de +3.0% y el intervalo de confianza, que se muestra como IC de efectividad, es [2.1%, 4.0%], el grupo de la variante se destaca en verde para indicar que es una variante con mejor rendimiento para esta métrica en comparación con el control del modelo de referencia.
- Si una métrica Tasa de ingresos por visita de exploración es del -1.5% y el intervalo de confianza es [-2.6%, -0.4%], el grupo de la variante se destaca en rojo para indicar que tiene un rendimiento inferior en esta métrica en comparación con el grupo de control del modelo de referencia.
- Si una métrica Valor unitario promedio por búsqueda es de +1.0% y el intervalo de confianza es [-1.1%, 3.0%], el grupo de la variante se destaca en gris para indicar que la diferencia en el rendimiento aún no tiene importancia estadística.
En general, cuantos más datos haya, menor será la varianza. Las métricas acumuladas durante algunas semanas tendrán un ancho de banda del intervalo de confianza más bajo que las métricas diarias y es más probable que muestren significación estadística.
Cómo modificar los detalles del experimento
Puedes actualizar los detalles del experimento en la consola, como la fecha de inicio y finalización, la cantidad de grupos de variantes, los IDs de experimento y el porcentaje de división del tráfico previsto en cualquier momento, independientemente de si el experimento está en curso, finalizado o pendiente. Los datos se actualizan de forma retroactiva.
Para editar los detalles del experimento, sigue estos pasos:
Ve a la página Experiments en la consola de Search for commerce.
Ir a la página ExperimentosEn la tabla que muestra tus experimentos recientes, busca el experimento que planeas modificar.
Haz clic en el ícono de tres puntos Acciones a la derecha de la fila de la tabla y, luego, en Editar.
Se abrirá la página Editar experimento.
Modifica los campos del experimento que deseas actualizar.
Haz clic en Actualizar para guardar los cambios.
Borra un experimento de la consola
Para borrar un experimento de la consola de Search for commerce, sigue estos pasos:
Ve a la página Experiments en la consola de Search for commerce.
Ir a la página ExperimentosEn la tabla que muestra tus experimentos recientes, busca el que planeas borrar.
Haz clic en el ícono de tres puntos Acciones a la derecha de la fila de la tabla y, luego, en Borrar.
Se abrirá la ventana de confirmación ¿Borrar experimento?.
Escribe el nombre del experimento y haz clic en Confirmar para confirmar la eliminación.
Cuando se complete el borrado, la consola mostrará un mensaje que indica que tu experimento se borró correctamente.