En esta página se describe cómo puede monitorizar el tráfico de los experimentos A/B y comparar las métricas empresariales clave de la búsqueda en la consola de Search for commerce.
Información general
Puedes llevar a cabo un experimento A/B para comparar las métricas empresariales clave entre tu implementación de búsqueda actual y Vertex AI Search para el sector del comercio.
Después de configurar el experimento y su división del tráfico, puede monitorizar el tráfico del experimento y ver las métricas empresariales en la página Experimento de la consola de búsqueda de comercio.
Para configurar la monitorización de experimentos A/B en la consola, debe introducir información sobre su prueba A/B, como el nombre, el intervalo de tiempo y la información de la variante experimental. Cada variante experimental se asigna a un grupo experimental que has creado para el experimento A/B. La primera variante que configures en la consola se tratará como la variante de control de referencia.
Cada experimento tiene una pestaña Monitorización en la que se muestran las métricas de división del tráfico, que pueden ayudarte a determinar si la prueba A/B está configurada correctamente. Esto es importante para validar si se ha introducido sesgo en la prueba A/B. Por ejemplo, un problema habitual que se debe tener en cuenta es si algunas consultas o categorías se publican en una variante experimental, pero no en otras.
Cada experimento también tiene una pestaña Analíticas en la que puede ver comparaciones de métricas empresariales clave. Se incluyen dos categorías de métricas empresariales:
- Métricas por búsqueda o por navegación, como los clics por búsqueda.
- Métricas por búsqueda o por visita de navegación, como los ingresos por visita de navegación.
Consulta la lista de métricas para ver la lista completa de métricas.
Cada métrica de empresa proporciona valores brutos, un incremento relativo en comparación con el control de referencia y un intervalo de confianza del 95 %. Puede consultar tanto métricas agregadas como métricas por fecha.
En la pestaña de monitorización del tráfico se indica si se han producido divisiones de tráfico no deseadas y las fechas en las que se han producido. Para determinar si se ha producido una división del tráfico no intencionada, se compara el porcentaje de división del tráfico real con el porcentaje de división previsto que has introducido al configurar la monitorización. La división del tráfico se considera correcta si la diferencia relativa es igual o inferior al 10%. Por ejemplo, si el tráfico se va a dividir de forma equitativa entre dos variantes, una división real del 45% y el 55% está dentro del intervalo previsto.
Puedes usar la consola para monitorizar varios experimentos simultáneamente.
La fecha del experimento y las métricas segmentadas por fecha usan la zona horaria America/Los_Angeles y las 00:00 (hora de Los Ángeles) para las fechas de inicio y finalización.
Puede actualizar los detalles de un experimento en la consola, como las fechas de inicio y finalización, el número de variantes, los IDs de experimento y el porcentaje de división del tráfico previsto, en cualquier momento, independientemente de si el experimento está en curso, finalizado o pendiente. Los datos se actualizan de forma retroactiva.
Para monitorizar y analizar los experimentos A/B, se deben cumplir los siguientes requisitos y limitaciones:
El periodo máximo de datos de experimentos que puedes monitorizar es de 180 días. Si un experimento se inició hace más de 180 días, no se registran las métricas anteriores a ese periodo.
La monitorización del tráfico por consulta o por categoría solo devuelve las 100 consultas o categorías principales que reciben la mayor parte del tráfico de todas las variantes del experimento.
Antes de empezar
Antes de configurar la monitorización en la consola de búsqueda de comercio para un experimento A/B, haz lo siguiente:
Configura la ingestión de eventos de usuario para los eventos que sirve tu implementación de búsqueda y Vertex AI Search para el comercio.
Consulte las prácticas recomendadas para los experimentos A/B.
Configura el experimento con una plataforma de experimentación de terceros, como Google Optimize u Optimizely.
Configura y anota el evento de usuario
experimentIdsde cada grupo del experimento. Cuando configure la monitorización de un experimento, deberá especificar los IDs de experimento de cada variante.
Añadir un experimento en la consola
Sigue estos procedimientos para añadir un nuevo experimento que monitorizar en la consola de búsqueda de comercio:
En este procedimiento, se crean grupos experimentales en la consola de búsqueda de comercio que se corresponden con los grupos experimentales que ha creado en su plataforma de experimentos de terceros. Para ver ejemplos de cómo se pueden asignar las variantes a los grupos experimentales, consulta Ejemplos de configuraciones de experimentos.
Añadir detalles del experimento
Añade un experimento en la consola e introduce sus detalles.
Vaya a la página Experimentos de la consola de búsqueda de comercio.
Ir a la página ExperimentosHaz clic en Añadir experimento.
Se abrirá la página Nuevo experimento.
Escribe el nombre del experimento.
Selecciona las fechas de inicio y finalización del experimento.
Si el tráfico del experimento se va a aumentar gradualmente, defina la fecha de inicio para cuando se haya completado el aumento y la división del tráfico se haya estabilizado.
Selecciona el tipo de actividad que va a registrar este experimento:
Explorar: navegación por categorías de páginas de tu sitio. La actividad de navegación se indica mediante una consulta vacía en la respuesta de búsqueda.
Búsqueda: se realizan búsquedas de consultas de texto en su sitio.
A continuación, crea variantes experimentales.
Añadir variantes
Después de añadir los detalles del experimento en la consola, cree variantes experimentales que correspondan a cada grupo del experimento.
La primera variante que configures será la de referencia. La línea de base suele representar tu solución actual.
Antes de empezar, asegúrate de tener el evento de usuario experimentIds de cada grupo de experimento.
Haz clic en Añadir variante.
Se abrirá el panel Crear variante.
Introduce el evento de usuario
experimentIdasociado a la configuración del experimento que monitorizará esta variante:Si vas a configurar tu primera variante: introduce el evento de usuario
experimentIdasociado al grupo de control que servirá como referencia.Si ya has configurado la variante de referencia: introduce el evento de usuario
experimentIdasociado al siguiente grupo del experimento.
Introduce un nombre legible para este grupo de variantes.
Este nombre se muestra en los paneles de control de monitorización de la consola.
(Opcional) Proporciona una descripción de esta variante.
Selecciona un destino del tráfico de publicación:
API Google Vertex AI Search for Retail: si esta variante monitoriza el tráfico de los resultados de Vertex AI Search para el comercio.
Externo: si este grupo de variantes monitoriza el tráfico para obtener resultados de un servicio externo. Por ejemplo, el grupo de la variante de referencia (o de control) probablemente represente un destino externo si el experimento compara el tráfico de un servicio con el tráfico de Vertex AI Search for commerce.
Haz clic en Crear para terminar de crear esta variante.
La variante se muestra en la página Nuevo experimento.
Repite los pasos anteriores para crear variantes asociadas a cada grupo de experimento que quieras monitorizar.
Debes tener al menos un brazo External y un brazo Google Vertex AI Search for Retail API.
(Opcional) De forma predeterminada, el porcentaje de tráfico previsto se divide en partes iguales entre todas las variantes. Para personalizar los porcentajes de tráfico previstos, siga estos pasos:
En la sección Añadir variantes, haga clic en un valor de porcentaje de tráfico de la columna Tráfico (%).
Se abrirá el panel Porcentaje de tráfico.
En el campo Distribución de la participación porcentual, seleccione Porcentajes personalizados.
En la columna Tráfico (%) de cada variante, introduce el porcentaje de tráfico que quieras.
El porcentaje total de tráfico de todas las variantes debe sumar el 100%.
Haz clic en Listo.
Se cierra el panel Porcentaje de tráfico.
En la página Nuevo experimento, haz clic en Crear para terminar de crear tu experimento.
El experimento se muestra en la página Experimentos de formación inicial.
Ejemplos de configuraciones de experimentos
En esta sección se muestran dos ejemplos de configuraciones de experimentos.
En el ejemplo 1 se muestra un control de referencia y un grupo de experimento de Vertex AI Search para el sector del comercio.
En el ejemplo 2 se muestra cómo comparar un control de referencia con dos grupos de experimentos de Vertex AI Search para el sector del comercio.
Ejemplo 1: Dos grupos de variantes
En este ejemplo, supongamos que quiere configurar un experimento A/B con lo siguiente:
- El 20% de las solicitudes de búsqueda se envían a buscadores internos como grupo de control de referencia.
- El 20% de las solicitudes de búsqueda enviadas a la API Google Vertex AI Search for Retail como grupo experimental
- El 60% como grupo de control que no participa en la prueba A/B
La configuración de la solicitud y del evento de usuario sería la siguiente:
| Tipo de tráfico | Discovery Engine | 60 % | event.experimentIds |
event.attributionToken |
Porcentaje de tráfico |
|---|---|---|---|---|---|
| Controlar el tráfico | Interno | CONTROL |
N/A | 20 % | |
| Tráfico del experimento | API Google Vertex AI Search for Retail | EXPERIMENT |
Token de atribución de la respuesta de búsqueda | 20 % | |
| Tráfico de retención | Una de las dos o ambas | N/A | Depende del motor de descubrimiento | 60 % |
El tráfico de retención puede servirse mediante un buscador interno, Vertex AI Search para el comercio o ambos. Como no forman parte de la prueba A/B, no tienen ningún ID de experimento. Para indicar qué eventos de usuario forman parte de la prueba A/B, proporcione información sobre experimentIds y attributionToken. Las cadenas experimentId pueden ser diferentes de las que se indican en este ejemplo. Asegúrese de que los IDs que usa sean coherentes entre sus experimentos y eventos de usuario.
Al crear el experimento correspondiente en la consola, solo crearías dos variantes, ya que el grupo de retención no forma parte del experimento. El porcentaje de división del tráfico previsto entre las dos variantes es del 50 % cada una.
Para configurar la monitorización de este experimento de ejemplo, debes crear las variantes correspondientes en la consola para cada grupo experimental. En la siguiente tabla se muestra la información que introducirías en la consola durante la configuración de la variante de este ejemplo.
| Nombre de la variante | Destino del tráfico | ID de experimento de evento de usuario | Porcentaje de tráfico previsto |
|---|---|---|---|
| Variante de control de ejemplo | Externo | CONTROL | 50 % |
| Ejemplo de variante experimental | API Google Vertex AI Search for Retail | EXPERIMENTO | 50 % |
Ejemplo 2: Tres grupos de variantes
En este ejemplo, supongamos que quiere llevar a cabo un experimento A/B en las consultas de encabezado (consultas de alta frecuencia) e incluir tanto la activación como la desactivación de las facetas dinámicas. Las configuraciones de solicitudes y eventos de usuario serían las siguientes:
| Nombre de la variante | Destino del tráfico | event.experimentIds | event.attributionToken | Porcentaje de tráfico |
|---|---|---|---|---|
| Control de consultas con la cabeza | Interno | CONTROL | N/A | 50% de las consultas principales |
| Consultas HEAD de facetas dinámicas EN el experimento | API Google Vertex AI Search for Retail | EXP_DF_ON | Token de atribución de la respuesta de búsqueda | 25% de las consultas principales |
| Consultas HEAD del experimento de facetas dinámicas desactivado | API Google Vertex AI Search for Retail | EXP_DF_OFF | Token de atribución de la respuesta de búsqueda | 25% de las consultas principales |
| Consultas que no son de encabezado y otros elementos retenidos | API Google Vertex AI Search for Retail | N/A | Depende del motor que se utilice | N/A |
Para configurar la monitorización de este experimento de ejemplo, debes crear las variantes correspondientes en la consola para cada grupo experimental. En la siguiente tabla se muestra la información que introducirías en la consola durante la configuración de la variante de este ejemplo.
| Nombre de la variante | Destino del tráfico | ID de experimento de evento de usuario | Porcentaje de tráfico previsto |
|---|---|---|---|
| Variante de control de ejemplo | Externo | CONTROL | 50 % |
| Variante experimental de ejemplo 1 | API Google Vertex AI Search for Retail | EXP_DF_ON | 25 % |
| Variante experimental de ejemplo 2 | API Google Vertex AI Search for Retail | EXP_DF_OFF | 25 % |
Métricas de tráfico
En la página Monitorización de un experimento se muestra si hay divisiones del tráfico no deseadas en las siguientes métricas:
- Buscar o consultar el número de eventos por fecha
- Buscar o consultar el número de visitantes por fecha
- Número de eventos de búsqueda o navegación por categoría
Cuando se produce una división del tráfico no intencionada en una de estas métricas, su tarjeta en la parte superior de la página Monitorización muestra las fechas en las que se produjo la división del tráfico no intencionada. Haga clic en Divisiones de tráfico no deseadas para ver una tabla filtrable con las divisiones de tráfico no deseadas de esa métrica.
En las siguientes tablas de la página Monitorización de un experimento se comparan las métricas de tráfico de las variantes según el uso. Haga clic en Ver más junto al título de cualquier tabla para ver una tabla filtrable con todos los desgloses del tráfico de esa métrica:
Recuento de eventos de búsqueda o navegación por fecha: número total de búsquedas o navegaciones que se han producido en una variante en una fecha determinada.
Número de visitantes de búsqueda o navegación por fecha: número de visitantes que han buscado o navegado por una variante en una fecha determinada.
Recuento de eventos de búsqueda o navegación por categoría: número total de veces que se ha buscado una consulta o categoría determinada en una variante desde la fecha de inicio del experimento hasta la fecha de finalización (o hasta la fecha actual, si el experimento está en curso). En esta tabla solo se muestran las 100 consultas o categorías principales en términos del tráfico total de todas las variantes del experimento.
Monitorizar un experimento
En la página Experimentos de incorporación se muestra una tabla con los experimentos recientes.
Para monitorizar un experimento, siga estos pasos:
Vaya a la página Experimentos de la consola de búsqueda de comercio.
Ir a la página ExperimentosHaz clic en el nombre del experimento.
Se abrirá la página Monitorización de ese experimento.
Revisa la página para detectar divisiones de tráfico no deseadas.
Cada métrica muestra las fechas en las que se produjeron divisiones de tráfico no deseadas.
Si detecta divisiones no deseadas, haga clic en Divisiones de tráfico no deseadas para ver una tabla filtrable con las divisiones de tráfico no deseadas de esa métrica.
Corregir divisiones de tráfico no deseadas
Monitorizar los experimentos desde la consola de búsqueda de comercio puede ayudarte a detectar posibles problemas en tus experimentos.
Si detectas divisiones de tráfico no deseadas, asegúrate de que los eventos estén etiquetados con el ID de experimento correcto. Por ejemplo, si se etiqueta un evento perteneciente a un grupo de control con el ID de experimento incorrecto, se puede atribuir a la variante incorrecta.
Si el etiquetado de eventos funciona correctamente, las divisiones de tráfico no deseadas que se registren en la consola de búsqueda de comercio pueden indicar problemas de división de tráfico en tu plataforma de experimentos. En ese caso, pausa la prueba A/B antes de resolver el problema para que el experimento no produzca resultados incorrectos.
Métricas empresariales para analíticas
Hay dos grupos de métricas empresariales disponibles:
- Métricas por búsqueda o por navegación
- Visita por búsqueda o visita por navegación
Métricas por visita de búsqueda
Las definiciones de las métricas por visita de búsqueda se indican aquí. Las definiciones de las métricas por visita de navegación son similares a las de las métricas por visita de búsqueda, con todas las instancias de búsqueda sustituidas por navegación.
En la tarifa de orden de compra, una orden de compra puede incluir varios SKUs. Cada SKU puede tener una cantidad igual o superior a uno.
-->| Nombre de la métrica | Definición |
|---|---|
| Recuento de visitas de búsqueda | Número de visitas que contienen al menos una búsqueda. |
| Porcentaje de rebote | Número de visitas de búsqueda que solo tienen un evento de usuario/número de visitas de búsqueda |
| Tasa de vistas de la página | Número de clics (vistas de página) / número de visitas de búsqueda |
| Porcentaje de adiciones al carrito | Número de unidades añadidas al carrito en visitas de búsqueda/número de visitas de búsqueda |
| Tasa de pedidos | Número de órdenes de compra en visitas de búsqueda/número de visitas de búsqueda |
| Tasa de ingresos | Suma de los ingresos de las visitas de búsqueda/número de visitas de búsqueda |
| Valor medio de pedidos (AOV) | Suma de los ingresos de las visitas de búsqueda/recuento de pedidos de compra de las visitas de búsqueda |
Métricas por búsqueda
Las definiciones de las métricas por búsqueda se indican aquí. Las definiciones de las métricas por navegación son similares a las de las métricas por búsqueda, pero con todas las instancias de búsqueda sustituidas por navegación.
| Nombre de la métrica | Definición |
|---|---|
| Recuento de búsquedas | Número de eventos de búsqueda |
| Tasa de falta de decisión | Número de eventos de búsqueda sin resultados/número de búsquedas |
| Porcentaje de clics (CTR) | Número de clics procedentes de búsquedas (vistas de página) / número de búsquedas |
| Porcentaje de adiciones al carrito | Número de unidades añadidas al carrito procedentes de búsquedas/recuento de búsquedas |
| Tasa de compra | Número de unidades compradas a través de búsquedas/recuento de búsquedas |
| Tasa de ingresos | Suma de los ingresos procedentes de búsquedas/recuento de búsquedas |
| Valor medio por unidad (AUV) | Suma de los ingresos procedentes de la búsqueda/recuento de unidades compradas procedentes de la búsqueda |
Analizar el rendimiento empresarial de los experimentos
En la pestaña Analytics de cada experimento se muestran los paneles de control de métricas empresariales. Los paneles de control muestran comparativas de rendimiento entre las variantes.
Hay dos paneles de métricas:
- Métricas por visita de búsqueda y por visita de navegación
- Métricas por búsqueda y por navegación
Se muestran métricas de búsqueda o de navegación en función del ProductType
atributo del experimento.
Cada panel de control muestra una tabla de métricas de resumen con los resultados de las métricas agregados en las fechas que se muestran en el filtro de periodo. Los valores de fecha predeterminados son las fechas de inicio y finalización del experimento.
Cada métrica se muestra como una tabla de resultados agregados, así como un gráfico de valores diarios que proporciona información más detallada.
El periodo de la tabla agregada usa las fechas de inicio y finalización del experimento como valores de fecha predeterminados. Si el experimento está en curso, la fecha de finalización se establece en la fecha actual. Puede modificar el filtro de periodo. Si se proporcionan eventos de usuario ingeridos a userAgent, también puede segmentar las métricas por tipo de dispositivo.
Haga clic en el icono Actualizar para aplicar los filtros modificados a las métricas.
Cuando el aumento relativo de las métricas es lo suficientemente positivo como para superar el ancho de banda del intervalo de confianza, se muestra un color de fondo verde en esa variante. Del mismo modo, si el aumento relativo es lo suficientemente negativo, se muestra un color de fondo rojo en esa variante. Si el incremento relativo es inferior a la anchura del intervalo de confianza, el fondo de color gris indica que el resultado no tiene significación estadística.
Por ejemplo, al comparar una variante con la variante de control de referencia:
- Si la métrica Tasa de clics por búsqueda es del +3,0 % y el intervalo de confianza, que se muestra como IC de incremento, es [2,1%, 4,0%], la variante se resaltará en verde para indicar que tiene un mejor rendimiento en esta métrica en comparación con la variante de control de referencia.
- Si la métrica Tasa de ingresos por visita de navegación es del -1,5 % y el intervalo de confianza es [-2,6%, -0,4%], la variante se resaltará en rojo para indicar que tiene un rendimiento peor en esta métrica en comparación con la variante de control de referencia.
- Si la métrica Valor medio por unidad de búsqueda es de +1,0 % y el intervalo de confianza es [-1,1%, 3,0%], la variante se destaca en gris para indicar que la diferencia de rendimiento aún no es estadísticamente significativa.
Por lo general, cuantos más puntos de datos haya, menor será la varianza. Las métricas acumuladas durante unas semanas tendrán un ancho de banda del intervalo de confianza menor que las métricas diarias y es más probable que muestren una significación estadística.
Modificar los detalles de un experimento
Puede actualizar los detalles de un experimento en la consola (como las fechas de inicio y finalización, el número de variantes, los IDs de experimento y el porcentaje de división del tráfico previsto) en cualquier momento, independientemente de si el experimento está en curso, finalizado o pendiente. Los datos se actualizan de forma retroactiva.
Para editar los detalles de un experimento, sigue estos pasos:
Vaya a la página Experimentos de la consola de búsqueda de comercio.
Ir a la página ExperimentosEn la tabla que muestra los experimentos recientes, busque el que quiera modificar.
Haga clic en el icono de tres puntos Acciones situado a la derecha de la fila de la tabla y, a continuación, en Editar.
Se abrirá la página Editar experimento.
Modifica los campos del experimento que quieras actualizar.
Haz clic en Update (Actualizar) para guardar los cambios.
Eliminar un experimento de la consola
Para eliminar un experimento de la consola de búsqueda de comercio:
Vaya a la página Experimentos de la consola de búsqueda de comercio.
Ir a la página ExperimentosEn la tabla que muestra los experimentos recientes, busque el que quiera eliminar.
Haga clic en el icono de tres puntos Acciones situado a la derecha de la fila de la tabla y, a continuación, en Eliminar.
Se abrirá la ventana de confirmación ¿Eliminar experimento?.
Escribe el nombre del experimento y haz clic en Confirmar para confirmar la eliminación.
Cuando se haya completado la eliminación, la consola mostrará un mensaje que indica que el experimento se ha eliminado correctamente.