Questa pagina descrive come monitorare il traffico degli esperimenti A/B e confrontare le metriche aziendali chiave per la ricerca nella console Search for commerce.
Panoramica
Puoi condurre un esperimento A/B per confrontare le metriche aziendali chiave tra l'implementazione della ricerca esistente e Vertex AI Search for Commerce.
Dopo aver configurato l'esperimento e la suddivisione del traffico, puoi monitorare il traffico dell'esperimento e visualizzare le metriche aziendali utilizzando la pagina Esperimento nella console Search for commerce.
Per configurare il monitoraggio dell'esperimento A/B nella console, inserisci informazioni sul test A/B, ad esempio nome, intervallo di tempo e informazioni sul gruppo sperimentale. Ogni gruppo sperimentale della variante dell'esperimento corrisponde a un gruppo sperimentale creato per l'esperimento A/B, in cui il primo gruppo configurato nella console viene trattato come controllo di base.
Ogni esperimento ha una scheda Monitoraggio che mostra le metriche di suddivisione del traffico che possono aiutarti a determinare se il test A/B è configurato correttamente. Questo è importante per verificare se è stato introdotto un bias nel test A/B. Ad esempio, un problema tipico da tenere d'occhio è se alcune query o categorie vengono pubblicate da un gruppo sperimentale, ma non da altri.
Ogni esperimento ha anche una scheda Analytics in cui puoi visualizzare i confronti tra le metriche chiave dell'attività. Sono incluse due categorie di metriche aziendali:
- Metriche per ricerca o per navigazione, ad esempio clic per ricerca.
- Metriche per visita di ricerca o di navigazione, ad esempio entrate per visita di navigazione.
Per un elenco completo delle metriche, consulta Elenco delle metriche.
Ogni metrica aziendale fornisce valori non elaborati, incremento relativo rispetto al controllo di base e un intervallo di confidenza del 95%. Puoi visualizzare sia le metriche aggregate sia le metriche per data.
La scheda Monitoraggio del traffico mostra se si sono verificate suddivisioni del traffico non previste e le date in cui si sono verificate. Una suddivisione del traffico non prevista viene determinata confrontando la percentuale di suddivisione del traffico effettiva con la percentuale di suddivisione prevista che inserisci durante la configurazione del monitoraggio. La suddivisione del traffico è considerata corretta se la differenza relativa è uguale o inferiore al 10%. Ad esempio, se il traffico deve essere suddiviso equamente tra due gruppi, una suddivisione effettiva del 45% e del 55% rientra nell'intervallo previsto.
Puoi utilizzare la console per monitorare più esperimenti contemporaneamente.
La data e le metriche dell'esperimento suddivise per data utilizzano America/Los_Angeles come fuso orario e le ore 00:00 del fuso orario America/Los_Angeles per le date di inizio e di fine.
Puoi aggiornare i dettagli dell'esperimento nella console, ad esempio le date di inizio e di fine, il numero di bracci delle varianti, gli ID esperimento e la percentuale di suddivisione del traffico prevista in qualsiasi momento, indipendentemente dal fatto che l'esperimento sia in corso, terminato o in attesa. I dati vengono aggiornati retroattivamente.
Il monitoraggio e l'analisi degli esperimenti A/B presentano i seguenti requisiti/limitazioni:
L'intervallo di tempo massimo dei dati dell'esperimento che puoi monitorare è di 180 giorni. Se un esperimento è iniziato più di 180 giorni fa, le metriche precedenti non vengono acquisite.
Il monitoraggio del traffico per query o per categoria restituisce solo le prime 100 query o categorie che generano il maggior traffico di tutti i gruppi di varianti nell'esperimento.
Prima di iniziare
Prima di configurare il monitoraggio nella console Search for commerce per un test A/B:
Configura l'importazione degli eventi utente per gli eventi pubblicati dall'implementazione di ricerca esistente e da Vertex AI Search for Commerce.
Esamina le best practice per gli esperimenti A/B.
Configura l'esperimento utilizzando una piattaforma di sperimentazione di terze parti come Google Optimize o Optimizely.
Configura e annota l'evento utente
experimentIdsper ogni gruppo dell'esperimento. Quando configuri il monitoraggio dell'esperimento, devi specificare gli ID esperimento per ogni gruppo di varianti.
Aggiungere un esperimento nella console
Utilizza le seguenti procedure per aggiungere un nuovo esperimento da monitorare nella console Search for commerce:
In questa procedura, crei i gruppi di varianti nella console Search for commerce che corrispondono ai gruppi sperimentali esistenti creati nella piattaforma sperimentale di terze parti. Per esempi di come i gruppi di varianti possono essere mappati ai gruppi sperimentali esistenti, consulta Esempi di configurazioni di esperimenti.
Aggiungere i dettagli dell'esperimento
Aggiungi un esperimento nella console e inseriscine i dettagli.
Vai alla pagina Esperimenti nella console Search for commerce.
Vai alla pagina EsperimentiFai clic su Aggiungi esperimento.
Viene visualizzata la pagina Nuovo esperimento.
Inserisci un nome per l'esperimento.
Seleziona le date di inizio e di fine dell'esperimento.
Se il traffico dell'esperimento è impostato in modo da aumentare gradualmente, imposta la data di inizio a una data in cui l'aumento è completato e la suddivisione del traffico è stabilizzata.
Seleziona il tipo di attività monitorata da questo esperimento:
Sfoglia: navigazione sul tuo sito per categoria di pagina. L'attività di navigazione è indicata da una query vuota nella risposta di ricerca.
Ricerca: ricerche di query di testo sul tuo sito.
Poi, crea i gruppi di varianti per l'esperimento.
Aggiungere varianti
Dopo aver aggiunto i dettagli dell'esperimento nella console, crea gruppi di varianti che corrispondono a ogni gruppo sperimentale.
Il primo gruppo di varianti che configuri è la variante di base. Il valore di base in genere rappresenta la tua soluzione esistente.
Prima di iniziare, assicurati di avere l'evento utente experimentIds per ogni
gruppo sperimentale.
Fai clic su Aggiungi gruppo di varianti.
Si apre il riquadro Crea gruppo di varianti.
Inserisci l'
experimentIddell'evento utente associato alla configurazione dell'esperimento che questo gruppo di varianti monitorerà:Se stai configurando il primo braccio della variante:inserisci l'evento utente
experimentIdassociato al gruppo di base che fungerà da base di riferimento.Se hai già configurato il braccio della variante di base: inserisci l'evento utente
experimentIdassociato al gruppo di esperimenti successivo.
Inserisci un nome leggibile per questo gruppo di varianti.
Questo nome viene visualizzato nelle dashboard di monitoraggio nella console.
(Facoltativo) Fornisci una descrizione di questo gruppo di varianti.
Seleziona una destinazione di traffico per la pubblicazione:
API Google Vertex AI Search for Retail: se questo braccio della variante monitora il traffico per i risultati di Vertex AI Search for Commerce.
Esterno: se questo braccio della variante monitora il traffico per i risultati di un servizio esterno. Ad esempio, il gruppo della variante di base (o di controllo) rappresenta probabilmente una destinazione esterna se l'esperimento confronta il traffico di un servizio esistente con Vertex AI Search per il traffico commerciale.
Fai clic su Crea per completare la creazione di questo braccio della variante.
Il gruppo di varianti viene visualizzato nella pagina Nuovo esperimento.
Ripeti i passaggi precedenti per creare i bracci delle varianti associati a ogni gruppo di esperimenti che prevedi di monitorare.
Devi avere almeno un braccio Esterno e un braccio API Google Vertex AI Search for Retail.
(Facoltativo) Per impostazione predefinita, la percentuale di traffico prevista viene suddivisa equamente tra tutti i gruppi di varianti. Per personalizzare le percentuali di traffico previste:
Nella sezione Aggiungi varianti, fai clic su un valore percentuale di traffico nella colonna %di traffico.
Si apre il riquadro Percentuale di traffico.
Nel campo Distribuzione ponderazione, seleziona Percentuali personalizzate.
Nella colonna Percentuale di traffico per ogni gruppo di varianti, inserisci la percentuale di traffico prevista.
La percentuale totale di traffico in tutti i gruppi di varianti deve essere pari al 100%.
Fai clic su Fine.
Il riquadro Percentuale di traffico si chiude.
Fai clic su Crea nella pagina Nuovo esperimento per completare la creazione dell'esperimento.
L'esperimento viene visualizzato nella pagina Esperimenti di onboarding.
Esempi di configurazioni di esperimenti
Questa sezione presenta due esempi di configurazioni di esperimenti.
L'esempio 1 mostra un gruppo di controllo di base e un gruppo di esperimenti di Vertex AI Search per il commercio.
L'esempio 2 mostra il confronto tra un gruppo di controllo di base e due gruppi sperimentali di Vertex AI Search per il commercio.
Esempio 1: due gruppi di varianti
In questo esempio, supponiamo che tu voglia configurare un esperimento A/B con:
- 20% delle richieste di ricerca inviate ai motori di ricerca interni come gruppo di controllo di base
- Il 20% delle richieste di ricerca inviate all'API Google Vertex AI Search for Retail come gruppo sperimentale
- 60% come gruppo di holdout che non fa parte del test A/B
La configurazione degli eventi di richiesta e utente sarebbe:
| Tipo di traffico | Discovery Engine | 60% | event.experimentIds |
event.attributionToken |
% traffico |
|---|---|---|---|---|---|
| Controllare il traffico | Interno | CONTROL |
N/D | 20% | |
| Traffico per gli esperimenti | API Google Vertex AI Search for Retail | EXPERIMENT |
Token di attribuzione dalla risposta della ricerca | 20% | |
| Traffico di holdout | Una o entrambe | N/D | Dipende dal motore di scoperta | 60% |
Il traffico di holdout potrebbe essere gestito da un motore di ricerca interno,
Vertex AI Search for Commerce o entrambi. Poiché non fanno parte del test A/B,
non hanno un ID esperimento. Per indicare quali eventi utente fanno parte del test A/B, assicurati di fornire le informazioni experimentIds e attributionToken. Le tue stringhe experimentId potrebbero essere diverse da quelle fornite in
questo esempio. Assicurati che gli ID che utilizzi siano coerenti tra gli esperimenti e gli eventi utente.
Quando crei l'esperimento corrispondente nella console, devi creare solo due gruppi di varianti, perché il gruppo di controllo non fa parte dell'esperimento. La percentuale di traffico prevista tra i due gruppi di varianti è 50% / 50%.
Per configurare il monitoraggio per questo esperimento di esempio, crea i gruppi sperimentali corrispondenti nella console per ogni gruppo sperimentale. La seguente tabella mostra le informazioni che inseriresti nella console durante la configurazione del gruppo di varianti per questo esempio.
| Nome del gruppo di varianti | Destinazione traffico | ID esperimento evento utente | % di traffico previsto |
|---|---|---|---|
| Gruppo di controllo di esempio | Esterno | CONTROLLO | 50% |
| Gruppo sperimentale di esempio | API Google Vertex AI Search for Retail | ESPERIMENTO | 50% |
Esempio 2: tre gruppi di varianti
In questo esempio, supponiamo che tu voglia condurre un test A/B sulle query principali (query ad alta frequenza) e includere l'attivazione e la disattivazione delle sfaccettature dinamiche. Le configurazioni delle richieste e degli eventi utente sarebbero:
| Nome del gruppo di varianti | Destinazione traffico | event.experimentIds | event.attributionToken | % traffico |
|---|---|---|---|---|
| Controllo delle query di intestazione | Interno | CONTROLLO | N/D | 50% delle query head |
| Query principali sui facet dinamici ON dell'esperimento | API Google Vertex AI Search for Retail | EXP_DF_ON | Token di attribuzione dalla risposta della ricerca | 25% delle query generiche |
| Esperimento Disattiva facet dinamici per le query principali | API Google Vertex AI Search for Retail | EXP_DF_OFF | Token di attribuzione dalla risposta della ricerca | 25% delle query generiche |
| Query non di primo livello e altri holdout | API Google Vertex AI Search for Retail | N/D | Dipende dal motore utilizzato | N/D |
Per configurare il monitoraggio per questo esperimento di esempio, crea i gruppi sperimentali corrispondenti nella console per ogni gruppo sperimentale. La seguente tabella mostra le informazioni che inseriresti nella console durante la configurazione del gruppo di varianti per questo esempio.
| Nome del gruppo di varianti | Destinazione traffico | ID esperimento evento utente | % di traffico previsto |
|---|---|---|---|
| Gruppo di controllo di esempio | Esterno | CONTROLLO | 50% |
| Esempio di gruppo sperimentale 1 | API Google Vertex AI Search for Retail | EXP_DF_ON | 25% |
| Esempio di gruppo sperimentale 2 | API Google Vertex AI Search for Retail | EXP_DF_OFF | 25% |
Metriche sul traffico
La pagina Monitoraggio di un esperimento mostra se sono presenti suddivisioni del traffico non intenzionali per le seguenti metriche:
- Conteggio eventi di ricerca/navigazione per data
- Ricerca/Navigazione del conteggio visitatori per data
- Conteggio eventi di ricerca/navigazione per categoria
Quando si verificano suddivisioni del traffico non previste per una di queste metriche, la relativa scheda nella parte superiore della pagina Monitoraggio mostra le date in cui si è verificata la suddivisione del traffico non prevista. Fai clic su Suddivisioni del traffico non previste per visualizzare una tabella filtrabile che elenca le suddivisioni del traffico non previste per quella metrica.
Le seguenti tabelle nella pagina Monitoraggio di un esperimento confrontano le metriche del traffico tra i gruppi di varianti in base all'utilizzo. Fai clic su Visualizza altro accanto a qualsiasi titolo di tabella per visualizzare una tabella filtrabile che elenca tutte le suddivisioni del traffico per quella metrica:
Conteggio eventi di ricerca/navigazione per data: il numero totale di ricerche o navigazioni che si sono verificate in un braccio della variante in una determinata data.
Conteggio visitatori con ricerche/navigazione per data: il numero di visitatori che hanno eseguito query o navigato in un braccio della variante in una determinata data.
Conteggio eventi di ricerca/navigazione per categoria: il numero totale di volte in cui una determinata query o categoria è stata cercata in un braccio della variante dalla data di inizio dell'esperimento alla data di fine (o alla data odierna, se l'esperimento è in corso). Questa tabella mostra solo le prime 100 query o categorie in termini di traffico totale di tutti i gruppi di varianti dell'esperimento.
Monitorare un esperimento
La pagina Esperimenti di onboarding mostra una tabella con gli esperimenti recenti.
Per monitorare un esperimento:
Vai alla pagina Esperimenti nella console Search for commerce.
Vai alla pagina EsperimentiFai clic sul nome dell'esperimento.
Si apre la pagina Monitoraggio per l'esperimento.
Esamina la pagina per verificare la presenza di suddivisioni del traffico non previste.
Ogni metrica mostra le date in cui si sono verificate suddivisioni del traffico non previste.
Se noti suddivisioni non previste, fai clic su Suddivisioni del traffico non previste per visualizzare una tabella filtrabile che elenca le suddivisioni del traffico non previste per quella metrica.
Risolvere le suddivisioni del traffico non previste
Il monitoraggio degli esperimenti dalla console Search for commerce può aiutarti a concentrare l'attenzione sui potenziali problemi dell'esperimento.
Se riscontri suddivisioni del traffico non intenzionali, assicurati che gli eventi siano taggati con l'ID esperimento corretto. Ad esempio, un evento appartenente a un gruppo di controllo taggato con l'ID esperimento errato può causare l'attribuzione dell'evento al gruppo di varianti errato.
Se il tagging degli eventi funziona correttamente, le suddivisioni del traffico non intenzionali segnalate dalla console di ricerca per il commercio possono indicare problemi di suddivisione del traffico nella piattaforma di sperimentazione. In questo caso, metti in pausa il test A/B prima di risolvere il problema, in modo che l'esperimento non produca risultati errati.
Metriche aziendali per Analytics
Sono disponibili due gruppi di metriche aziendali:
- Metriche per ricerca o per navigazione
- Visita per ricerca o visita per navigazione
Metriche per visita di ricerca
Le definizioni delle metriche per visita di ricerca sono elencate qui. Le definizioni delle metriche per visita di navigazione sono simili a quelle delle metriche per visita di ricerca, con tutte le istanze di ricerca sostituite da navigazione.
Nella percentuale di ordini di acquisto, un ordine di acquisto può includere più SKU. Ogni SKU può avere una quantità maggiore o uguale a uno.
-->| Nome metrica | Definizione |
|---|---|
| Conteggio visite di ricerca | Conteggio delle visite che contengono almeno una ricerca. |
| Frequenza di rimbalzo | Conteggio delle visite di ricerca che hanno un solo evento utente / conteggio delle visite di ricerca |
| Tasso di visualizzazione di pagina | Conteggio dei clic (visualizzazioni di pagina) / conteggio delle visite di ricerca |
| Tasso di aggiunta al carrello | Conteggio delle unità aggiunte al carrello nelle visite dalla ricerca / conteggio delle visite dalla ricerca |
| Tasso di ordini di acquisto | Conteggio degli ordini di acquisto nelle visite di ricerca / conteggio delle visite di ricerca |
| Tasso di entrate | Somma delle entrate nelle visite dalla ricerca / conteggio delle visite dalla ricerca |
| Valore medio dell'ordine (AOV) | Somma delle entrate nelle visite dalla rete di ricerca / conteggio degli ordini di acquisto nelle visite dalla rete di ricerca |
Metriche per ricerca
Le definizioni delle metriche per ricerca sono elencate qui. Le definizioni delle metriche per navigazione sono simili a quelle delle metriche per ricerca, con tutte le istanze di ricerca sostituite da navigazione.
| Nome metrica | Definizione |
|---|---|
| Numero di ricerche | Conteggio degli eventi di ricerca |
| Tasso di nessun risultato | Conteggio degli eventi di ricerca senza risultati / conteggio delle ricerche |
| Percentuale di clic (CTR) | Conteggio dei clic (visualizzazioni di pagina) basati sulla ricerca/conteggio delle ricerche |
| Tasso di aggiunta al carrello | Conteggio delle unità Aggiungi al carrello basate sulla ricerca / conteggio delle ricerche |
| Tasso di acquisto | Conteggio delle unità di acquisto basate sulla ricerca / conteggio delle ricerche |
| Tasso di entrate | Somma delle entrate generate dalla ricerca / conteggio delle ricerche |
| Valore unitario medio (AUV) | Somma delle entrate generate dalla ricerca / conteggio delle unità di acquisto generate dalla ricerca |
Analizzare il rendimento dell'attività dell'esperimento
La scheda Analytics di ogni esperimento mostra i dashboard delle metriche aziendali. Le dashboard mostrano i confronti del rendimento tra i vari gruppi di varianti.
Esistono due dashboard di metriche:
- Metriche per visita per ricerca e per visita per navigazione
- Metriche per ricerca e per navigazione
Vengono mostrate le metriche di ricerca o di navigazione in base all'attributo ProductType dell'esperimento.
Ogni dashboard mostra una tabella di metriche di riepilogo che mostra i risultati delle metriche aggregati in base alle date mostrate nel filtro dell'intervallo di date. I valori predefiniti delle date sono le date di inizio e di fine dell'esperimento.
Ogni metrica viene visualizzata come tabella dei risultati aggregati e come grafico dei valori giornalieri che fornisce informazioni più dettagliate.
L'intervallo di date della tabella aggregata utilizza le date di inizio e di fine dell'esperimento come
valori di data predefiniti. Se l'esperimento è in corso, la data di fine è impostata sulla data corrente. Puoi modificare il filtro dell'intervallo di date. Se userAgent viene
fornito con eventi utente importati, puoi anche segmentare le metriche in base al tipo di dispositivo.
Fai clic sull'icona Aggiorna per applicare i filtri modificati alle metriche.
Quando l'incremento relativo delle metriche è sufficientemente positivo da superare l'ampiezza dell'intervallo di confidenza, per quella variante viene visualizzato un colore di sfondo verde. Allo stesso modo, se il lift relativo è sufficientemente negativo, per quella variante viene visualizzato un colore di sfondo rosso. Se l'incremento relativo è inferiore alla larghezza dell'intervallo di confidenza, un colore di sfondo grigio indica che il risultato non è statisticamente significativo.
Ad esempio, quando si confronta un gruppo variante con un gruppo di controllo di base:
- Se una metrica Percentuale di clic per ricerca è pari a +3,0% e l'intervallo di confidenza, visualizzato come IC dell'impatto, è [2,1%, 4,0%], il gruppo della variante è evidenziato in verde per indicare che è una variante con un rendimento migliore per questa metrica rispetto al gruppo di controllo di base.
- Se una metrica Tasso di entrate per visita di navigazione è pari a -1,5% e l'intervallo di confidenza è [-2,6%, -0,4%], il gruppo variante è evidenziato in rosso per indicare che ha un rendimento peggiore in questa metrica rispetto al gruppo di controllo di base.
- Se una metrica Valore medio unità per ricerca è +1,0% e l'intervallo di confidenza è [-1,1%, 3,0%], il gruppo della variante è evidenziato in grigio per indicare che la differenza di rendimento non ha ancora significatività statistica.
In generale, più punti dati ci sono, minore è la varianza. Le metriche accumulate in alcune settimane avranno una larghezza dell'intervallo di confidenza inferiore rispetto alle metriche giornaliere e hanno maggiori probabilità di mostrare una significatività statistica.
Modificare i dettagli dell'esperimento
Puoi aggiornare i dettagli dell'esperimento nella console, ad esempio data di inizio e di fine, numero di bracci delle varianti, ID esperimento e percentuale di suddivisione del traffico prevista in qualsiasi momento, indipendentemente dal fatto che l'esperimento sia in corso, terminato o in attesa. I dati vengono aggiornati retroattivamente.
Per modificare i dettagli dell'esperimento:
Vai alla pagina Esperimenti nella console Search for commerce.
Vai alla pagina EsperimentiNella tabella che mostra gli esperimenti recenti, individua l'esperimento che intendi modificare.
Fai clic sull'icona con tre puntini Azioni a destra della riga della tabella e poi su Modifica.
Viene visualizzata la pagina Modifica esperimento.
Modifica i campi dell'esperimento che intendi aggiornare.
Fai clic su Update (Aggiorna) per salvare le modifiche.
Eliminare un esperimento dalla console
Per eliminare un esperimento dalla console Search for commerce:
Vai alla pagina Esperimenti nella console Search for commerce.
Vai alla pagina EsperimentiNella tabella che mostra gli esperimenti recenti, individua l'esperimento che vuoi eliminare.
Fai clic sull'icona con tre puntini Azioni a destra della riga della tabella e poi su Elimina.
Si apre la finestra di conferma Eliminare l'esperimento?.
Digita il nome dell'esperimento e fai clic su Conferma per confermare l'eliminazione.
Al termine dell'eliminazione, nella console viene visualizzato un messaggio che indica che l'esperimento è stato eliminato correttamente.