Questa pagina descrive come monitorare il traffico degli esperimenti A/B e confrontare le principali metriche aziendali per la ricerca nella console Search for Retail.
Panoramica
Puoi condurre un esperimento A/B per confrontare le principali metriche aziendali tra l'implementazione della ricerca esistente e Vertex AI Search per la vendita al dettaglio.
Dopo aver configurato l'esperimento e la relativa suddivisione del traffico, puoi monitorare il traffico dell'esperimento e visualizzare le metriche aziendali utilizzando la pagina Esperimento nella console Search for Retail.
Per configurare il monitoraggio dell'esperimento A/B nella console, devi inserire informazioni sul test A/B, come nome, intervallo di tempo e informazioni sul gruppo sperimentale. Ogni gruppo di varianti dell'esperimento viene mappato a un gruppo sperimentale che hai creato per l'esperimento A/B, in cui il primo gruppo configurato nella console viene considerato come il controllo di riferimento.
Ogni esperimento include una scheda Monitoraggio che mostra metriche di suddivisione del traffico che possono aiutarti a determinare se il test A/B è configurato correttamente. Questo è importante per verificare se è stato introdotto un bias nel test A/B. Ad esempio, un problema tipico da considerare è se alcune query o categorie sono gestite da un gruppo sperimentale e non da altri.
Ogni esperimento ha anche una scheda Analytics in cui puoi visualizzare i principali confronti delle metriche aziendali. Sono incluse due categorie di metriche aziendali:
- Metriche per ricerca o per consultazione, ad esempio clic per ricerca.
- Metriche per ricerca o per visita di navigazione, ad esempio le entrate per visita di consultazione.
Consulta l'elenco delle metriche per un elenco completo delle metriche.
Ogni metrica aziendale fornisce valori non elaborati, incremento relativo rispetto al controllo di riferimento e un intervallo di confidenza del 95%. Puoi visualizzare metriche e metriche aggregate per data.
La scheda Monitoraggio del traffico mostra se si sono verificate suddivisioni del traffico non intenzionali e le date in cui si sono verificate. Una suddivisione del traffico involontaria viene determinata confrontando la percentuale di suddivisione del traffico effettiva con la percentuale di suddivisione prevista specificata durante la configurazione del monitoraggio. La suddivisione del traffico viene considerata corretta se la differenza relativa è uguale o inferiore al 10%. Ad esempio, se il traffico è destinato a essere suddiviso in modo uniforme tra due gruppi, una suddivisione effettiva compresa tra il 45% e il 55% rientra nell'intervallo previsto.
Puoi utilizzare la console per monitorare più esperimenti contemporaneamente.
La data dell'esperimento e le metriche suddivise per data utilizzano America/Los_Angeles come fuso orario e 00:00 ora America/Los_Angeles per le date di inizio e di fine.
Puoi aggiornare in qualsiasi momento i dettagli dell'esperimento, come le date di inizio e di fine, il numero di gruppi di varianti, gli ID esperimento e la percentuale di suddivisione del traffico prevista, indipendentemente dal fatto che l'esperimento sia in corso, terminato o in attesa. I dati vengono aggiornati in modo retroattivo.
Il monitoraggio e l'analisi degli esperimenti A/B prevede i seguenti requisiti/limitazioni:
L'intervallo di tempo massimo per i dati dell'esperimento che puoi monitorare è 180 giorni. Se un esperimento è iniziato più di 180 giorni fa, le metriche precedenti non vengono acquisite.
Il monitoraggio del traffico per query o per categoria restituisce solo le prime 100 query o categorie che ricevono il maggior traffico di tutti i gruppi di varianti nell'esperimento.
Prima di iniziare
Prima di configurare il monitoraggio di un esperimento A/B nella console di Search for Retail:
Configura l'importazione di eventi utente per gli eventi gestiti dall'implementazione della ricerca esistente e da Vertex AI Search per il retail.
Consulta le best practice per gli esperimenti A/B.
Configura l'esperimento utilizzando una piattaforma per esperimenti di terze parti, come Google Optimize o Optimizely.
Imposta e prendi nota dell'evento utente
experimentIdsper ogni gruppo sperimentale. Quando configuri il monitoraggio dell'esperimento, devi specificare gli ID esperimento per ogni gruppo di varianti.
Aggiungi un esperimento nella console
Utilizza le seguenti procedure per aggiungere un nuovo esperimento da monitorare nella console di Search for Retail:
In questa procedura, creerai gruppi di varianti nella console Search for Retail che corrispondono ai gruppi sperimentali esistenti che hai creato nella tua piattaforma per esperimenti di terze parti. Per esempi su come i gruppi di varianti possono essere mappati a gruppi sperimentali esistenti, consulta Esempi di configurazioni degli esperimenti.
Aggiungi dettagli esperimento
Aggiungi un esperimento nella console e inserisci i relativi dettagli.
Vai alla pagina Esperimenti nella console di Search for Retail.
Vai alla pagina EsperimentiFai clic su Aggiungi esperimento.
Viene visualizzata la pagina Nuovo esperimento.
Assegna un nome all'esperimento.
Seleziona le date di inizio e di fine dell'esperimento.
Se il traffico dell'esperimento è impostato per aumentare gradualmente, imposta la data di inizio su una data in cui viene completato l'applicazione graduale e la suddivisione del traffico è stabilizzata.
Seleziona il tipo di attività monitorato da questo esperimento:
Sfoglia: navigazione sul sito in base alla categoria di pagina. L'attività di navigazione è indicata da una query vuota nella risposta della ricerca.
Ricerca: ricerche di query di testo sul tuo sito.
In seguito, crea gruppi di varianti per l'esperimento.
Aggiungi varianti
Dopo aver aggiunto i dettagli dell'esperimento nella console, crea gruppi di varianti corrispondenti a ogni gruppo sperimentale.
Il primo gruppo di varianti che hai configurato è la variante di riferimento. La base di riferimento in genere rappresenta la soluzione esistente.
Prima di iniziare, assicurati di avere l'evento utente experimentIds per ogni
gruppo sperimentale.
Fai clic su Aggiungi gruppo di varianti.
Si apre il riquadro Crea gruppo di varianti.
Inserisci l'evento utente
experimentIdassociato alla configurazione dell'esperimento che verrà monitorato da questo gruppo di varianti:Se stai configurando il primo gruppo di varianti: inserisci l'evento utente
experimentIdassociato al gruppo di riferimento che verrà pubblicato come riferimento.Se hai già configurato il gruppo di varianti di riferimento: inserisci l'evento utente
experimentIdassociato al gruppo sperimentale successivo.
Inserisci un nome leggibile per questo gruppo di varianti.
Questo nome viene visualizzato nelle dashboard di monitoraggio nella console.
(Facoltativo) Fornisci una descrizione di questo gruppo di varianti.
Seleziona una destinazione del traffico di gestione:
API Google Vertex AI Search for Retail: se questo gruppo di varianti monitora il traffico per Vertex AI Search per i risultati di vendita al dettaglio.
Esterno: se questo gruppo di varianti monitora il traffico per i risultati di un servizio esterno. Ad esempio, è probabile che il gruppo di varianti di riferimento (o di controllo) rappresenti una destinazione esterna se l'esperimento sta confrontando il traffico di un servizio esistente con Vertex AI Search per il traffico al dettaglio.
Fai clic su Crea per completare la creazione di questo gruppo di varianti.
Il gruppo di varianti viene visualizzato nella pagina Nuovo esperimento.
Ripeti i passaggi precedenti per creare gruppi di varianti associati a ogni gruppo di esperimenti che intendi monitorare.
Devi avere almeno un gruppo External e un gruppo API Google Vertex AI Search for Retail.
(Facoltativo) Per impostazione predefinita, la percentuale di traffico prevista è suddivisa uniformemente tra tutti i gruppi di varianti. Per personalizzare le percentuali di traffico previste:
Nella sezione Aggiungi varianti, fai clic su un valore percentuale di traffico nella colonna %di traffico.
Si apre il riquadro Percentuale di traffico.
Nel campo Distribuzione del peso, seleziona Percentuali personalizzate.
Nella colonna %traffico per ogni gruppo di varianti, inserisci la percentuale di traffico prevista.
La percentuale totale di traffico in tutti i gruppi di varianti deve essere pari al 100%.
Fai clic su Fine.
Il riquadro Percentuale di traffico si chiude.
Fai clic su Crea nella pagina Nuovo esperimento per completare la creazione dell'esperimento.
L'esperimento viene visualizzato nella pagina Esperimenti di onboarding.
Esempi di configurazioni degli esperimenti
Questa sezione presenta due esempi di configurazione degli esperimenti.
L'esempio 1 mostra un gruppo di controllo di base e un gruppo sperimentale di Vertex AI Search per la vendita al dettaglio.
L'esempio 2 mostra il confronto di un controllo di base con due gruppi di esperimenti di Vertex AI Search per la vendita al dettaglio.
Esempio 1: due gruppi di varianti
In questo esempio, supponiamo che tu preveda di configurare un esperimento A/B con:
- Il 20% delle richieste di ricerca è stato inviato ai motori di ricerca interni come gruppo di controllo di base
- Il 20% delle richieste di ricerca è stato inviato all'API Vertex AI Search for Retail di Google come gruppo sperimentale
- 60% come gruppo di holdout che non ha partecipato al test A/B
La richiesta e la configurazione dell'evento utente sarebbe:
| Tipo di traffico | Motore di scoperta | event.experimentIds |
event.attributionToken |
% traffico |
|---|---|---|---|---|
| Controlla il traffico | Interno | CONTROL |
N/D | 20% |
| Traffico dell'esperimento | API Google Vertex AI Search for Retail | EXPERIMENT |
Token di attribuzione dalla risposta della ricerca | 20% |
| Blocco del traffico | Una / entrambe le | N/D | Dipende dal motore di scoperta | 60% |
Il traffico di holdout può essere gestito da un motore di ricerca interno,
Vertex AI Search per la vendita al dettaglio o entrambi. Poiché non fanno parte del test A/B,
non dispongono di un ID esperimento. Per indicare quali eventi utente fanno parte del test A/B, assicurati di fornire le informazioni experimentIds e attributionToken. Le stringhe experimentId potrebbero essere diverse da quelle indicate in questo esempio. Assicurati che gli ID che utilizzi siano coerenti
tra gli esperimenti e gli eventi utente.
Quando crei l'esperimento corrispondente nella console, devi creare solo due gruppi di varianti, poiché il gruppo di holdout non fa parte dell'esperimento. La percentuale di traffico prevista suddivisa tra i due gruppi di varianti è pari al 50% / 50%.
Per configurare il monitoraggio per questo esperimento di esempio, devi creare gruppi di varianti corrispondenti nella console per ogni gruppo sperimentale. La tabella seguente mostra le informazioni che inseriresti nella console durante la configurazione del gruppo di varianti per questo esempio.
| Nome del gruppo di varianti | Destinazione traffico | ID esperimento evento utente | % di traffico previsto |
|---|---|---|---|
| Esempio di gruppo di controllo | Esterno | CONTROLLO | 50% |
| Gruppo sperimentale di esempio | API Google Vertex AI Search for Retail | ESPERIMENTO | 50% |
Esempio 2: tre gruppi di varianti
In questo esempio, supponiamo che tu preveda di eseguire un esperimento A/B sulle query head (query ad alta frequenza) e includere sia l'attivazione che la disattivazione dei facet dinamici. Le richieste e le configurazioni degli eventi utente sono:
| Nome del gruppo di varianti | Destinazione traffico | event.experimentIds | event.attributionToken | % traffico |
|---|---|---|---|---|
| Controllo delle query head | Interno | CONTROLLO | N/D | 50% delle query head |
| Esperimento sui facet dinamici con query head | API Google Vertex AI Search for Retail | EXP_DF_ON | Token di attribuzione dalla risposta della ricerca | 25% delle query head |
| Esperimento facet dinamico con query head | API Google Vertex AI Search for Retail | EXP_DF_OFF | Token di attribuzione dalla risposta della ricerca | 25% delle query head |
| Query non principali e altri holdout | API Google Vertex AI Search for Retail | N/D | Dipende dal motore utilizzato | N/D |
Per configurare il monitoraggio per questo esperimento di esempio, devi creare gruppi di varianti corrispondenti nella console per ogni gruppo sperimentale. La tabella seguente mostra le informazioni che inseriresti nella console durante la configurazione del gruppo di varianti per questo esempio.
| Nome del gruppo di varianti | Destinazione traffico | ID esperimento evento utente | % di traffico previsto |
|---|---|---|---|
| Esempio di gruppo di controllo | Esterno | CONTROLLO | 50% |
| Gruppo sperimentale di esempio 1 | API Google Vertex AI Search for Retail | EXP_DF_ON | 25% |
| Gruppo sperimentale di esempio 2 | API Google Vertex AI Search for Retail | EXP_DF_OFF | 25% |
Metriche sul traffico
La pagina Monitoraggio di un esperimento mostra se sono presenti suddivisioni del traffico non intenzionali per le seguenti metriche:
- Conteggio eventi di ricerca/esplorazione per data
- Numero di visitatori dalla Ricerca o Sfoglia per data
- Conteggio eventi di ricerca/esplorazione per categoria
Quando si verificano suddivisioni del traffico non intenzionali per una di queste metriche, la relativa scheda nella parte superiore della pagina Monitoring mostra le date in cui si è verificata la suddivisione del traffico non intenzionale. Fai clic su Suddivisione del traffico non prevista per visualizzare una tabella filtrabile che elenca le suddivisioni non intenzionali del traffico per quella metrica.
Le seguenti tabelle nella pagina Monitoraggio di un esperimento confrontano le metriche del traffico tra i gruppi di varianti in base all'utilizzo. Fai clic su Visualizza altro accanto a qualsiasi titolo della tabella per visualizzare una tabella filtrabile che elenca tutte le suddivisioni del traffico per quella metrica:
Conteggio eventi di ricerca/esplorazione per data: il numero totale di ricerche o esplorazioni che si sono verificate in un gruppo di varianti in una determinata data.
Conteggio visitatori dalla rete di ricerca/esplorazione per data: il numero di visitatori che hanno eseguito query o ricerche in un gruppo di varianti in una determinata data.
Conteggio eventi di ricerca/esplorazione per categoria: il numero totale di volte in cui una determinata query o categoria è stata cercata in un gruppo di varianti dalla data di inizio dell'esperimento alla data di fine (o fino alla data odierna, se l'esperimento è in corso). Questa tabella mostra solo le prime 100 query o categorie in termini di traffico totale di tutti i gruppi di varianti nell'esperimento.
Monitoraggio di un esperimento
La pagina Esperimenti di onboarding mostra una tabella degli esperimenti recenti.
Per monitorare un esperimento:
Vai alla pagina Esperimenti nella console di Search for Retail.
Vai alla pagina EsperimentiFai clic sul nome dell'esperimento.
Si apre la pagina Monitoring per l'esperimento in questione.
Consulta la pagina per verificare le suddivisioni del traffico non intenzionali.
Ogni metrica mostra le date in cui si sono verificate suddivisioni del traffico non intenzionali.
Se noti suddivisioni non intenzionali, fai clic su Divisioni del traffico non previste per visualizzare una tabella filtrabile che elenca le suddivisioni del traffico non intenzionali per quella metrica.
Risolvi le suddivisioni del traffico non intenzionali
Monitorare gli esperimenti dalla console di Search for Retail può aiutarti ad attirare l'attenzione su potenziali problemi dell'esperimento.
Se si verificano suddivisioni del traffico non intenzionali, assicurati che gli eventi siano codificati con l'ID esperimento corretto. Ad esempio, un evento appartenente a un gruppo di controllo a cui viene applicato il tagging con l'ID esperimento errato può far sì che l'evento venga attribuito al gruppo di varianti errato.
Se il tagging degli eventi funziona correttamente, le suddivisioni del traffico non intenzionali segnalate dalla console di Search for Retail possono indicare problemi di suddivisione del traffico nella piattaforma sperimentale. In questo caso, metti in pausa i test A/B prima di risolvere il problema, in modo che l'esperimento non generi risultati errati.
Metriche aziendali per l'analisi
Sono disponibili due gruppi di metriche aziendali:
- Metriche per ricerca o per consultazione
- Visita per ricerca o visita per consultazione
Metriche per visita per ricerca
Di seguito sono elencate le definizioni delle metriche per visita. Le definizioni delle metriche per visita sono simili a quelle delle metriche per visita, con tutte le istanze di ricerca sostituite con l'esplorazione.
Nella tariffa degli ordini di acquisto, un ordine di acquisto può includere più SKU. Ogni SKU può avere una quantità maggiore o uguale a uno.
| Nome metrica | Definizione |
|---|---|
| Conteggio visite di ricerca | Numero di visite contenenti almeno una ricerca. |
| Tasso di visualizzazione di pagina | Conteggio dei clic (visualizzazioni di pagina) / numero di visite sulla rete di ricerca |
| Percentuale di aggiunta al carrello (ATC) | Conteggio delle unità di aggiunta al carrello nelle visite di ricerca / nel conteggio delle visite di ricerca |
| Percentuale degli ordini di acquisto | Conteggio degli ordini di acquisto nelle visite di ricerca / numero di visite di ricerca |
| Tasso di entrate | Somma delle entrate per il conteggio delle visite di ricerca / visite di ricerca |
| Valore medio dell'ordine (AOV) | Somma delle entrate nelle visite di ricerca / conteggio degli ordini di acquisto nelle visite di ricerca |
Metriche per ricerca
Le definizioni delle metriche per ricerca sono elencate di seguito. Le definizioni delle metriche per consultazione sono simili a quelle delle metriche per ricerca, con tutte le istanze di ricerca sostituite con l'esplorazione.
| Nome metrica | Definizione |
|---|---|
| Numero di ricerche | Numero di eventi di ricerca |
| Percentuale di nessun risultato | Conteggio di eventi di ricerca senza risultati / Conteggio ricerche |
| Percentuale di clic (CTR) | Conteggio dei clic generati dalla ricerca (visualizzazioni di pagina) / numero di ricerche |
| Percentuale di aggiunta al carrello (ATC) | Numero di unità aggiunte al carrello basate sulle ricerche / numero di ricerche |
| Tariffa di acquisto | Conteggio unità di acquisto basate sulle ricerche / numero di ricerche |
| Tasso di entrate | Somma delle entrate generate dalle ricerche / conteggio delle ricerche |
| Valore medio unitario (AUV) | Somma delle entrate generate dalla ricerca / conteggio delle unità di acquisto basate sulla ricerca |
Analizzare il rendimento aziendale dell'esperimento
La scheda Analytics di ogni esperimento mostra le dashboard delle metriche aziendali. Le dashboard mostrano il confronto del rendimento tra i gruppi di varianti.
Sono disponibili due dashboard di metriche:
- Metriche per visita di ricerca e visita di consultazione
- Metriche per ricerca e per consultazione
Le metriche di ricerca o le metriche di navigazione vengono visualizzate in base all'attributo ProductType
dell'esperimento.
Ogni dashboard mostra una tabella di riepilogo delle metriche con i risultati aggregati delle date mostrate nel filtro dell'intervallo di date. I valori predefiniti per le date sono le date di inizio e di fine dell'esperimento.
Ogni metrica viene visualizzata come tabella dei risultati aggregata e grafico del valore giornaliero che fornisce informazioni più dettagliate.
L'intervallo di date della tabella aggregata utilizza le date di inizio e di fine dell'esperimento come
valori di data predefiniti. Se l'esperimento è in corso, la data di fine viene impostata sulla data corrente. Puoi modificare il filtro dell'intervallo di date. Se in userAgent vengono forniti eventi utente importati, puoi anche suddividere le metriche per tipo di dispositivo.
Fai clic sull'icona Aggiorna per applicare i filtri modificati alle metriche.
Quando l'incremento relativo delle metriche è abbastanza positivo da superare la larghezza di banda dell'intervallo di confidenza, per la variante viene visualizzato un colore di sfondo verde. Allo stesso modo, se l'impatto relativo è abbastanza negativo, per quella variante viene visualizzato un colore di sfondo rosso. Se l'impatto relativo è inferiore alla larghezza dell'intervallo di confidenza, un colore di sfondo grigio indica che il risultato non ha una significatività statistica.
Ad esempio, se confronti un gruppo di varianti con il gruppo di controllo di riferimento:
- Se una metrica Percentuale di clic per ricerca è +3,0% e l'intervallo di confidenza, visualizzato come IC incremento, è [2,1%, 4,0%], il gruppo di varianti è evidenziato in verde per indicare che si tratta di una variante con rendimento migliore per questa metrica rispetto al controllo di riferimento.
- Se una metrica Tasso di entrate per visita di consultazione è -1,5% e l'intervallo di confidenza è [-2,6%, -0,4%], il gruppo di varianti viene evidenziato in rosso per indicare che ha un rendimento peggiore in questa metrica rispetto al controllo di riferimento.
- Se una metrica Valore unitario medio per ricerca è +1,0% e l'intervallo di confidenza è [-1,1%, 3,0%], il gruppo di varianti viene evidenziato in grigio per indicare che la differenza di rendimento non ha ancora una significatività statistica.
In genere, maggiore è il numero di punti dati, minore è la varianza. Le metriche accumulate in alcune settimane avranno una larghezza di banda dell'intervallo di confidenza inferiore rispetto alle metriche giornaliere ed è più probabile che mostrino la significatività statistica.
Modifica i dettagli dell'esperimento
Puoi aggiornare in qualsiasi momento i dettagli dell'esperimento, come le date di inizio e di fine, il numero di gruppi di varianti, gli ID esperimento e la percentuale di suddivisione del traffico prevista, indipendentemente dal fatto che l'esperimento sia in corso, terminato o in attesa. I dati vengono aggiornati in modo retroattivo.
Per modificare i dettagli dell'esperimento:
Vai alla pagina Esperimenti nella console di Search for Retail.
Vai alla pagina EsperimentiNella tabella che mostra gli esperimenti recenti, trova quello che intendi modificare.
Fai clic sull'icona con tre puntini Azioni a destra della riga della tabella e fai clic su Modifica.
Viene visualizzata la pagina Modifica esperimento.
Modifica i campi dell'esperimento che intendi aggiornare.
Fai clic su Update (Aggiorna) per salvare le modifiche.
Eliminare un esperimento dalla console
Per eliminare un esperimento dalla console di Search for Retail:
Vai alla pagina Esperimenti nella console di Search for Retail.
Vai alla pagina EsperimentiNella tabella che mostra gli esperimenti recenti, individua quello che intendi eliminare.
Fai clic sull'icona con tre puntini Azioni a destra della riga della tabella e fai clic su Elimina.
Viene visualizzata la finestra di conferma Vuoi eliminare l'esperimento?.
Digita il nome dell'esperimento e fai clic su Conferma per confermare l'eliminazione.
Al termine dell'eliminazione, la console visualizza un messaggio che informa dell'eliminazione dell'esperimento.