In questa pagina viene descritto come utilizzare gli esperimenti A/B per comprendere in che modo Vertex AI Search for Retail sta avendo un impatto sulla tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. La gruppo sperimentale riceve un trattamento diverso (in questo caso, le previsioni o risultati di ricerca di Vertex AI Search for Retail); non al gruppo di controllo.
Quando esegui un esperimento A/B, includi i informazioni sul gruppo di cui faceva un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire metriche di valutazione.
Entrambe le versioni dell'applicazione devono essere uguali, tranne per il fatto che gli utenti del gruppo sperimentale vedono i risultati generati da Vertex AI Search per la vendita al dettaglio, mentre il gruppo di controllo no. Vengono registrati gli eventi utente per entrambi i gruppi.
Per saperne di più sulla suddivisione del traffico, consulta Suddivisione del traffico nella documentazione di App Engine.
Piattaforme degli esperimenti
Configura l'esperimento utilizzando una piattaforma di sperimentazione di terze parti come
VWO, ABTasty o
Optimizely. I gruppi di controllo e sperimentale ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica il gruppo a cui appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Fornendo l'ID esperimento, puoi confrontare le metriche relative alle versioni della tua applicazione visualizzate dai gruppi di controllo e sperimentale.
Best practice per gli esperimenti A/B
L'obiettivo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento sul tuo sito (in questo caso, utilizzando Vertex AI Search for Retail). Per ottenere una misurazione accurata dell'impatto, devi progettare e implementare correttamente l'esperimento, in modo che altre differenze non si inseriscano e influiscano sui risultati dell'esperimento.
Per progettare un esperimento A/B significativo, segui i seguenti suggerimenti:
Prima di configurare l'esperimento A/B, utilizza la previsione o l'anteprima di ricerca per verificare che il modello si comporti come previsto.
Assicurati che il comportamento del sito sia identico per l'esperimento gruppo di controllo e gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato del testo, layout di pagina, qualità e dimensioni delle immagini. Non devono esserci differenze distinguibili per nessuno di questi attributi tra l'esperienza dei gruppi di controllo e sperimentale.
Accetta e visualizza i risultati così come vengono restituiti da Vertex AI Search for Retail e visualizzali nello stesso ordine in cui appaiono. restituito.
L'esclusione degli articoli non disponibili è accettabile. Tuttavia, dovresti evitare di filtrare o ordinare i risultati in base alle regole della tua attività.
Se includi un token di attribuzione con gli eventi utente, assicurati che sia configurato correttamente. Consulta la documentazione relativa ai token di attribuzione.
Assicurati che la configurazione di pubblicazione fornita quando richiedi consigli o risultati di ricerca corrisponda alla tua intenzione per quel consiglio o risultato di ricerca e alla posizione in cui vengono visualizzati i risultati.
Quando utilizzi i consigli, la configurazione della pubblicazione influisce sul modo in cui vengono addestrati i modelli e, di conseguenza, su quali prodotti vengono consigliati. Scopri di più.
Se stai confrontando una soluzione esistente con Vertex AI Search for Retail, mantenere l'esperienza del gruppo di controllo rigorosamente segregata del gruppo sperimentale.
Se la soluzione di controllo non fornisce consigli o risultati di ricerca, non specificarne uno di Vertex AI Search for Retail nelle pagine di controllo. In questo modo, i risultati del test saranno falsati.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo gruppo sperimentale. Questo è particolarmente importante all'interno della stessa sessione, ma è consigliato anche tra le sessioni. In questo modo, il rendimento dell'esperimento migliora e puoi ottenere più rapidamente risultati statisticamente significativi dei test A/B.