In questa pagina viene descritto come utilizzare gli esperimenti A/B per comprendere l'impatto di Vertex AI Search per la vendita al dettaglio sulla tua attività.
Panoramica
Un esperimento A/B è un esperimento randomizzato con due gruppi: un gruppo sperimentale e un gruppo di controllo. Il gruppo sperimentale riceve un trattamento diverso (in questo caso le previsioni o i risultati di ricerca da Vertex AI Search per la vendita al dettaglio); il gruppo di controllo no.
Quando esegui un esperimento A/B, includi le informazioni sul gruppo di cui faceva parte un utente quando registri gli eventi utente. Queste informazioni vengono utilizzate per perfezionare il modello e fornire metriche.
Entrambe le versioni dell'applicazione devono essere le stesse, ad eccezione del fatto che gli utenti nel gruppo sperimentale vedono i risultati generati da Vertex AI Search per la vendita al dettaglio, mentre il gruppo di controllo no. Registri gli eventi utente per entrambi i gruppi.
Per ulteriori informazioni sulla suddivisione del traffico, consulta Suddivisione del traffico nella documentazione di App Engine.
Piattaforme per esperimenti
Configura l'esperimento utilizzando una piattaforma per esperimenti di terze parti, come
Google Optimize o
Optimizely. I gruppi di controllo e sperimentali ricevono ciascuno un ID esperimento univoco dalla piattaforma. Quando registri un evento utente,
specifica a quale gruppo appartiene l'utente includendo l'ID esperimento nel
campo experimentIds. Se fornisci l'ID esperimento, puoi confrontare le metriche delle versioni della tua applicazione visualizzate dal gruppo di controllo e da quello sperimentale.
Best practice per gli esperimenti A/B
L'obiettivo di un esperimento A/B è determinare con precisione l'impatto dell'aggiornamento del sito (in questo caso, utilizzando Vertex AI Search per la vendita al dettaglio). Per ottenere una misurazione accurata dell'impatto, devi progettare e implementare l'esperimento in modo corretto, in modo che altre differenze non influiscano sui risultati dell'esperimento e non influiscano sui risultati.
Per progettare un esperimento A/B significativo, utilizza i seguenti suggerimenti:
Prima di configurare l'esperimento A/B, utilizza la previsione o l'anteprima della ricerca per assicurarti che il modello funzioni come previsto.
Assicurati che il comportamento del tuo sito sia identico per il gruppo sperimentale e per il gruppo di controllo.
Il comportamento del sito include latenza, formato di visualizzazione, formato di testo, layout di pagina, qualità delle immagini e dimensioni delle immagini. Non dovrebbero esserci differenze evidenti per nessuno di questi attributi tra l'esperienza del gruppo di controllo e quella del gruppo sperimentale.
Accetta e visualizza i risultati restituiti da Vertex AI Search per la vendita al dettaglio e mostrali nello stesso ordine in cui vengono restituiti.
Filtrare ed escludere gli articoli non disponibili è accettabile. Tuttavia, evita di filtrare o ordinare i risultati in base alle regole aziendali.
Se includi un token di attribuzione con i tuoi eventi utente, assicurati che sia configurato correttamente. Consulta la documentazione sui token di attribuzione.
Assicurati che la configurazione di pubblicazione che fornisci quando richiedi consigli o risultati di ricerca corrisponda alle tue intenzioni per quel consiglio o risultato di ricerca e alla posizione in cui vengono visualizzati i risultati.
Quando usi i suggerimenti, la configurazione di pubblicazione influisce sul modo in cui i modelli vengono addestrati e quindi sui prodotti consigliati. Scopri di più.
Se confronti una soluzione esistente con Vertex AI Search per la vendita al dettaglio, mantieni l'esperienza del gruppo di controllo rigorosamente separata dall'esperienza del gruppo sperimentale.
Se la soluzione di controllo non fornisce un suggerimento o un risultato di ricerca, non fornirne uno da Vertex AI Search per la vendita al dettaglio nelle pagine di controllo. In questo modo i risultati del test verranno alterati.
Assicurati che gli utenti non passino dal gruppo di controllo al gruppo di esperimento e viceversa. Questo è particolarmente importante nella stessa sessione, ma è consigliato anche in più sessioni. In questo modo, puoi migliorare il rendimento dell'esperimento e ottenere più velocemente risultati dei test A/B statisticamente significativi.