Halaman ini menjelaskan cara menggunakan eksperimen A/B untuk memahami dampak Vertex AI Search untuk retail terhadap bisnis Anda.
Ringkasan
Eksperimen A/B adalah eksperimen acak dengan dua grup: grup eksperimental dan grup kontrol. Grup eksperimen menerima beberapa perlakuan yang berbeda (dalam hal ini, prediksi atau hasil penelusuran dari Vertex AI Search untuk retail); grup kontrol tidak.
Saat menjalankan eksperimen A/B, Anda menyertakan informasi tentang grup tempat pengguna berada saat Anda merekam peristiwa pengguna. Informasi tersebut digunakan untuk meningkatkan kualitas model dan memberikan metrik.
Kedua versi aplikasi Anda harus sama, kecuali pengguna dalam grup eksperimental melihat hasil yang dihasilkan oleh Vertex AI Search untuk retail dan grup kontrol tidak. Anda mencatat peristiwa pengguna untuk kedua grup tersebut.
Untuk mengetahui informasi selengkapnya tentang pemisahan traffic, lihat Memisahkan Traffic dalam dokumentasi App Engine.
Platform eksperimen
Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti
VWO, ABTasty, atau
Optimizely. Grup kontrol dan eksperimen masing-masing mendapatkan ID eksperimen unik dari platform. Saat Anda mencatat peristiwa pengguna, tentukan grup tempat pengguna berada dengan menyertakan ID eksperimen di kolom experimentIds. Dengan memberikan ID eksperimen, Anda dapat membandingkan metrik untuk versi aplikasi yang dilihat oleh grup kontrol dan grup eksperimen.
Praktik terbaik untuk eksperimen A/B
Sasaran eksperimen A/B adalah untuk menentukan dampak pembaruan situs Anda secara akurat (dalam hal ini, menggunakan Vertex AI Search untuk retail). Untuk mendapatkan pengukuran dampak yang akurat, Anda harus mendesain dan menerapkan eksperimen dengan benar, sehingga perbedaan lain tidak muncul dan memengaruhi hasil eksperimen.
Untuk mendesain eksperimen A/B yang bermakna, gunakan tips berikut:
Sebelum menyiapkan eksperimen A/B, gunakan prediksi atau pratinjau penelusuran untuk memastikan model Anda berperilaku seperti yang Anda harapkan.
Pastikan perilaku situs Anda identik untuk grup eksperimen dan grup kontrol.
Perilaku situs mencakup latensi, format tampilan, format teks, tata letak halaman, kualitas gambar, dan ukuran gambar. Tidak boleh ada perbedaan yang terlihat untuk atribut mana pun di antara pengalaman grup kontrol dan eksperimen.
Terima dan tampilkan hasil seperti yang ditampilkan dari Vertex AI Search untuk retail, dan tampilkan dalam urutan yang sama seperti yang ditampilkan.
Memfilter item yang stoknya habis dapat diterima. Namun, Anda harus menghindari pemfilteran atau pengurutan hasil berdasarkan aturan bisnis Anda.
Jika Anda menyertakan token atribusi dengan peristiwa pengguna, pastikan token tersebut disiapkan dengan benar. Lihat dokumentasi untuk Token atribusi.
Pastikan konfigurasi penayangan yang Anda berikan saat meminta rekomendasi atau hasil penelusuran cocok dengan niat Anda untuk rekomendasi atau hasil penelusuran tersebut, dan lokasi tempat Anda menampilkan hasil.
Saat Anda menggunakan rekomendasi, konfigurasi penayangan akan memengaruhi cara model dilatih, sehingga produk yang direkomendasikan. Pelajari lebih lanjut.
Jika Anda membandingkan solusi yang ada dengan Vertex AI Search untuk retail, pastikan pengalaman grup kontrol benar-benar dipisahkan dari pengalaman grup eksperimental.
Jika solusi kontrol tidak memberikan rekomendasi atau hasil penelusuran, jangan berikan rekomendasi atau hasil penelusuran dari Vertex AI Search untuk retail di halaman kontrol. Tindakan ini akan mendistorsi hasil pengujian Anda.
Pastikan pengguna Anda tidak beralih antara grup kontrol dan grup eksperimen. Hal ini sangat penting dalam sesi yang sama, tetapi juga direkomendasikan di seluruh sesi. Hal ini akan meningkatkan performa eksperimen dan membantu Anda mendapatkan hasil pengujian A/B yang signifikan secara statistik lebih cepat.