Halaman ini menjelaskan cara menggunakan eksperimen A/B untuk memahami dampak Vertex AI Search untuk retail terhadap bisnis Anda.
Ringkasan
Eksperimen A/B adalah eksperimen acak dengan dua grup: grup eksperimental dan grup kontrol. Grup eksperimental menerima beberapa perlakuan yang berbeda (dalam hal ini, prediksi atau hasil penelusuran dari Vertex AI Search untuk retail); grup kontrol tidak menerima perlakuan yang berbeda.
Saat menjalankan eksperimen A/B, Anda menyertakan informasi tentang grup tempat pengguna berada saat merekam peristiwa pengguna. Informasi tersebut digunakan untuk meningkatkan kualitas model dan menyediakan metrik.
Kedua versi aplikasi Anda harus sama, hanya saja pengguna dalam grup eksperimental melihat hasil yang dihasilkan oleh Vertex AI Search untuk retail dan grup kontrol tidak. Anda mencatat peristiwa pengguna untuk kedua grup ke dalam log.
Untuk informasi selengkapnya tentang pemisahan traffic, baca Membagi Traffic di dokumentasi App Engine.
Platform eksperimen
Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti
Google Optimize atau
Optimizely. Grup kontrol dan eksperimental masing-masing mendapatkan ID eksperimen unik dari platform. Saat Anda merekam peristiwa pengguna, tentukan grup tempat pengguna berada dengan menyertakan ID eksperimen di kolom experimentIds. Dengan memberikan ID eksperimen, Anda dapat membandingkan metrik untuk versi aplikasi yang dilihat oleh grup kontrol dan eksperimental.
Praktik terbaik untuk eksperimen A/B
Tujuan eksperimen A/B adalah untuk menentukan dampak dari pembaruan situs secara akurat (dalam hal ini, menggunakan Vertex AI Search untuk retail). Untuk mendapatkan pengukuran dampak yang akurat, Anda harus mendesain dan menerapkan eksperimen dengan benar, sehingga perbedaan lain tidak akan memengaruhi dan memengaruhi hasil eksperimen.
Untuk mendesain eksperimen A/B yang bermakna, gunakan tips berikut:
Sebelum menyiapkan eksperimen A/B, gunakan prediksi atau pratinjau penelusuran untuk memastikan model Anda berperilaku seperti yang diharapkan.
Pastikan perilaku situs Anda sama untuk grup eksperimental dan grup kontrol.
Perilaku situs mencakup latensi, format tampilan, format teks, tata letak halaman, kualitas gambar, dan ukuran gambar. Tidak boleh ada perbedaan yang jelas untuk setiap atribut ini antara pengalaman grup kontrol dan eksperimen.
Terima dan tampilkan hasil sebagaimana ditampilkan dari Vertex AI Search untuk retail, lalu tampilkan dalam urutan yang sama seperti yang ditampilkan.
Memfilter item yang stoknya habis dapat diterima. Namun, Anda harus menghindari pemfilteran atau pengurutan hasil berdasarkan aturan bisnis.
Jika Anda menyertakan token atribusi bersama peristiwa pengguna, pastikan token tersebut disiapkan dengan benar. Lihat dokumentasi untuk Token atribusi.
Pastikan konfigurasi penyajian yang Anda berikan saat meminta rekomendasi atau hasil penelusuran cocok dengan maksud Anda untuk rekomendasi atau hasil penelusuran tersebut, dan lokasi tempat Anda menampilkan hasilnya.
Saat Anda menggunakan rekomendasi, konfigurasi penayangan memengaruhi cara model dilatih dan juga produk apa yang direkomendasikan. Pelajari lebih lanjut.
Jika Anda membandingkan solusi yang sudah ada dengan Vertex AI Search untuk retail, pertahankan pengalaman grup kontrol secara ketat dari pengalaman grup eksperimental.
Jika solusi kontrol tidak memberikan rekomendasi atau hasil penelusuran, jangan berikan rekomendasi atau hasil penelusuran dari Vertex AI Search untuk retail di halaman kontrol. Tindakan tersebut akan mendistorsi hasil pengujian Anda.
Pastikan pengguna Anda tidak beralih antara grup kontrol dan grup eksperimen. Hal ini sangat penting dalam sesi yang sama, tetapi juga direkomendasikan di seluruh sesi. Tindakan ini akan meningkatkan performa eksperimen dan membantu Anda mendapatkan hasil pengujian A/B yang signifikan secara statistik lebih cepat.