Memantau dan menganalisis eksperimen A/B

Halaman ini menjelaskan cara memantau traffic eksperimen A/B dan membandingkan metrik bisnis utama untuk penelusuran di konsol Penelusuran untuk Retail.

Ringkasan

Anda dapat melakukan eksperimen A/B untuk membandingkan metrik bisnis utama antara implementasi penelusuran yang sudah ada dan Vertex AI Search untuk retail.

Setelah menyiapkan eksperimen dan pemisahan traffic, Anda dapat memantau traffic eksperimen dan melihat metrik bisnis menggunakan halaman Eksperimen di konsol Penelusuran Retail.

Untuk menyiapkan pemantauan eksperimen A/B di konsol, Anda memasukkan informasi tentang pengujian A/B seperti nama, rentang waktu, dan informasi grup eksperimen. Setiap grup eksperimen dipetakan ke grup eksperimen yang telah Anda buat untuk eksperimen A/B, dengan grup pertama yang Anda siapkan di konsol diperlakukan sebagai kontrol dasar pengukuran.

Setiap eksperimen memiliki tab Monitoring yang menampilkan metrik pemisahan traffic yang dapat membantu Anda menentukan apakah pengujian A/B sudah disiapkan dengan benar. Hal ini penting untuk memvalidasi apakah bias telah dimasukkan ke dalam pengujian A/B. Misalnya, masalah umum yang harus diperhatikan adalah apakah beberapa kueri atau kategori dilayani oleh satu grup eksperimen, tetapi tidak oleh grup eksperimen yang lain.

Setiap eksperimen juga memiliki tab Analytics tempat Anda dapat melihat perbandingan metrik bisnis utama. Dua kategori metrik bisnis disertakan:

  • Metrik per penelusuran atau per penjelajahan, seperti klik per penelusuran.
  • Metrik per penelusuran atau per kunjungan penjelajahan, seperti pendapatan per kunjungan penjelajahan.

Lihat Daftar metrik untuk mengetahui daftar lengkap metrik.

Setiap metrik bisnis memberikan nilai mentah, peningkatan relatif dibandingkan dengan kontrol dasar pengukuran, dan interval keyakinan 95%. Anda dapat melihat metrik dan metrik gabungan menurut tanggal.

Tab pemantauan traffic menampilkan apakah pemisahan traffic yang tidak diinginkan telah terjadi dan tanggal terjadinya. Pemisahan traffic yang tidak diinginkan ditentukan dengan membandingkan persentase pemisahan traffic yang sebenarnya dengan persentase pemisahan yang diinginkan yang Anda masukkan saat menyiapkan pemantauan. Pemisahan traffic dianggap benar jika perbedaan relatif sama dengan atau kurang dari 10%. Misalnya, jika traffic ditujukan untuk dibagi secara merata di dua grup, pembagian sebenarnya 45% hingga 55% berada dalam rentang yang dimaksud.

Anda dapat menggunakan konsol untuk memantau beberapa eksperimen secara bersamaan.

Metrik dan tanggal eksperimen yang dikelompokkan menurut tanggal menggunakan America/Los_Angeles sebagai zona waktu dan pukul 00.00 waktu Amerika/Los_Angeles untuk tanggal mulai dan tanggal akhir.

Anda dapat memperbarui detail eksperimen di konsol seperti tanggal mulai dan akhir, jumlah grup varian, ID eksperimen, dan persentase pemisahan traffic yang diinginkan kapan saja, terlepas dari apakah eksperimen sedang berlangsung, selesai, atau tertunda. Data diperbarui secara retroaktif.

Pemantauan dan analisis eksperimen A/B memiliki persyaratan/batasan berikut:

  • Rentang waktu maksimum data eksperimen yang dapat Anda lacak adalah 180 hari. Jika eksperimen dimulai lebih dari 180 hari yang lalu, metrik yang lebih lama dari yang tidak akan diambil.

  • Pemantauan traffic per kueri atau per kategori hanya menampilkan 100 kueri atau kategori teratas yang mendapatkan traffic terbanyak dari semua grup varian dalam eksperimen.

Sebelum memulai

Sebelum menyiapkan pemantauan di konsol Penelusuran Retail untuk eksperimen A/B:

  • Menyiapkan penyerapan peristiwa pengguna untuk peristiwa yang disalurkan oleh implementasi penelusuran Anda yang sudah ada dan oleh Vertex AI Search untuk retail.

  • Tinjau praktik terbaik eksperimen A/B.

  • Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti Google Optimize atau Optimizely.

  • Siapkan dan catat peristiwa pengguna experimentIds untuk setiap grup eksperimen. Saat menyiapkan pemantauan eksperimen, Anda perlu menentukan ID eksperimen untuk setiap grup varian.

Menambahkan eksperimen di konsol

Gunakan prosedur berikut untuk menambahkan eksperimen baru yang akan dipantau di konsol Search for Retail:

Dalam prosedur ini, Anda membuat grup varian di konsol Search for Retail yang sesuai dengan grup eksperimen yang ada yang Anda buat di platform eksperimen pihak ketiga. Untuk contoh bagaimana grup varian dapat dipetakan ke grup eksperimen yang ada, lihat Contoh penyiapan eksperimen.

Tambahkan detail eksperimen

Tambahkan eksperimen di konsol dan masukkan detailnya.

  1. Buka halaman Eksperimen di Konsol Penelusuran Retail.

    Buka halaman Eksperimen

  2. Klik Add Experiment.

    Halaman New Experiment akan terbuka.

  3. Masukkan nama untuk eksperimen Anda.

  4. Pilih tanggal mulai dan akhir eksperimen Anda.

    Jika traffic eksperimen Anda ditetapkan untuk dioptimalkan secara bertahap, tetapkan tanggal mulai ke tanggal kapan penyesuaian selesai dan pemisahan traffic akan stabil.

  5. Pilih jenis aktivitas yang dilacak eksperimen ini:

    • Jelajahi: Navigasi di situs Anda menurut kategori halaman. Aktivitas penjelajahan ditunjukkan oleh kueri kosong dalam respons penelusuran.

    • Penelusuran: Penelusuran kueri teks di situs Anda.

Selanjutnya, buat grup varian untuk eksperimen.

Tambahkan varian

Setelah menambahkan detail eksperimen di konsol, buat grup varian yang sesuai dengan setiap grup eksperimen.

Grup varian pertama yang Anda siapkan adalah varian dasar pengukuran. Dasar pengukuran biasanya mewakili solusi Anda yang sudah ada.

Sebelum memulai, pastikan Anda memiliki peristiwa pengguna experimentIds untuk setiap grup eksperimen.

  1. Klik Tambahkan Grup Varian.

    Panel Create Variant Arm akan terbuka.

  2. Masukkan peristiwa pengguna experimentId yang terkait dengan penyiapan eksperimen yang akan dipantau grup varian ini:

    • Jika Anda menyiapkan grup varian pertama: Masukkan peristiwa pengguna experimentId yang terkait dengan grup dasar pengukuran yang akan berfungsi sebagai dasar pengukuran.

    • Jika Anda sudah menyiapkan grup varian dasar: Masukkan peristiwa pengguna experimentId yang terkait dengan grup eksperimen berikutnya.

  3. Masukkan nama yang dapat dibaca manusia untuk grup varian ini.

    Nama ini ditampilkan di dasbor pemantauan di konsol.

  4. (Opsional) Berikan deskripsi grup varian ini.

  5. Pilih tujuan traffic penayangan:

    • Google Vertex AI Search for Retail API: Jika grup varian ini memantau traffic untuk Vertex AI Search untuk hasil retail.

    • Eksternal: Jika grup varian ini memantau traffic untuk hasil dari layanan eksternal. Misalnya, grup varian dasar (atau kontrol) mungkin mewakili tujuan eksternal jika eksperimen membandingkan traffic layanan yang ada dengan Vertex AI Search untuk traffic retail.

  6. Klik Buat untuk menyelesaikan pembuatan grup varian ini.

    Grup varian ditampilkan di halaman Eksperimen Baru.

  7. Ulangi langkah-langkah sebelumnya untuk membuat grup varian yang terkait dengan setiap grup eksperimen yang ingin Anda pantau.

    Anda harus memiliki setidaknya satu arm External dan satu arm Google Vertex AI Search for Retail API.

  8. (Opsional) Secara default, persentase traffic yang diinginkan dibagi secara merata di semua grup varian. Untuk menyesuaikan persentase traffic yang diinginkan:

    1. Di bagian Add Variants, klik nilai persentase traffic di kolom %Traffic.

      Panel Persentase Traffic akan terbuka.

    2. Di kolom Distribusi berat, pilih Persentase kustom.

    3. Di kolom %Traffic untuk setiap grup varian, masukkan persentase traffic yang diinginkan.

      Total persentase traffic di semua grup varian harus berjumlah 100%.

    4. Klik Done.

      Panel Persentase Traffic akan ditutup.

  9. Klik Create di halaman New Experiment untuk menyelesaikan pembuatan eksperimen.

    Eksperimen akan ditampilkan di halaman Eksperimen Orientasi.

Contoh penyiapan eksperimen

Bagian ini menampilkan dua contoh penyiapan eksperimen.

Contoh 1 menunjukkan kontrol dasar dan satu Vertex AI Search untuk grup eksperimen retail.

Contoh 2 menunjukkan perbandingan kontrol dasar pengukuran dengan dua Vertex AI Search untuk grup eksperimen retail.

Contoh 1: Dua grup varian

Dalam contoh ini, asumsikan bahwa Anda berencana menyiapkan eksperimen A/B dengan:

  • 20% permintaan penelusuran yang dikirim ke mesin telusur internal sebagai grup kontrol dasar
  • 20% permintaan penelusuran dikirim ke Google Vertex AI Search for Retail API sebagai grup eksperimen
  • 60% sebagai kelompok pisahan yang tidak mengikuti pengujian A/B

Konfigurasi permintaan dan peristiwa pengguna adalah:

Jenis traffic Mesin penemuan event.experimentIds event.attributionToken % Traffic
Mengontrol traffic Internal CONTROL T/A 20%
Traffic eksperimen Google Vertex AI Search for Retail API EXPERIMENT Token atribusi dari respons penelusuran 20%
Traffic jeda Salah satu / keduanya T/A Bergantung pada mesin penemuan 60%

Traffic pisahan mungkin disalurkan oleh mesin telusur internal, Vertex AI Search untuk retail, atau keduanya. Karena bukan bagian dari pengujian A/B, model tersebut tidak memiliki ID eksperimen. Untuk menunjukkan peristiwa pengguna yang merupakan bagian dari pengujian A/B, pastikan Anda memberikan informasi experimentIds dan attributionToken. String experimentId Anda mungkin berbeda dengan yang diberikan dalam contoh ini. Pastikan ID yang Anda gunakan konsisten antara eksperimen dan peristiwa pengguna.

Saat membuat eksperimen yang sesuai di konsol, Anda hanya akan membuat dua grup varian, karena grup pisahan bukan bagian dari eksperimen. Pembagian persentase traffic yang diinginkan antara kedua grup varian adalah 50% / 50%.

Guna menyiapkan pemantauan untuk contoh eksperimen ini, Anda harus membuat grup varian yang sesuai di konsol untuk setiap grup eksperimen. Tabel berikut menunjukkan informasi yang akan Anda masukkan di konsol selama penyiapan grup varian untuk contoh ini.

Nama grup varian Tujuan traffic ID eksperimen peristiwa pengguna Traffic yang ditargetkan %
Contoh grup kontrol Eksternal KONTROL 50%
Contoh grup eksperimen Google Vertex AI Search for Retail API EKSPERIMEN 50%

Contoh 2: Tiga grup varian

Dalam contoh ini, asumsikan Anda berencana untuk melakukan eksperimen A/B pada kueri utama (kueri frekuensi tinggi) dan menyertakan fase mengaktifkan dan menonaktifkan fase dinamis. Konfigurasi permintaan dan peristiwa pengguna adalah:

Nama grup varian Tujuan traffic event.experimentIds event.attributionToken % Traffic
Kontrol kueri head Internal KONTROL T/A 50% kueri kepala
Eksperimen head kueri bagian dinamis AKTIF Google Vertex AI Search for Retail API EXP_DF_ON Token atribusi dari respons penelusuran 25% kueri kepala
Eksperimen head kueri bagian dinamis NONAKTIF Google Vertex AI Search for Retail API EXP_DF_OFF Token atribusi dari respons penelusuran 25% kueri kepala
Kueri non-head dan penangguhan lainnya Google Vertex AI Search for Retail API T/A Bergantung pada mesin yang digunakan T/A

Guna menyiapkan pemantauan untuk contoh eksperimen ini, Anda harus membuat grup varian yang sesuai di konsol untuk setiap grup eksperimen. Tabel berikut menunjukkan informasi yang akan Anda masukkan di konsol selama penyiapan grup varian untuk contoh ini.

Nama grup varian Tujuan traffic ID eksperimen peristiwa pengguna Traffic yang ditargetkan %
Contoh grup kontrol Eksternal KONTROL 50%
Contoh grup eksperimen 1 Google Vertex AI Search for Retail API EXP_DF_ON 25%
Contoh grup eksperimen 2 Google Vertex AI Search for Retail API EXP_DF_OFF 25%

Metrik traffic

Halaman Monitoring eksperimen akan menunjukkan apakah ada pemisahan traffic yang tidak diinginkan untuk metrik berikut:

  • Telusuri/Jelajahi jumlah peristiwa per tanggal
  • Jumlah pengunjung Penelusuran/Jelajahi per tanggal
  • Jumlah peristiwa Penelusuran/Jelajahi per kategori

Saat pemisahan traffic yang tidak diinginkan terjadi untuk salah satu metrik ini, kartunya di bagian atas halaman Monitoring menunjukkan tanggal terjadinya pemisahan traffic yang tidak diinginkan. Klik Pemisahan traffic yang tidak diinginkan untuk melihat tabel yang dapat difilter yang mencantumkan pemisahan traffic yang tidak diinginkan untuk metrik tersebut.

Tabel berikut di halaman Monitoring eksperimen membandingkan metrik traffic di seluruh grup varian menurut penggunaan. Klik Lihat lainnya di samping judul tabel untuk melihat tabel yang dapat difilter yang mencantumkan semua pemisahan traffic untuk metrik tersebut:

  • Jumlah peristiwa Penelusuran/Jelajahi per tanggal: Total jumlah penelusuran atau penjelajahan yang terjadi di grup varian pada tanggal tertentu.

  • Jumlah pengunjung Penelusuran/Jelajahi per tanggal: Jumlah pengunjung yang telah mengantre atau menjelajah di grup varian pada tanggal tertentu.

  • Jumlah peristiwa Penelusuran/Jelajahi per kategori: Total frekuensi kueri atau kategori tertentu ditelusuri pada grup varian mulai dari tanggal mulai eksperimen hingga tanggal akhirnya (atau hingga tanggal hari ini, jika eksperimen sedang berlangsung). Tabel ini hanya menampilkan 100 kueri atau kategori teratas berdasarkan total traffic dari semua grup varian dalam eksperimen.

Memantau eksperimen

Halaman Eksperimen orientasi menampilkan tabel eksperimen terbaru.

Untuk memantau eksperimen:

  1. Buka halaman Eksperimen di Konsol Penelusuran Retail.

    Buka halaman Eksperimen

  2. Klik nama eksperimen.

    Halaman Monitoring untuk eksperimen tersebut akan terbuka.

  3. Tinjau halaman untuk mengetahui pemisahan traffic yang tidak diinginkan.

    Setiap metrik menampilkan tanggal saat pemisahan traffic yang tidak diinginkan terjadi.

  4. Jika Anda melihat pemisahan yang tidak diinginkan, klik Pemisahan traffic yang tidak diinginkan untuk melihat tabel yang dapat difilter yang mencantumkan pemisahan traffic yang tidak diinginkan untuk metrik tersebut.

Mengatasi pemisahan traffic yang tidak diinginkan

Memantau eksperimen dari Search for Retail console dapat membantu Anda memperhatikan potensi masalah dalam eksperimen.

Jika Anda mengalami pemisahan traffic yang tidak diinginkan, pastikan peristiwa diberi tag dengan ID eksperimen yang benar. Misalnya, peristiwa milik grup kontrol yang diberi tag dengan ID eksperimen yang salah dapat menyebabkan peristiwa tersebut diatribusikan ke grup varian yang salah.

Jika pemberian tag peristiwa berfungsi dengan benar, pemisahan traffic yang tidak diinginkan yang dilaporkan oleh konsol Search for Retail dapat menunjukkan masalah pemisahan traffic di platform eksperimen Anda. Jika demikian, jeda pengujian A/B sebelum menyelesaikan masalah sehingga eksperimen Anda tidak memberikan hasil yang salah.

Metrik bisnis untuk analisis

Ada dua grup metrik bisnis yang tersedia:

  • Metrik per penelusuran atau per penjelajahan
  • Per-kunjungan atau per-penjelajahan kunjungan

Metrik per kunjungan penelusuran

Definisi metrik per kunjungan penelusuran tercantum di bawah. Definisi metrik per penjelajahan-kunjungan mirip dengan metrik per-kunjungan-penelusuran, dengan semua instance penelusuran diganti dengan penjelajahan.

Dalam rasio pesanan pembelian (PO), satu pesanan pembelian (PO) dapat mencakup beberapa SKU. Setiap SKU dapat memiliki jumlah lebih dari atau sama dengan satu.

Nama Metrik Definisi
Telusuri jumlah kunjungan Jumlah kunjungan yang berisi sedikitnya satu penelusuran.
Rasio tontonan halaman Jumlah klik (kunjungan halaman) / jumlah kunjungan penelusuran
Rasio penambahan ke keranjang (ATC) Jumlah unit iklan yang ditambahkan ke keranjang dalam kunjungan penelusuran / jumlah kunjungan penelusuran
Rasio pesanan pembelian (PO) Jumlah pesanan pembelian (PO) dalam kunjungan penelusuran / jumlah kunjungan penelusuran
Rasio pendapatan Jumlah pendapatan dalam kunjungan penelusuran / jumlah kunjungan penelusuran
Nilai pesanan rata-rata (AOV) Jumlah pendapatan dalam kunjungan penelusuran / jumlah pesanan pembelian dalam kunjungan penelusuran

Metrik per penelusuran

Definisi metrik per penelusuran tercantum di bawah. Definisi metrik per penjelajahan mirip dengan metrik per penelusuran, dengan semua instance penelusuran diganti dengan penjelajahan.

Nama Metrik Definisi
Telusuri jumlah Jumlah peristiwa penelusuran
Tidak ada Rasio hasil Jumlah peristiwa penelusuran tanpa hasil / jumlah penelusuran
Rasio klik-tayang (CTR) Jumlah klik berdasarkan penelusuran (kunjungan halaman) / jumlah penelusuran
Rasio penambahan ke keranjang (ATC) Jumlah unit add-to-cart yang didorong oleh penelusuran / jumlah penelusuran
Rasio pembelian Jumlah unit pembelian berdasarkan penelusuran / jumlah penelusuran
Rasio pendapatan Jumlah pendapatan yang didorong penelusuran / jumlah penelusuran
Nilai Unit Rata-Rata (AUV) Jumlah pendapatan yang didorong penelusuran / jumlah unit pembelian yang didorong penelusuran

Menganalisis performa bisnis eksperimen

Setiap tab Analytics eksperimen menampilkan dasbor metrik bisnis. Dasbor menampilkan perbandingan performa di seluruh grup varian.

Ada dua dasbor metrik:

  • Metrik per kunjungan penelusuran dan per kunjungan penjelajahan
  • Metrik per penelusuran dan per penjelajahan

Metrik penelusuran atau metrik penjelajahan ditampilkan berdasarkan atribut ProductType eksperimen.

Setiap dasbor menampilkan tabel metrik ringkasan yang menampilkan hasil metrik yang digabungkan di seluruh tanggal yang ditampilkan di filter rentang tanggal. Nilai tanggal default adalah tanggal mulai dan akhir eksperimen.

Setiap metrik ditampilkan sebagai tabel hasil gabungan serta diagram nilai harian yang memberikan informasi yang lebih mendetail.

Rentang tanggal tabel gabungan menggunakan tanggal mulai dan akhir eksperimen sebagai nilai tanggal default. Jika eksperimen sedang berlangsung, tanggal akhir akan ditetapkan ke tanggal saat ini. Anda dapat mengubah filter rentang tanggal. Jika userAgent disediakan dengan peristiwa pengguna yang diserap, Anda juga dapat mengelompokkan metrik menurut jenis perangkat. Klik ikon Muat ulang untuk menerapkan filter yang diubah pada metrik.

Jika peningkatan relatif metrik cukup positif untuk melebihi bandwidth interval keyakinan, warna latar belakang berwarna hijau akan ditampilkan untuk varian tersebut. Demikian pula, jika peningkatan relatif cukup negatif, warna latar belakang merah akan ditampilkan untuk varian tersebut. Jika peningkatan relatif lebih kecil dari lebar interval keyakinan, warna latar belakang abu-abu menunjukkan bahwa hasilnya tidak memiliki data statistik yang signifikan.

Misalnya, saat membandingkan grup varian dengan grup kontrol dasar pengukuran:

  • Jika metrik Rasio klik-tayang (CTR) per penelusuran adalah +3,0% dan interval keyakinan, yang ditampilkan sebagai Lift CI, adalah [2,1%, 4,0%], grup varian akan ditandai dengan warna hijau untuk menunjukkan bahwa ini adalah varian yang berperforma lebih baik untuk metrik ini dibandingkan dengan kontrol dasar pengukuran.
  • Jika metrik Rasio pendapatan per kunjungan penjelajahan adalah -1,5% dan interval keyakinannya adalah [-2,6%, -0,4%], grup varian akan ditandai dengan warna merah untuk menunjukkan bahwa grup varian berperforma lebih buruk dalam metrik ini dibandingkan dengan kontrol dasar.
  • Jika metrik Nilai unit rata-rata per penelusuran adalah +1,0% dan interval keyakinan adalah [-1,1%, 3,0%], grup varian akan ditandai dengan warna abu-abu untuk menunjukkan bahwa perbedaan performa belum memiliki data statistik yang signifikan.

Umumnya, semakin banyak titik data, semakin kecil variannya. Metrik yang terakumulasi selama beberapa minggu akan memiliki bandwidth interval keyakinan yang lebih rendah daripada metrik harian dan lebih cenderung menunjukkan data statistik yang signifikan.

Ubah detail eksperimen

Anda dapat memperbarui detail eksperimen di konsol seperti tanggal mulai dan akhir, jumlah grup varian, ID eksperimen, dan persentase pemisahan traffic yang diinginkan kapan saja, terlepas dari apakah eksperimen sedang berlangsung, selesai, atau tertunda. Data diperbarui secara retroaktif.

Untuk mengedit detail eksperimen:

  1. Buka halaman Eksperimen di Konsol Penelusuran Retail.

    Buka halaman Eksperimen

  2. Pada tabel yang menampilkan eksperimen terbaru, temukan eksperimen yang ingin Anda ubah.

  3. Klik ikon Tindakan tiga titik di sebelah kanan baris tabelnya, lalu klik Edit.

    Halaman Edit Experiment akan terbuka.

  4. Ubah kolom eksperimen yang ingin Anda perbarui.

  5. Klik Update untuk menyimpan perubahan.

Menghapus eksperimen dari konsol

Untuk menghapus eksperimen dari konsol Search for Retail:

  1. Buka halaman Eksperimen di Konsol Penelusuran Retail.

    Buka halaman Eksperimen

  2. Pada tabel yang menampilkan eksperimen terbaru, temukan eksperimen yang ingin Anda hapus.

  3. Klik ikon Tindakan tiga titik di sebelah kanan baris tabelnya, lalu klik Hapus.

    Jendela konfirmasi Hapus eksperimen? akan terbuka.

  4. Ketik nama eksperimen, lalu klik Konfirmasi untuk mengonfirmasi penghapusan.

    Setelah penghapusan selesai, konsol akan menampilkan pesan bahwa eksperimen Anda telah berhasil dihapus.