Vertex AI Search untuk retail diganti namanya menjadi Vertex AI Search untuk commerce. Kami sedang memperbarui konten untuk mencerminkan branding baru ini.

Halaman ini diterjemahkan oleh Cloud Translation API.

Memantau dan menganalisis eksperimen A/B

Halaman ini menjelaskan cara memantau traffic eksperimen A/B dan membandingkan metrik bisnis utama untuk penelusuran di konsol Penelusuran untuk komersial.

Ringkasan

Anda dapat melakukan eksperimen A/B untuk membandingkan metrik bisnis utama antara implementasi penelusuran yang ada dan Vertex AI Search untuk commerce.

Setelah menyiapkan eksperimen dan pemisahan traffic-nya, Anda dapat memantau traffic eksperimen dan melihat metrik bisnis menggunakan halaman Eksperimen di konsol Penelusuran untuk Commerce.

Untuk menyiapkan pemantauan eksperimen A/B di konsol, Anda memasukkan informasi tentang pengujian A/B seperti nama, rentang waktu, dan informasi grup eksperimen. Setiap grup varian eksperimen dipetakan ke grup eksperimen yang telah Anda buat untuk eksperimen A/B, dengan grup pertama yang Anda siapkan di konsol diperlakukan sebagai kontrol dasar pengukuran.

Setiap eksperimen memiliki tab Pemantauan yang menampilkan metrik pemisahan traffic yang dapat membantu Anda menentukan apakah pengujian A/B disiapkan dengan benar. Hal ini penting untuk memvalidasi apakah bias telah dimasukkan ke dalam pengujian A/B. Misalnya, masalah umum yang perlu diperhatikan adalah apakah beberapa kueri atau kategori ditayangkan oleh satu grup eksperimen, tetapi tidak oleh grup eksperimen lainnya.

Setiap eksperimen juga memiliki tab Analytics tempat Anda dapat melihat perbandingan metrik bisnis utama. Dua kategori metrik bisnis disertakan:

Metrik per penelusuran atau per penjelajahan, seperti klik per penelusuran.
Metrik per penelusuran atau per kunjungan jelajah, seperti pendapatan per kunjungan jelajah.

Lihat Daftar metrik untuk mengetahui daftar lengkap metrik.

Setiap metrik bisnis memberikan nilai mentah, peningkatan relatif dibandingkan dengan kontrol dasar pengukuran, dan interval keyakinan 95%. Anda dapat melihat metrik gabungan dan metrik berdasarkan tanggal.

Tab pemantauan traffic menampilkan apakah pemisahan traffic yang tidak disengaja telah terjadi dan tanggal terjadinya. Pemisahan traffic yang tidak diinginkan ditentukan dengan membandingkan persentase pemisahan traffic yang sebenarnya dengan persentase pemisahan yang Anda masukkan saat menyiapkan pemantauan. Pembagian traffic dianggap benar jika perbedaan relatifnya sama dengan atau kurang dari 10%. Misalnya, jika traffic dimaksudkan untuk dibagi secara merata di antara dua grup, pembagian sebenarnya sebesar 45% hingga 55% hanya berada dalam rentang yang diinginkan.

Anda dapat menggunakan konsol untuk memantau beberapa eksperimen secara bersamaan.

Tanggal dan metrik eksperimen yang dikelompokkan menurut tanggal menggunakan America/Los_Angeles sebagai zona waktu dan pukul 00.00 waktu America/Los_Angeles untuk tanggal mulai dan tanggal akhir.

Anda dapat memperbarui detail eksperimen di konsol seperti tanggal mulai dan akhir, jumlah grup varian, ID eksperimen, dan persentase pembagian traffic yang diinginkan kapan saja, terlepas dari apakah eksperimen sedang berlangsung, selesai, atau tertunda. Data diperbarui secara retroaktif.

Memantau dan menganalisis eksperimen A/B memiliki persyaratan/batasan berikut:

Rentang waktu maksimum data eksperimen yang dapat Anda lacak adalah 180 hari. Jika eksperimen dimulai lebih dari 180 hari yang lalu, metrik yang lebih lama tidak akan diambil.
Pemantauan traffic per kueri atau per kategori hanya menampilkan 100 kueri atau kategori teratas yang mendapatkan traffic terbanyak dari semua grup varian dalam eksperimen.

Sebelum memulai

Sebelum menyiapkan pemantauan di konsol Penelusuran untuk e-commerce untuk eksperimen A/B:

Siapkan penyerapan peristiwa pengguna untuk peristiwa yang ditayangkan oleh implementasi penelusuran yang ada dan oleh Vertex AI Search untuk commerce.
Tinjau praktik terbaik eksperimen A/B.
Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti Google Optimize atau Optimizely.
Siapkan dan catat peristiwa pengguna experimentIds untuk setiap grup eksperimen. Saat menyiapkan pemantauan eksperimen, Anda perlu menentukan ID eksperimen untuk setiap grup varian.

Menambahkan eksperimen di konsol

Gunakan prosedur berikut untuk menambahkan eksperimen baru yang akan dipantau di konsol Penelusuran untuk Commerce:

Menambahkan detail eksperimen
Menambahkan varian

Dalam prosedur ini, Anda membuat grup varian di konsol Penelusuran untuk komersial yang sesuai dengan grup eksperimen yang ada yang Anda buat di platform eksperimen pihak ketiga. Untuk contoh cara grup varian dapat dipetakan ke grup eksperimen yang ada, lihat Contoh penyiapan eksperimen.

Menambahkan detail eksperimen

Tambahkan eksperimen di konsol dan masukkan detailnya.

Buka halaman Experiments di konsol Search for commerce.

Buka halaman Eksperimen
Klik Tambahkan Eksperimen.

Halaman Eksperimen Baru akan terbuka.
Masukkan nama untuk eksperimen Anda.
Pilih tanggal mulai dan akhir eksperimen Anda.

Jika traffic eksperimen Anda disetel untuk ditingkatkan secara bertahap, tetapkan tanggal mulai ke tanggal saat peningkatan selesai dan pembagian traffic stabil.
Pilih jenis aktivitas yang dilacak eksperimen ini:
- Jelajahi: Navigasi di situs Anda berdasarkan kategori halaman. Aktivitas penjelajahan ditunjukkan oleh kueri kosong dalam respons penelusuran.
- Penelusuran: Penelusuran kueri teks di situs Anda.

Selanjutnya, buat grup varian untuk eksperimen Anda.

Menambahkan varian

Setelah menambahkan detail eksperimen di konsol, buat grup varian yang sesuai dengan setiap grup eksperimen.

Grup varian pertama yang Anda siapkan adalah varian dasar pengukuran. Dasar pengukuran biasanya mewakili solusi yang sudah ada.

Sebelum memulai, pastikan Anda memiliki peristiwa pengguna experimentIds untuk setiap grup eksperimen.

Klik Tambahkan Grup Varian.

Panel Create Variant Arm akan terbuka.
Masukkan peristiwa pengguna experimentId yang terkait dengan penyiapan eksperimen yang akan dipantau oleh grup varian ini:
- Jika Anda menyiapkan grup varian pertama: Masukkan peristiwa pengguna experimentId yang dikaitkan dengan grup dasar pengukuran yang akan berfungsi sebagai dasar pengukuran Anda.
- Jika Anda telah menyiapkan grup varian dasar pengukuran: Masukkan peristiwa pengguna experimentId yang terkait dengan grup eksperimen berikutnya.
Masukkan nama yang dapat dibaca manusia untuk grup varian ini.

Nama ini ditampilkan di dasbor pemantauan di konsol.
(Opsional) Berikan deskripsi grup varian ini.
Pilih tujuan traffic penayangan:
- Google Vertex AI Search for Retail API: Jika grup varian ini memantau traffic untuk hasil Vertex AI Search for Commerce.
- Eksternal: Jika grup varian ini memantau traffic untuk hasil dari layanan eksternal. Misalnya, grup varian dasar pengukuran (atau kontrol) kemungkinan mewakili tujuan eksternal jika eksperimen membandingkan traffic layanan yang ada dengan Vertex AI Search untuk traffic e-commerce.
Klik Create untuk menyelesaikan pembuatan arm varian ini.

Grup varian ditampilkan di halaman Eksperimen Baru.
Ulangi langkah-langkah sebelumnya untuk membuat grup varian yang terkait dengan setiap grup eksperimen yang ingin Anda pantau.

Anda harus memiliki setidaknya satu arm Eksternal dan satu arm Google Vertex AI Search for Retail API.
(Opsional) Secara default, persentase traffic yang diinginkan dibagi secara merata di semua grup varian. Untuk menyesuaikan persentase traffic yang diinginkan:
1. Di bagian Tambahkan Varian, klik nilai persentase traffic di kolom Traffic %.
  
  Panel Persentase Traffic akan terbuka.
2. Di kolom Distribusi bobot, pilih Persentase kustom.
3. Di kolom Traffic % untuk setiap grup varian, masukkan persentase traffic yang diinginkan.
  
  Total persentase traffic di semua grup varian harus berjumlah 100%.
4. Klik Selesai.
  
  Panel Persentase Traffic akan ditutup.
Klik Create di halaman New Experiment untuk menyelesaikan pembuatan eksperimen.

Eksperimen akan ditampilkan di halaman Eksperimen Orientasi.

Contoh penyiapan eksperimen

Bagian ini menyajikan dua contoh penyiapan eksperimen.

Contoh 1 menunjukkan kontrol dasar pengukuran dan satu grup eksperimen Vertex AI Search untuk commerce.

Contoh 2 menunjukkan perbandingan kontrol dasar pengukuran dengan dua grup eksperimen Vertex AI Search untuk commerce.

Contoh 1: Dua grup varian

Dalam contoh ini, asumsikan bahwa Anda berencana menyiapkan eksperimen A/B dengan:

20% permintaan penelusuran yang dikirim ke mesin telusur internal sebagai grup kontrol dasar pengukuran
20% permintaan penelusuran yang dikirim ke Google Vertex AI Search for Retail API sebagai grup eksperimen
60% sebagai grup holdout yang tidak ada dalam pengujian A/B

Konfigurasi peristiwa pengguna dan permintaan akan menjadi:

Jenis traffic	Discovery Engine	`event.experimentIds`	`event.attributionToken`	% Traffic
Mengontrol traffic	Internal	`CONTROL`	T/A	20%
Traffic eksperimen	Google Vertex AI Search for Retail API	`EXPERIMENT`	Token atribusi dari respons penelusuran	20%
Traffic holdout	Salah satu / keduanya	T/A	Bergantung pada mesin penemuan	60%

Traffic holdout mungkin ditayangkan oleh mesin telusur internal, Vertex AI Search untuk commerce, atau keduanya. Karena bukan bagian dari pengujian A/B, grup tersebut tidak memiliki ID eksperimen. Untuk menunjukkan peristiwa pengguna mana yang merupakan bagian dari pengujian A/B, pastikan untuk memberikan informasi experimentIds dan attributionToken. String experimentId Anda mungkin berbeda dengan yang diberikan dalam contoh ini. Pastikan ID yang Anda gunakan konsisten antara eksperimen dan peristiwa pengguna.

Saat membuat eksperimen yang sesuai di konsol, Anda hanya akan membuat dua grup varian, karena grup holdout bukan bagian dari eksperimen. Pemisahan persentase traffic yang diinginkan antara kedua grup varian adalah 50% / 50%.

Untuk menyiapkan pemantauan contoh eksperimen ini, Anda akan membuat grup varian yang sesuai di konsol untuk setiap grup eksperimen. Tabel berikut menunjukkan informasi yang akan Anda masukkan di konsol selama penyiapan arm varian untuk contoh ini.

Nama grup varian	Tujuan traffic	ID eksperimen peristiwa pengguna	% Traffic yang diinginkan
Contoh grup kontrol	Eksternal	KONTROL	50%
Contoh grup eksperimen	Google Vertex AI Search for Retail API	EKSPERIMEN	50%

Contoh 2: Tiga grup varian

Dalam contoh ini, asumsikan bahwa Anda berencana untuk melakukan eksperimen A/B pada kueri utama (kueri frekuensi tinggi) dan menyertakan pengaktifan dan penonaktifan aspek dinamis. Konfigurasi permintaan dan peristiwa pengguna adalah:

Nama grup varian	Tujuan traffic	event.experimentIds	event.attributionToken	% Traffic
Kontrol kueri head	Internal	KONTROL	T/A	50% kueri utama
Eksperimen AKTIFkan kueri facet dinamis	Google Vertex AI Search for Retail API	EXP_DF_ON	Token atribusi dari respons penelusuran	25% kueri utama
Eksperimen NONAKTIF kueri facet dinamis	Google Vertex AI Search for Retail API	EXP_DF_OFF	Token atribusi dari respons penelusuran	25% kueri utama
Kueri non-head dan holdout lainnya	Google Vertex AI Search for Retail API	T/A	Bergantung pada mesin yang digunakan	T/A

Nama grup varian	Tujuan traffic	ID eksperimen peristiwa pengguna	% Traffic yang diinginkan
Contoh grup kontrol	Eksternal	KONTROL	50%
Contoh grup eksperimen 1	Google Vertex AI Search for Retail API	EXP_DF_ON	25%
Contoh grup eksperimen 2	Google Vertex AI Search for Retail API	EXP_DF_OFF	25%

Metrik traffic

Halaman Pemantauan eksperimen menunjukkan apakah ada pemisahan traffic yang tidak diinginkan untuk metrik berikut:

Jumlah peristiwa Penelusuran/Jelajahi per tanggal
Jumlah pengunjung Penelusuran/Jelajahi per tanggal
Jumlah peristiwa Penelusuran/Jelajahi per kategori

Jika pemisahan traffic yang tidak diinginkan terjadi untuk salah satu metrik ini, kartunya di bagian atas halaman Pemantauan akan menampilkan tanggal terjadinya pemisahan traffic yang tidak diinginkan. Klik Pembagian traffic yang tidak diinginkan untuk melihat tabel yang dapat difilter yang mencantumkan pembagian traffic yang tidak diinginkan untuk metrik tersebut.

Tabel berikut di halaman Pemantauan eksperimen membandingkan metrik traffic di seluruh grup varian sesuai penggunaan. Klik Lihat lainnya di samping judul tabel untuk melihat tabel yang dapat difilter yang mencantumkan semua pemisahan traffic untuk metrik tersebut:

Jumlah peristiwa Penelusuran/Penjelajahan per tanggal: Jumlah total penelusuran atau penjelajahan yang telah terjadi di grup varian pada tanggal tertentu.
Jumlah pengunjung Penelusuran/Jelajahi per tanggal: Jumlah pengunjung yang telah mengajukan kueri atau menjelajahi grup varian pada tanggal tertentu.
Jumlah peristiwa Penelusuran/Jelajahi per kategori: Jumlah total penelusuran kueri atau kategori tertentu di grup varian dari tanggal mulai eksperimen hingga tanggal akhirnya (atau hingga tanggal hari ini, jika eksperimen masih berlangsung). Tabel ini hanya menampilkan 100 kueri atau kategori teratas dalam hal total traffic dari semua grup varian dalam eksperimen.

Memantau eksperimen

Halaman Eksperimen orientasi menampilkan tabel eksperimen terbaru Anda.

Untuk memantau eksperimen:

Buka halaman Experiments di konsol Search for commerce.

Buka halaman Eksperimen
Klik nama eksperimen.

Halaman Monitoring untuk eksperimen tersebut akan terbuka.
Tinjau halaman untuk menemukan pemisahan traffic yang tidak diinginkan.

Setiap metrik menampilkan tanggal terjadinya pemisahan traffic yang tidak disengaja.
Jika Anda melihat pemisahan yang tidak diinginkan, klik Pemisahan traffic yang tidak diinginkan untuk melihat tabel yang dapat difilter yang mencantumkan pemisahan traffic yang tidak diinginkan untuk metrik tersebut.

Mengatasi pemisahan traffic yang tidak diinginkan

Memantau eksperimen dari konsol Penelusuran untuk Commerce dapat membantu Anda memperhatikan potensi masalah dalam eksperimen.

Jika Anda mengalami pemisahan traffic yang tidak diinginkan, pastikan peristiwa diberi tag dengan ID eksperimen yang benar. Misalnya, peristiwa yang termasuk dalam grup kontrol yang diberi tag dengan ID eksperimen yang salah dapat menyebabkan peristiwa diatribusikan ke grup varian yang salah.

Jika pemberian tag peristiwa berfungsi dengan benar, pemisahan traffic yang tidak diinginkan yang dilaporkan oleh konsol Penelusuran untuk Commerce dapat menunjukkan masalah pemisahan traffic di platform eksperimen Anda. Jika demikian, jeda pengujian A/B sebelum menyelesaikan masalah agar eksperimen Anda tidak menghasilkan hasil yang salah.

Metrik bisnis untuk analisis

Ada dua grup metrik bisnis yang tersedia:

Metrik per penelusuran atau per penjelajahan
Kunjungan per penelusuran atau kunjungan per penjelajahan

Metrik kunjungan per penelusuran

Definisi metrik per kunjungan penelusuran tercantum di bawah. Definisi metrik per kunjungan jelajah mirip dengan metrik per kunjungan penelusuran, dengan semua instance penelusuran diganti dengan jelajah.

Dalam tarif pesanan pembelian, satu pesanan pembelian dapat mencakup beberapa SKU. Setiap SKU dapat memiliki jumlah lebih dari atau sama dengan satu.

Nama Metrik	Definisi
Jumlah kunjungan penelusuran	Jumlah kunjungan yang berisi minimal satu penelusuran.
Rasio kunjungan halaman	Jumlah klik (tayangan halaman) / jumlah kunjungan penelusuran
Rasio tambahkan ke keranjang (ATC)	Jumlah unit tambahkan ke keranjang dalam kunjungan penelusuran / jumlah kunjungan penelusuran
Rasio pesanan pembelian	Jumlah pesanan pembelian dalam kunjungan penelusuran / jumlah kunjungan penelusuran
Rasio pendapatan	Jumlah pendapatan dalam kunjungan penelusuran / jumlah kunjungan penelusuran
Nilai pesanan rata-rata (AOV)	Jumlah pendapatan dalam kunjungan penelusuran / jumlah pesanan pembelian dalam kunjungan penelusuran

Metrik per penelusuran

Definisi metrik per penelusuran tercantum di bawah. Definisi metrik per penjelajahan mirip dengan metrik per penelusuran, dengan semua instance penelusuran diganti dengan penjelajahan.

Nama Metrik	Definisi
Jumlah penelusuran	Jumlah peristiwa penelusuran
Rasio Tidak Ada Hasil	Jumlah peristiwa penelusuran tanpa hasil / jumlah penelusuran
Rasio klik-tayang (CTR)	Jumlah klik yang didorong penelusuran (kunjungan halaman) / jumlah penelusuran
Rasio tambahkan ke keranjang (ATC)	Jumlah unit tambahkan ke keranjang yang didorong penelusuran / jumlah penelusuran
Rasio pembelian	Jumlah unit pembelian yang didorong penelusuran / jumlah penelusuran
Rasio pendapatan	Jumlah pendapatan yang dihasilkan dari penelusuran / jumlah penelusuran
Nilai Unit Rata-Rata (AUV)	Jumlah pendapatan yang didorong oleh penelusuran / jumlah unit pembelian yang didorong oleh penelusuran

Menganalisis performa bisnis eksperimen

Tab Analytics setiap eksperimen menampilkan dasbor metrik bisnis. Dasbor menampilkan perbandingan performa di seluruh grup varian.

Ada dua dasbor metrik:

Metrik per kunjungan penelusuran dan per kunjungan penjelajahan
Metrik per penelusuran dan per penjelajahan

Metrik penelusuran atau metrik jelajah ditampilkan berdasarkan atribut ProductType eksperimen.

Setiap dasbor menampilkan tabel metrik ringkasan yang menunjukkan hasil metrik yang digabungkan di seluruh tanggal yang ditampilkan di filter rentang tanggal. Nilai tanggal default adalah tanggal mulai dan akhir eksperimen.

Setiap metrik ditampilkan sebagai tabel hasil agregat serta diagram nilai harian yang memberikan informasi yang lebih mendetail.

Rentang tanggal tabel gabungan menggunakan tanggal mulai dan akhir eksperimen sebagai nilai tanggal default. Jika eksperimen sedang berlangsung, tanggal akhirnya ditetapkan ke tanggal saat ini. Anda dapat mengubah filter rentang tanggal. Jika userAgent disediakan dengan peristiwa pengguna yang diserap, Anda juga dapat mengelompokkan metrik menurut jenis perangkat. Klik ikon Muat ulang untuk menerapkan filter yang diubah ke metrik.

Jika peningkatan relatif metrik cukup positif untuk melebihi bandwidth interval keyakinan, warna latar belakang hijau akan ditampilkan untuk varian tersebut. Demikian pula, jika peningkatan relatif cukup negatif, warna latar belakang merah akan ditampilkan untuk varian tersebut. Jika peningkatan relatif lebih kecil dari lebar interval keyakinan, warna latar belakang abu-abu menunjukkan bahwa hasilnya tidak memiliki signifikansi statistik.

Misalnya, saat membandingkan grup varian dengan grup kontrol dasar pengukuran:

Jika metrik Rasio klik-tayang per penelusuran adalah +3,0% dan interval keyakinan, yang ditampilkan sebagai Lift CI, adalah [2,1%, 4,0%], grup varian akan ditandai dengan warna hijau untuk menunjukkan bahwa varian tersebut berperforma lebih baik untuk metrik ini dibandingkan dengan kontrol dasar pengukuran.
Jika metrik Rasio pendapatan per kunjungan jelajah adalah -1,5% dan interval keyakinannya adalah [-2,6%, -0,4%], grup varian akan ditandai dengan warna merah untuk menunjukkan bahwa performanya lebih buruk dalam metrik ini dibandingkan dengan kontrol dasar pengukuran.
Jika metrik Nilai unit rata-rata per penelusuran adalah +1,0% dan interval keyakinan adalah [-1,1%, 3,0%], grup varian akan ditandai dengan warna abu-abu untuk menunjukkan bahwa perbedaan performa belum memiliki signifikansi statistik.

Umumnya, semakin banyak titik data, semakin kecil variannya. Metrik yang terakumulasi selama beberapa minggu akan memiliki bandwidth interval keyakinan yang lebih rendah daripada metrik harian dan lebih cenderung menunjukkan signifikansi statistik.

Mengubah detail eksperimen

Untuk mengedit detail eksperimen:

Buka halaman Experiments di konsol Search for commerce.

Buka halaman Eksperimen
Di tabel yang menampilkan eksperimen terbaru, temukan eksperimen yang ingin Andaubah.
Klik ikon Tindakan tiga titik di sebelah kanan baris tabelnya, lalu klik Edit.

Halaman Edit Eksperimen akan terbuka.
Ubah kolom eksperimen yang ingin Anda perbarui.
Klik Update untuk menyimpan perubahan.

Menghapus eksperimen dari konsol

Untuk menghapus eksperimen dari konsol Penelusuran untuk Commerce:

Buka halaman Experiments di konsol Search for commerce.

Buka halaman Eksperimen
Di tabel yang menampilkan eksperimen terbaru, temukan eksperimen yang ingin Anda hapus.
Klik ikon Tindakan tiga titik di sebelah kanan baris tabelnya, lalu klik Hapus.

Jendela konfirmasi Hapus eksperimen? akan terbuka.
Ketik nama eksperimen, lalu klik Konfirmasi untuk mengonfirmasi penghapusan.

Setelah penghapusan selesai, konsol akan menampilkan pesan bahwa eksperimen Anda telah berhasil dihapus.