Eksperimen

Eksperimen digunakan untuk membandingkan performa beberapa versi flow (versi varian) dengan versi kontrol (biasanya versi produksi) saat menangani traffic live. Anda dapat mengalokasikan sebagian traffic live ke setiap versi flow dan memantau metrik berikut:

  • Terbatas: Jumlah sesi yang mencapai END_SESSION tanpa memicu metrik lainnya di bawah. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio pengalihan ke agen langsung: Jumlah sesi yang dialihkan ke agen langsung.
  • Rasio callback: Jumlah sesi yang dimulai ulang oleh pengguna akhir. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio pengabaian: Jumlah sesi yang ditinggalkan oleh pengguna akhir. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio akhir sesi: Jumlah sesi yang mencapai END_SESSION.
  • Total jumlah ketidakcocokan: Total jumlah kemunculan peristiwa ketidakcocokan.
  • Total jumlah giliran: Total jumlah giliran percakapan (satu input pengguna akhir dan satu respons agen dianggap sebagai satu giliran).
  • Jumlah belokan rata-rata: Jumlah belokan rata-rata.

Persiapan

Untuk mempersiapkan eksperimen:

  1. Tentukan alur yang akan digunakan untuk eksperimen. Anda tidak dapat menjalankan beberapa eksperimen pada satu alur, jadi pastikan Anda telah mempartisi agen ke dalam beberapa alur.
  2. Buat beberapa versi untuk alur Anda. Perbedaan antara setiap versi dapat kecil atau besar, bergantung pada hal yang ingin Anda bandingkan.
  3. Tentukan jumlah traffic yang akan dialokasikan untuk eksperimen Anda. Jika menguji perubahan kecil, Anda dapat memulai dengan jumlah traffic yang lebih tinggi. Untuk perubahan besar yang mungkin mengganggu, pertimbangkan untuk mengalokasikan sejumlah kecil traffic ke eksperimen Anda.

Membuat eksperimen

Untuk membuat eksperimen:

  1. Buka konsol Dialogflow CX.
  2. Pilih project Anda untuk membuka pemilih agen.
  3. Pilih agen Anda untuk membuka pembuat agen.
  4. Pilih tab Kelola.
  5. Klik Eksperimen untuk membuka panel Eksperimen.
  6. Pilih tab Status.
  7. Klik Create.
  8. Masukkan deskripsi.
  9. Pilih lingkungan tempat Anda ingin menjalankan eksperimen.
  10. Pilih alur untuk eksperimen.
  11. Secara opsional, masukkan jumlah hari saat eksperimen akan otomatis dihentikan.
  12. Masukkan versi alur kontrol dan persentase traffic yang akan diarahkan ke versi kontrol.
  13. Masukkan satu hingga empat versi alur varian, dan persentase traffic yang akan diarahkan ke versi varian.
  14. Jika ingin, klik Aktifkan peluncuran dan langkah otomatis untuk peluncuran traffic secara bertahap ke alur varian. Eksperimen otomatis didasarkan pada langkah, yaitu durasi waktu saat persentase traffic ditingkatkan ke alur varian. Peluncuran otomatis hanya mendukung satu alur varian.
    1. Di bagian Aturan peluncuran, Anda dapat menetapkan satu atau beberapa aturan kondisional untuk menentukan cara eksperimen harus melanjutkan melalui langkah-langkah.
      1. Jika Anda memilih Cocokkan setidaknya satu aturan, eksperimen akan dilanjutkan ke langkah berikutnya jika setidaknya satu aturan dan durasi waktu untuk langkah saat ini terpenuhi.
      2. Jika Anda memilih Cocokkan semua aturan, eksperimen akan dilanjutkan ke langkah berikutnya jika semua aturan dan durasi waktu untuk langkah saat ini terpenuhi.
      3. Jika Anda memilih Steps only, eksperimen akan dilanjutkan sesuai dengan durasi waktu untuk setiap langkah.
    2. Di bagian Tingkatkan langkah, tentukan persentase traffic yang akan dialokasikan ke alur varian dan durasi waktu untuk setiap langkah. Durasi waktu default untuk setiap langkah adalah 6 jam.
    3. Pilih Stop conditions untuk menetapkan satu atau beberapa kondisi yang akan menghentikan pengiriman traffic ke alur varian. Perhatikan bahwa Anda tidak dapat memulai ulang eksperimen yang dihentikan.
  15. Klik Simpan.

Memulai dan menghentikan eksperimen

Anda dapat memulai eksperimen tersimpan atau menghentikan eksperimen yang sedang berjalan secara manual kapan saja. Menghentikan eksperimen akan membatalkan alokasi traffic dan akan mengembalikan traffic ke status semula.

Untuk memulai atau menghentikan eksperimen:

  1. Buka panel Eksperimen.
  2. Pilih tab Status.
  3. Klik Mulai atau Berhenti untuk eksperimen dalam daftar.

Mengelola eksperimen

Anda dapat mengedit atau menghapus eksperimen kapan saja:

  1. Buka panel Eksperimen.
  2. Pilih tab Status.
  3. Klik menu opsi untuk eksperimen dalam daftar.
  4. Klik Edit atau Hapus.

Memantau status eksperimen

Semua eksperimen, apa pun statusnya, dapat ditemukan di panel eksperimen. Eksperimen dapat memiliki empat status yang berbeda:

  • Draf: Eksperimen telah dibuat, tetapi belum pernah dijalankan.
  • Tertunda: Eksperimen baru saja dimulai, tetapi hasilnya belum tersedia.
  • Berjalan: Eksperimen sedang berjalan dan hasil sementara tersedia.
  • Selesai: Eksperimen telah selesai karena dihentikan secara otomatis atau manual.

Melihat hasil eksperimen

Untuk melihat hasil eksperimen:

  1. Buka konsol Dialogflow CX.
  2. Pilih project Anda untuk membuka pemilih agen.
  3. Pilih agen Anda untuk membuka pembuat agen.
  4. Pilih tab Kelola.
  5. Klik Eksperimen untuk membuka panel Eksperimen.
  6. Pilih tab Hasil.
  7. Pilih lingkungan dan eksperimen untuk melihat hasilnya.

Hasil berwarna hijau menunjukkan hasil yang menguntungkan, sedangkan merah menunjukkan hasil yang kurang menguntungkan. Perhatikan bahwa dalam beberapa kasus, angka yang lebih tinggi/lebih rendah tidak selalu lebih baik (rasio pengabaian tinggi / rasio pengabaian rendah).

Batasan

Batasan berikut berlaku:

Sebelumnya
Kasus uji
Berikutnya
Pengujian dan deployment berkelanjutan