Experiments

Eksperimen digunakan untuk membandingkan performa beberapa versi alur (versi varian) dengan versi kontrol (biasanya versi produksi) saat menangani traffic langsung. Anda dapat mengalokasikan sebagian traffic live untuk setiap versi flow dan memantau metrik berikut:

  • Disertakan: Jumlah sesi yang mencapai END_SESSION tanpa memicu metrik lain di bawah. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio handoff agen langsung: Jumlah sesi yang diserahkan kepada agen langsung.
  • Kecepatan callback: Jumlah sesi yang dimulai ulang oleh pengguna akhir. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio diabaikan: Jumlah sesi yang diabaikan oleh pengguna akhir. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio akhir sesi: Jumlah sesi yang mencapai END_SESSION.
  • Total jumlah tidak cocok: Total jumlah kemunculan peristiwa yang tidak cocok.
  • Total jumlah giliran: Total jumlah giliran percakapan (satu input pengguna akhir dan satu respons agen dianggap satu giliran).
  • Jumlah belokan rata-rata: Jumlah belokan rata-rata.

Persiapan

Untuk menyiapkan eksperimen:

  1. Tentukan alur mana yang akan digunakan untuk eksperimen. Anda tidak dapat menjalankan beberapa eksperimen di satu alur, jadi pastikan Anda telah membagi agen menjadi beberapa alur.
  2. Buat beberapa versions untuk flow Anda. Perbedaan antara setiap versi bisa kecil atau besar, tergantung pada apa yang ingin Anda bandingkan.
  3. Tentukan jumlah traffic yang akan dialokasikan untuk eksperimen Anda. Jika Anda menguji perubahan kecil, Anda dapat memulai dengan jumlah traffic yang lebih tinggi. Untuk perubahan besar yang dapat mengganggu, pertimbangkan untuk mengalokasikan sedikit traffic ke eksperimen.

Membuat eksperimen

Untuk membuat eksperimen:

  1. Buka Dialogflow CX Console.
  2. Pilih project GCP Anda untuk membuka pemilih agen.
  3. Pilih agen untuk membuka pembuat agen.
  4. Pilih tab Kelola.
  5. Klik Eksperimen untuk membuka panel Eksperimen.
  6. Pilih tab Status.
  7. Klik Create.
  8. Masukkan deskripsi.
  9. Pilih lingkungan tempat Anda ingin menjalankan eksperimen.
  10. Pilih alur untuk eksperimen.
  11. Secara opsional, masukkan jumlah hari eksperimen akan otomatis berhenti.
  12. Masukkan versi alur kontrol dan persentase traffic yang akan diteruskan ke versi kontrol.
  13. Masukkan satu hingga empat versi alur varian, dan persentase traffic yang akan masuk ke versi varian.
  14. Secara opsional, klik Aktifkan peluncuran otomatis dan langkah untuk peluncuran traffic secara bertahap ke alur varian. Eksperimen otomatis didasarkan pada langkah, yang merupakan durasi waktu saat persentase traffic ditingkatkan ke alur varian. Peluncuran otomatis hanya mendukung satu alur varian.
    1. Di bagian Aturan peluncuran, Anda dapat menetapkan satu atau beberapa aturan kondisional untuk menentukan cara melanjutkan eksperimen melalui langkah-langkah.
      1. Jika Anda memilih Cocokkan minimal satu aturan, eksperimen akan berlanjut ke langkah berikutnya jika minimal satu aturan dan durasi waktu untuk langkah saat ini terpenuhi.
      2. Jika Anda memilih Match all rules, eksperimen akan melanjutkan ke langkah berikutnya jika semua aturan dan durasi waktu untuk langkah saat ini terpenuhi.
      3. Jika Anda memilih Steps only, eksperimen akan dilanjutkan sesuai dengan durasi waktu untuk setiap langkah.
    2. Di bagian Tingkatkan langkah, tentukan persentase traffic yang akan dialokasikan ke alur varian dan durasi waktu untuk setiap langkah. Durasi waktu default untuk setiap langkah adalah 6 jam.
    3. Pilih Stop condition untuk menetapkan satu atau beberapa kondisi yang menjadi dasar penghentian pengiriman traffic ke alur varian. Perhatikan bahwa Anda tidak dapat memulai ulang eksperimen yang dihentikan.
  15. Klik Simpan.

Memulai dan menghentikan eksperimen

Anda dapat memulai eksperimen tersimpan atau menghentikan eksperimen yang sedang berjalan secara manual kapan saja. Menghentikan eksperimen akan membatalkan alokasi traffic dan akan mengembalikan traffic ke keadaan semula.

Untuk memulai atau menghentikan eksperimen:

  1. Buka panel Eksperimen.
  2. Pilih tab Status.
  3. Klik Mulai atau Hentikan untuk eksperimen dalam daftar.

Mengelola eksperimen

Anda dapat mengedit atau menghapus eksperimen kapan saja:

  1. Buka panel Eksperimen.
  2. Pilih tab Status.
  3. Klik menu opsi untuk eksperimen dalam daftar.
  4. Klik Edit atau Hapus.

Memantau status eksperimen

Semua eksperimen, apa pun statusnya, dapat ditemukan di panel eksperimen. Eksperimen dapat memiliki empat status yang berbeda:

  • Draft: Eksperimen telah dibuat, tetapi tidak pernah berjalan.
  • Tertunda: Eksperimen baru saja dimulai, tetapi hasilnya belum tersedia.
  • Berjalan: Eksperimen sedang berjalan dan hasil sementara tersedia.
  • Completed: Eksperimen telah selesai karena dihentikan secara otomatis atau manual.

Melihat hasil eksperimen

Untuk melihat hasil eksperimen:

  1. Buka Dialogflow CX Console.
  2. Pilih project GCP Anda untuk membuka pemilih agen.
  3. Pilih agen untuk membuka pembuat agen.
  4. Pilih tab Kelola.
  5. Klik Eksperimen untuk membuka panel Eksperimen.
  6. Pilih tab Hasil.
  7. Pilih lingkungan dan eksperimen untuk melihat hasilnya.

Hasil berwarna hijau menunjukkan hasil yang menyenangkan, sedangkan merah menunjukkan hasil yang kurang menguntungkan. Perhatikan bahwa dalam beberapa kasus, angka yang lebih tinggi/lebih rendah belum tentu lebih baik (rasio pengabaian tinggi / rasio pengabaian rendah).

Batasan

Batasan berikut berlaku:

Sebelumnya
Test cases
Berikutnya
Continuous tests and deployment