Panduan pengguna: Evaluasi otomatis peringkasan

Evaluasi otomatis (autoevaluasi) peringkasan menilai kualitas ringkasan berdasarkan tiga metrik: akurasi, kelengkapan, dan kepatuhan. Fitur ini membantu Anda mengevaluasi kualitas generator ringkasan, yang sangat penting saat menyesuaikan definisi bagian kustom atau mengupgrade software yang memengaruhi model ringkasan. Untuk mengetahui detail selengkapnya tentang metrik evaluasi, lihat dasar-dasar evaluasi otomatis perangkuman.

Sebelum memulai

  • Buat generator ringkasan yang menghasilkan kandidat ringkasan untuk evaluasi Anda.
  • Definisi bagian dalam generator berfungsi sebagai kebenaran dasar untuk evaluasi.
  • Agar skor akhir mencerminkan kualitas generator, petunjuk setiap bagian harus cocok dengan petunjuk di generator.

Membuat permintaan evaluasi otomatis ringkasan

Ikuti langkah-langkah berikut untuk membuat generator ringkasan.

  1. Buka konsol Agent Assist, lalu login.

    Buka konsol

  2. Pilih project Anda.

  3. Klik Evaluasi > Evaluasi baru.

  4. Masukkan Nama Tampilan yang unik dan pilih Generator yang cocok dengan ringkasan kandidat.

  5. Klik Berikutnya.

  6. Pilih set data evaluasi dengan salah satu dari dua opsi berikut:

    • Contoh acak percakapan dari rentang tanggal: Jika Anda telah membayar fitur ringkasan Agent Assist, tentukan Rentang tanggal dan Jumlah percakapan maksimum. Evaluasi akan memilih secara acak hingga jumlah maksimum percakapan dan ringkasan dari histori Anda.
    • Pilih set data tertentu: Pilih sampel percakapan tertentu yang Anda kurasi dengan Insight Percakapan.

  7. Pilih sumber ringkasan dari salah satu opsi berikut:

    • Hanya buat ringkasan yang tidak ada menggunakan generator yang ditentukan. Anda membayar biaya pembuatan ringkasan
    • Membuat ringkasan baru untuk semua percakapan. Anda membayar biaya pembuatan ringkasan
    • Jangan membuat ringkasan. Sebagai gantinya, gunakan ringkasan yang ada yang ditemukan bersama set data. Anda harus membayar biaya yang berbeda.

  8. Klik Berikutnya.

  9. Klik Pilih folder, pilih folder Cloud Storage di bucket untuk menyimpan hasil Anda, lalu klik Oke. Evaluasi otomatis menulis ke file CSV dan menyimpannya di bucket Cloud Storage Anda.

  10. Klik Run. Ini adalah operasi yang berjalan lama. Evaluasi baru Anda akan tercantum dalam tabel.

Evaluasi

Ikuti langkah-langkah berikut untuk melihat daftar generator ringkasan dan menjalankan sesi evaluasi yang telah selesai.

  1. Buka konsol Agent Assist, lalu login. Buka konsol
  2. Pilih project Anda.
  3. Klik Evaluasi.
  4. Opsional: Untuk mengubah urutan waktu pembuatan, klik keyboard_arrow_down Bawah di judul kolom Waktu pembuatan.

Memfilter daftar

Ikuti langkah-langkah berikut untuk memfilter daftar guna menelusuri evaluasi tertentu:

  1. Klik Filter evaluasi.

  2. Pilih salah satu opsi berikut:

    - **Display name**
- **Generator name**
- **Create time**

  3. Masukkan nilai parameter.

Menghapus evaluasi

  1. Tunggu hingga generator Anda selesai menjalankan evaluasi.
  2. Klik hapus Hapus untuk menghapus evaluasi.

Melihat hasil evaluasi

Ikuti langkah-langkah berikut untuk melihat hasil evaluasi mendetail dari konsol Agent Assist.

  1. Buka konsol Agent Assist, lalu login. Buka konsol
  2. Pilih project Anda.
  3. Klik Evaluasi.
  4. Klik baris mana pun dalam daftar untuk melihat Detail evaluasi, yang mencakup informasi berikut:
    • Nama tampilan untuk generator
    • Jumlah percakapan
    • Jika ada set data Insight Berbasis Percakapan, nama set data Insight Berbasis Percakapan terkait
    • Runtime
    • Output Cloud Storage
    • Hasil performa keseluruhan untuk seluruh set data
    • Hasil tingkat percakapan untuk setiap percakapan dalam set data

Hasil tingkat percakapan

Agent Assist menampilkan hasil evaluasi tingkat percakapan dalam tabel.

  1. Dari halaman Detail evaluasi, klik baris mana pun pada tabel Hasil tingkat percakapan untuk melihat hasil mendetail, ringkasan, dan transkrip percakapan.
  2. Klik bagian untuk melihat contoh bagian tersebut dari ringkasan.

Perbandingan hasil

Ikuti langkah-langkah berikut untuk membandingkan hasil di berbagai evaluasi:

  1. Di konsol Agent Assist, buka Evaluasi.
  2. Klik evaluasi untuk melihat detailnya. Evaluasi ini memberikan dasar untuk perbandingan dan menentukan metrik mana yang disertakan dalam perbandingan.
  3. Klik Bandingkan > Tambahkan proses pengujian untuk menambahkan evaluasi lain untuk perbandingan. Anda dapat membandingkan hingga lima evaluasi sekaligus. Setiap nama tampilan ditandai dengan warna abu-abu.
  4. Untuk menghapus evaluasi dari perbandingan, klik tutup Tutup.

Batasan

Evaluasi otomatis ringkasan tidak mendukung Kontrol Layanan VPC.

Wilayah yang tersedia

Evaluasi otomatis ringkasan hanya tersedia di dua region Agent Assist. Untuk mengetahui daftar region yang tersedia untuk setiap fitur, lihat tabel regionalisasi.