La valutazione automatica del riepilogo (autovalutazione) valuta la qualità dei riepiloghi in base a tre metriche: accuratezza, completezza e aderenza. Questa funzionalità ti aiuta a valutare la qualità dei generatori di riepiloghi, il che è fondamentale quando si ottimizzano le definizioni delle sezioni personalizzate o si esegue l'upgrade del software che influisce sui modelli di riepilogo. Per ulteriori dettagli sulle metriche di valutazione, consulta Nozioni di base sulla valutazione automatica del riepilogo.
Prima di iniziare
- Crea un generatore di riepiloghi che generi riepiloghi candidati per la tua valutazione.
- Le definizioni delle sezioni nel generatore fungono da dati empirici reali per la valutazione.
- Affinché il punteggio finale rifletta la qualità del generatore, le istruzioni di ogni sezione devono corrispondere a quelle del generatore.
Crea una richiesta di autovalutazione del riepilogo
Per creare un generatore di riepiloghi:
Vai alla console di Assistente agente e accedi.
Seleziona il progetto.
Fai clic su Valutazioni > Nuova valutazione.
Inserisci un Nome visualizzato univoco e scegli un Generatore che corrisponda al riepilogo del candidato.
Fai clic su Avanti.
Scegli un set di dati di valutazione con una delle seguenti due opzioni:
- Campione casuale di conversazioni dell'intervallo di date: se hai pagato per la funzionalità di riepilogo di Agent Assist, specifica un intervallo di date e un numero di conversazioni massimo. Le valutazioni selezionano in modo casuale fino al numero massimo di conversazioni e riepiloghi dalla cronologia.
- Seleziona un set di dati specifico: scegli un campione specifico di conversazioni che hai selezionato con Approfondimenti conversazionali.
Scegli un'origine del riepilogo tra le seguenti opzioni:
- Genera solo i riepiloghi mancanti utilizzando il generatore specificato. Paghi il costo di generazione del riepilogo
- Generare nuovi riepiloghi per tutte le conversazioni. Paghi il costo di generazione del riepilogo
- Non generare riepiloghi. Utilizza invece i riepiloghi esistenti trovati con il set di dati. Devi pagare un costo diverso.
Fai clic su Avanti.
Fai clic su Seleziona cartella, scegli una cartella Cloud Storage in un bucket in cui archiviare il risultato, quindi fai clic su Ok. La valutazione automatica scrive in un file CSV e lo salva nel bucket Cloud Storage.
Fai clic su Esegui. Si tratta di un'operazione a lunga esecuzione. La nuova valutazione è elencata nella tabella.
Valutazioni
Segui questi passaggi per visualizzare un elenco dei generatori di riepiloghi e delle esecuzioni delle sessioni di valutazione completate.
- Vai alla console di Assistente agente e accedi. Vai alla console
- Seleziona il progetto.
- Fai clic su Valutazioni.
- (Facoltativo) Per invertire l'ordine di creazione, fai clic su keyboard_arrow_down Giù nell'intestazione della colonna Ora di creazione.
Filtrare l'elenco
Segui questi passaggi per filtrare l'elenco e cercare una valutazione specifica:
- Fai clic su Filtra valutazioni.
Scegli una delle seguenti opzioni:
- **Display name** - **Generator name** - **Create time**Inserisci il valore del parametro.
Elimina una valutazione
- Attendi che il generatore termini l'esecuzione di una valutazione.
- Fai clic su Elimina Elimina per cancellare la valutazione.
Visualizza i risultati di una valutazione
Segui questi passaggi per visualizzare i risultati dettagliati della valutazione dalla console di Agent Assist.
- Vai alla console di Assistente agente e accedi. Vai alla console
- Seleziona il progetto.
- Fai clic su Valutazioni.
- Fai clic su una riga qualsiasi dell'elenco per visualizzare i Dettagli della valutazione, che includono le seguenti informazioni:
- Nome visualizzato per il generatore
- Numero di conversazioni
- Se presenti, set di dati Conversational Insights, nome del set di dati Conversational Insights associato
- Durata
- Output di Cloud Storage
- Risultati delle prestazioni complessive per un intero set di dati
- Risultati a livello di conversazione per ogni conversazione in un set di dati
Risultati a livello di conversazione
Agent Assist mostra i risultati della valutazione a livello di conversazione in una tabella.
- Nella pagina Dettagli valutazione, fai clic su una riga qualsiasi della tabella Risultati a livello di conversazione per visualizzare i risultati dettagliati, un riepilogo e una trascrizione della conversazione.
- Fai clic su una sezione per visualizzare gli esempi della sezione nel riepilogo.
Confronto dei risultati
Segui questi passaggi per confrontare i risultati di diverse valutazioni:
- Nella console di Assistente agente, vai a Valutazioni.
- Fai clic su una valutazione per visualizzarne i dettagli. Questa valutazione fornisce la base per il confronto e determina quali metriche include.
- Fai clic su Confronta > Aggiungi esecuzione per aggiungere altre valutazioni per il confronto. Puoi confrontare fino a cinque valutazioni alla volta. Ogni nome visualizzato è evidenziato in grigio.
- Per rimuovere una valutazione dal confronto, fai clic su Chiudi Chiudi.
Limitazione
La valutazione automatica del riepilogo non supporta i Controlli di servizio VPC.
Regioni disponibili
La valutazione automatica del riepilogo è disponibile solo in due regioni di Agent Assist. Per un elenco delle regioni disponibili per ogni funzionalità, consulta la tabella di regionalizzazione.