Nutzerhandbuch: Automatische Bewertung von Zusammenfassungen

Bei der automatischen Zusammenfassungsbewertung (Autoevaluation) wird die Qualität von Zusammenfassungen anhand von drei Messwerten bewertet: Richtigkeit, Vollständigkeit und Einhaltung. Mit dieser Funktion können Sie die Qualität von Zusammenfassungsgeneratoren bewerten. Das ist wichtig, wenn Sie benutzerdefinierte Abschnittsdefinitionen optimieren oder Software aktualisieren, die sich auf Zusammenfassungsmodelle auswirkt. Weitere Informationen zu den Bewertungsmetriken finden Sie unter Grundlagen der automatischen Zusammenfassungsbewertung.

Hinweise

  • Zusammenfassungsgenerator erstellen, der Kandidatenzusammenfassungen für Ihre Bewertung generiert.
  • Die Abschnittsdefinitionen im Generator dienen als Ground Truth für die Bewertung.
  • Damit der endgültige Wert die Qualität des Generators widerspiegelt, müssen die Anweisungen in jedem Abschnitt mit denen im Generator übereinstimmen.

Anfrage für die automatische Auswertung von Zusammenfassungen erstellen

So erstellen Sie einen Generator für Zusammenfassungen:

  1. Rufen Sie die Agent Assist Console auf und melden Sie sich an.

    Zur Konsole

  2. Wählen Sie Ihr Projekt aus.

  3. Klicken Sie auf Bewertungen > Neue Bewertung.

  4. Geben Sie einen eindeutigen Anzeigenamen ein und wählen Sie einen Generator aus, der zur Zusammenfassung des Kandidaten passt.

  5. Klicken Sie auf Weiter.

  6. Wählen Sie ein Auswertungs-Dataset mit einer der folgenden beiden Optionen aus:

    • Zufallsstichprobe von Unterhaltungen aus dem Zeitraum: Wenn Sie für die Zusammenfassungsfunktion von Agent Assist bezahlt haben, geben Sie einen Zeitraum und eine maximale Anzahl von Unterhaltungen an. Bei der Auswertung werden zufällig bis zur maximalen Anzahl von Unterhaltungen und Zusammenfassungen aus Ihrem Verlauf ausgewählt.
    • Bestimmten Datensatz auswählen: Wählen Sie eine bestimmte Stichprobe von Unterhaltungen aus, die Sie mit Conversational Insights zusammengestellt haben.

  7. Wählen Sie eine der folgenden Optionen als Quelle für die Zusammenfassung aus:

    • Es werden nur fehlende Zusammenfassungen mit dem angegebenen Generator erstellt. Sie zahlen die Kosten für die Zusammenfassungserstellung.
    • Neue Zusammenfassungen für alle Unterhaltungen generieren Sie zahlen die Kosten für die Zusammenfassungserstellung.
    • Keine Zusammenfassungen erstellen. Verwenden Sie stattdessen vorhandene Zusammenfassungen, die mit dem Dataset gefunden wurden. Sie müssen einen anderen Betrag bezahlen.

  8. Klicken Sie auf Weiter.

  9. Klicken Sie auf Ordner auswählen, wählen Sie einen Cloud Storage-Ordner in einem Bucket aus, in dem das Ergebnis gespeichert werden soll, und klicken Sie dann auf Ok. Bei der automatischen Auswertung werden die Ergebnisse in eine CSV-Datei geschrieben und in Ihrem Cloud Storage-Bucket gespeichert.

  10. Klicken Sie auf Ausführen. Dies ist ein Vorgang mit langer Ausführungszeit. Die neue Bewertung wird in der Tabelle aufgeführt.

Bewertungen

So rufen Sie eine Liste der Zusammenfassungsgeneratoren und abgeschlossenen Ausführungen von Bewertungssitzungen auf:

  1. Rufen Sie die Agent Assist Console auf und melden Sie sich an. Zur Console
  2. Wählen Sie Ihr Projekt aus.
  3. Klicken Sie auf Bewertungen.
  4. Optional: Wenn Sie die Reihenfolge der Erstellungszeit ändern möchten, klicken Sie in der Spaltenüberschrift Erstellungszeit auf keyboard_arrow_down Abwärts.

Liste filtern

So filtern Sie die Liste, um nach einer bestimmten Bewertung zu suchen:

  1. Klicken Sie auf Bewertungen filtern.

  2. Wählen Sie eine der folgenden Optionen aus:

    - **Display name**
- **Generator name**
- **Create time**

  3. Geben Sie den Wert des Parameters ein.

Bewertung löschen

  1. Warten Sie, bis Ihr Generator eine Bewertung abgeschlossen hat.
  2. Klicken Sie auf delete Löschen, um die Auswertung zu löschen.

Bewertungsergebnisse ansehen

So rufen Sie detaillierte Bewertungsergebnisse in der Agent Assist Console auf:

  1. Rufen Sie die Agent Assist Console auf und melden Sie sich an. Zur Console
  2. Wählen Sie Ihr Projekt aus.
  3. Klicken Sie auf Bewertungen.
  4. Klicken Sie auf eine beliebige Zeile in der Liste, um die Bewertungsdetails aufzurufen. Diese enthalten die folgenden Informationen:
    • Anzeigename für den Generator
    • Anzahl der Unterhaltungen
    • Falls vorhanden, Name des zugehörigen Conversational Insights-Datasets
    • Ausführungszeit
    • Cloud Storage-Ausgabe
    • Gesamtleistungsergebnisse für ein gesamtes Dataset
    • Ergebnisse auf Unterhaltungsebene für jede Unterhaltung in einem Dataset

Ergebnisse auf Unterhaltungsebene

In Agent Assist werden die Bewertungsergebnisse auf Unterhaltungsebene in einer Tabelle angezeigt.

  1. Klicken Sie auf der Seite Bewertungsdetails auf eine beliebige Zeile der Tabelle Ergebnisse auf Konversationsebene, um detaillierte Ergebnisse, eine Zusammenfassung und ein Transkript der Konversation aufzurufen.
  2. Klicken Sie auf einen Abschnitt, um Beispiele aus der Zusammenfassung aufzurufen.

Ergebnisse vergleichen

So vergleichen Sie Ergebnisse verschiedener Bewertungen:

  1. Rufen Sie in der Agent Assist Console Evaluations auf.
  2. Klicken Sie auf eine Bewertung, um die zugehörigen Details aufzurufen. Diese Auswertung bildet die Grundlage für den Vergleich und bestimmt, welche Messwerte in den Vergleich einbezogen werden.
  3. Klicken Sie auf Vergleichen > Lauf hinzufügen, um weitere Auswertungen zum Vergleich hinzuzufügen. Sie können bis zu fünf Bewertungen gleichzeitig vergleichen. Jeder Anzeigename ist grau hervorgehoben.
  4. Wenn Sie eine Bewertung aus dem Vergleich entfernen möchten, klicken Sie auf Schließen Schließen.

Beschränkung

Die automatische Auswertung von Zusammenfassungen unterstützt VPC Service Controls nicht.

Verfügbare Regionen

Die automatische Zusammenfassung ist nur in zwei Agent Assist-Regionen verfügbar. Eine Liste der für die einzelnen Funktionen verfügbaren Regionen finden Sie in der Regionalisierungstabelle.