L'évaluation automatique de la synthèse (auto-évaluation) évalue la qualité des résumés en fonction de trois métriques : la précision, l'exhaustivité et l'adéquation. Cette fonctionnalité vous aide à évaluer la qualité des générateurs de résumés, ce qui est essentiel lorsque vous ajustez des définitions de sections personnalisées ou que vous mettez à niveau des logiciels qui affectent les modèles de synthèse. Pour en savoir plus sur les métriques d'évaluation, consultez Principes de base de l'auto-évaluation de la synthèse.
Avant de commencer
- Créez un générateur de résumés qui génère des résumés candidats pour votre évaluation.
- Les définitions de section dans le générateur servent de vérité terrain pour l'évaluation.
- Pour que le score final reflète la qualité du générateur, les instructions de chaque section doivent correspondre à celles du générateur.
Créer une demande d'auto-évaluation de la synthèse
Pour créer un générateur de résumés, procédez comme suit :
Accédez à la console Agent Assist, puis connectez-vous.
Sélectionnez votre projet.
Cliquez sur Évaluations > Nouvelle évaluation.
Saisissez un nom à afficher unique et choisissez un générateur correspondant au résumé du candidat.
Cliquez sur Suivant.
Choisissez un ensemble de données d'évaluation à l'aide de l'une des deux options suivantes :
- Échantillon aléatoire de conversations pour la plage de dates : si vous avez payé pour la fonctionnalité de synthèse Agent Assist, spécifiez une plage de dates et un nombre maximal de conversations. Les évaluations sélectionnent au hasard un nombre maximal de conversations et de résumés dans votre historique.
- Sélectionnez un ensemble de données spécifique : choisissez un échantillon spécifique de conversations que vous avez organisées avec Insights conversationnels.
Choisissez une source de résumé parmi les options suivantes :
- Générez uniquement les résumés manquants à l'aide du générateur spécifié. Vous payez les frais de génération de résumés.
- Générer de nouveaux résumés pour toutes les conversations Vous payez les frais de génération de résumés.
- Ne pas générer de résumés Utilisez plutôt les résumés existants trouvés avec l'ensemble de données. Vous devez payer un montant différent.
Cliquez sur Suivant.
Cliquez sur Sélectionner un dossier, choisissez un dossier Cloud Storage dans un bucket pour stocker votre résultat, puis cliquez sur OK. L'auto-évaluation écrit les données dans un fichier CSV et l'enregistre dans votre bucket Cloud Storage.
Cliquez sur Exécuter. Il s'agit d'une opération de longue durée. Votre nouvelle évaluation est listée dans le tableau.
Évaluations
Suivez ces étapes pour afficher la liste des générateurs de résumés et des sessions d'évaluation terminées.
- Accédez à la console Agent Assist, puis connectez-vous. Accéder à la console
- Sélectionnez votre projet.
- Cliquez sur Évaluations.
- Facultatif : Pour inverser l'ordre de création, cliquez sur keyboard_arrow_down Vers le bas dans l'en-tête de colonne Heure de création.
Filtrer la liste
Pour filtrer votre liste et rechercher une évaluation spécifique :
- Cliquez sur Filtrer les évaluations.
Choisissez l'une des options suivantes :
- **Display name** - **Generator name** - **Create time**Saisissez la valeur du paramètre.
Supprimer une évaluation
- Attendez que votre générateur ait terminé d'exécuter une évaluation.
- Cliquez sur delete Supprimer pour effacer l'évaluation.
Afficher les résultats de l'évaluation
Pour afficher les résultats détaillés de l'évaluation dans la console d'assistance de l'agent, procédez comme suit :
- Accédez à la console Agent Assist, puis connectez-vous. Accéder à la console
- Sélectionnez votre projet.
- Cliquez sur Évaluations.
- Cliquez sur n'importe quelle ligne de la liste pour afficher les détails de l'évaluation, qui incluent les informations suivantes :
- Nom à afficher du générateur
- Nombre de conversations
- Si des ensembles de données Conversational Insights, nom de l'ensemble de données Conversational Insights associé
- Durée d'exécution
- Sortie Cloud Storage
- Résultats de performances globales pour un ensemble de données complet
- Résultats au niveau de la conversation pour chaque conversation d'un ensemble de données
Résultats au niveau de la conversation
Agent Assist affiche les résultats de l'évaluation au niveau de la conversation dans un tableau.
- Sur la page Détails de l'évaluation, cliquez sur n'importe quelle ligne du tableau Résultats au niveau de la conversation pour afficher les résultats détaillés, un récapitulatif et la transcription de la conversation.
- Cliquez sur une section pour afficher des exemples de cette section dans le récapitulatif.
Comparaison des résultats
Pour comparer les résultats de différentes évaluations, procédez comme suit :
- Dans la console Agent Assist, accédez à Évaluations.
- Cliquez sur une évaluation pour en afficher les détails. Cette évaluation sert de base de comparaison et détermine les métriques incluses dans la comparaison.
- Cliquez sur Comparer > Ajouter une exécution pour ajouter d'autres évaluations à comparer. Vous pouvez comparer jusqu'à cinq évaluations à la fois. Chaque nom à afficher est mis en évidence en gris.
- Pour supprimer une évaluation de la comparaison, cliquez sur Fermer Fermer.
Limite
L'évaluation automatique de la synthèse n'est pas compatible avec VPC Service Controls.
Régions disponibles
L'auto-évaluation de la synthèse n'est disponible que dans deux régions Agent Assist. Pour obtenir la liste des régions disponibles pour chaque fonctionnalité, consultez le tableau de régionalisation.