Méthodes et métriques d'évaluation

Cette page présente nos métriques d'évaluation actuelles et explique comment les utiliser.

Par point ou par paire

Vous devez identifier votre objectif d'évaluation avant de déterminer les métriques à appliquer. Cela implique de déterminer s'il faut effectuer une évaluation par point ou par paire, comme indiqué dans la section Paradigmes d'évaluation.

Paradigme	Cas d'utilisation
Par point	Comprendre le comportement de votre modèle en production: Explorez les points forts et les points faibles d'un seul modèle. Identifier les comportements sur lesquels se concentrer lors du réglage. Obtenir les performances de référence d'un modèle
Par paire	Déterminer le modèle à mettre en production: Choisissez entre les types de modèles. Par exemple, Gemini-Pro ou Claude 3. Choisissez entre différentes requêtes. Déterminer si le réglage a apporté des améliorations à un modèle de référence.

Tâches et métriques

Vous pouvez évaluer les grands modèles de langage (LLM) en effectuant les quatre tâches générales suivantes :

Synthèse
Systèmes de questions-réponses
Utilisation de l'outil
Génération de textes d'ordre général

Pour chaque tâche, vous pouvez évaluer des LLM à l'aide d'un ensemble fixe de métriques précises, telles que la qualité, la pertinence et l'utilité. Vous pouvez évaluer n'importe quelle combinaison de ces métriques sur une instance d'évaluation donnée. Pour chaque métrique, vous devez spécifier les paramètres d'entrée.

Pour vous aider à identifier les tâches et les métriques que vous souhaitez évaluer, tenez compte du rôle de votre modèle et des comportements les plus importants pour vous.

Synthèse

Les métriques suivantes vous aident à évaluer la synthèse de modèle.

Qualité

La métrique summarization_quality décrit la capacité du modèle à résumer du texte.

Compatibilité par paire : Oui
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Suit les instructions	La réponse du modèle démontre qu'il comprend l'instruction à partir de l'invite.
Fondé	La réponse n'inclut que les informations du contexte d'inférence et de l'instruction d'inférence.
Complète	Le modèle capture des détails importants dans la synthèse.
Aperçu	Le résumé n'est ni trop textuel, ni trop bref.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	Instructions de synthèse fournies au moment de l'inférence. Les instructions peuvent inclure des informations telles que le ton et la mise en forme. Par exemple : `Summarize the text from the point of view of the computer, including all references to AI.`
`context`	Texte à résumer.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.
`baseline_prediction` (par paire uniquement)	Réponse LLM de référence à comparer à `prediction`. Les deux réponses partagent les mêmes attributs `instruction` et `context`.

Scores de sortie par point

Valeur	Description
1	Très mauvais
2	Mauvais
3	OK
4	Bon
5	Très bon

Utilité

La métrique summarization_helpfulness décrit la capacité du modèle à répondre à la requête d'un utilisateur en résumant les détails pertinents dans le texte d'origine sans perte importante d'informations importantes.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Complète	Le modèle capture des détails importants pour répondre à la requête de l'utilisateur.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	Instructions de synthèse fournies au moment de l'inférence. Les instructions peuvent inclure des informations telles que le ton et la mise en forme. Par exemple : `Summarize the text from the point of view of the computer, including all references to AI.`
`context`	Texte à résumer.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.

Scores de sortie par point

Valeur	Description
1	Non
2	Plutôt utile
3	Ni insatisfait(e), ni satisfait(e)
4	Plutôt utiles
5	Utile

Niveau de verbosité

La métrique summarization_verbosity mesure si un résumé est trop long ou trop court.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Aperçu	La réponse n'est ni trop explicite, ni trop brève.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	Instructions de synthèse fournies au moment de l'inférence. Les instructions peuvent inclure des informations telles que le ton et la mise en forme. Par exemple : `Summarize the text from the point of view of the computer, including all references to AI.`
`context`	Texte à résumer.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.

Scores de sortie par point

Valeur	Description
-2	Sec
-1	Plutôt sec
0	Optimal
1	Plutôt détaillé
2	Verbose

Systèmes de questions-réponses

Les métriques suivantes vous aident à évaluer la capacité du modèle à répondre aux questions.

Qualité

La métrique question_answering_quality décrit la capacité du modèle à répondre aux questions en fonction d'un corps de texte à référencer.

Compatibilité par paire : Oui
Limite de jeton : 4 096 caractères

Critères d'évaluation

Critère d'évaluation	Description
Suit les instructions	La réponse répond à la question et suit les instructions éventuelles.
Fondé	La réponse n'inclut que les informations du contexte d'inférence et de l'instruction d'inférence.
Pertinence	La réponse contient des informations pertinentes concernant l'instruction.
Complète	Le modèle capture des détails importants à partir de la question.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	La question à laquelle une réponse doit être apportée et les instructions de réponse sont fournies au moment de l'inférence. Les instructions peuvent inclure des informations telles que le ton et la mise en forme. Par exemple : `How long does it take to bake the apple pie? Give an overestimate and an underestimate in your response.`
`context`	Texte envoyé à `reference` lors de la réponse à la question. Dans notre exemple pour `inference_instruction`, cela peut inclure le texte d'une page d'un site Web de cuisine.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.
`baseline_prediction` (par paire uniquement)	Réponse LLM de référence à comparer à `prediction`. Les deux réponses partagent les mêmes attributs `instruction` et `context`.

Scores de sortie par point

Valeur	Description
1	Très mauvais
2	Mauvais
3	OK
4	Bon
5	Très bon

Utilité

La métrique QuestionAnsweringHelpfulness décrit la capacité du modèle à fournir des détails importants lorsqu'il répond à une question.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Utile	La réponse répond à la requête de l'utilisateur.
Complète	Le modèle capture des détails importants pour répondre à la requête de l'utilisateur.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	La question à laquelle une réponse doit être apportée et les instructions de réponse fournies au moment de l'inférence. Par exemple : `How long does it take to bake the apple pie? Give an overestimate and an underestimate in your response.`
`context`	Texte à référencer pour répondre à la question. Dans notre exemple pour `inference_instruction`, cela peut inclure le texte d'une page d'un site Web de cuisine.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.

Scores de sortie par point

Valeur	Description
1	Non
2	Plutôt utile
3	Ni insatisfait(e), ni satisfait(e)
4	Plutôt utiles
5	Utile

Exactitude

La métrique QuestionAnsweringCorrectness décrit la capacité du modèle à répondre correctement à une question.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Contient toutes les revendications de référence	La réponse contient toutes les revendications de la référence.
N'inclut pas plus de revendications que la référence.	La réponse ne contient pas de revendications qui ne sont pas présentes dans la référence.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	La question à laquelle une réponse doit être apportée et les instructions de réponse sont fournies au moment de l'inférence. Les instructions peuvent inclure des informations telles que le ton et la mise en forme. Par exemple : `How long does it take to bake the apple pie? Give an overestimate and an underestimate in your response.`
`context`	Texte à référencer pour répondre à la question. Par exemple, le texte figurant sur une page d'un site Web de cuisine.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.
`reference`	Réponse LLM de référence pour référence.

Scores de sortie par point

Valeur	Description
0	Mauvaise réponse
1	Bonne réponse

Pertinence

La métrique QuestionAnsweringRelevance décrit la capacité du modèle à répondre avec des informations pertinentes lorsqu'il est posé une question.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Pertinence	La réponse contient des informations pertinentes concernant l'instruction.
Clarté	La réponse fournit des informations clairement définies qui répondent directement à l'instruction.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	Question pour laquelle une réponse doit être apportée et instructions de réponse fournies au moment de l'inférence. Les instructions peuvent inclure des informations telles que le ton et la mise en forme. Par exemple : `How long does it take to bake the apple pie? Give an overestimate and an underestimate in your response.`
`context`	Texte à référencer pour répondre à la question. Dans notre exemple pour `inference_instruction`, cela peut inclure le texte d'une page d'un site Web de cuisine.
`prediction`	Réponse LLM des paramètres `instruction` et `context`.

Scores de sortie par point

Valeur	Description
1	L'annonce n'est pas pertinente.
2	Peu pertinent
3	Ni insatisfait(e), ni satisfait(e)
4	Moyennement pertinent
5	Réellement pertinent

Utilisation de l'outil

Les métriques suivantes vous aident à évaluer la capacité du modèle à prédire un appel d'outil valide.

Appel valide

La métrique tool_call_valid décrit la capacité du modèle à prédire un appel d'outil valide. Seul le premier appel d'outil est inspecté.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Critère d'évaluation	Description
Validité	La sortie du modèle contient un appel d'outil valide.
Mise en forme	Un dictionnaire JSON contient les champs `name` et `arguments`.

Paramètres d'entrée des métriques

Paramètre d'entrée Description

prediction La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés content et tool_calls. La valeur content correspond à la sortie textuelle du modèle. La valeur tool_calls est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple :

{"content": "", "tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}

reference Prédiction de référence de vérité terrain, qui suit le même format que prediction.

Paramètre d'entrée	Description
`prediction`	La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés `content` et `tool_calls`. La valeur `content` correspond à la sortie textuelle du modèle. La valeur `tool_calls` est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple : `{"content": "", "tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}`
`reference`	Prédiction de référence de vérité terrain, qui suit le même format que `prediction`.

Scores de sortie

Valeur	Description
0	Appel d'outil non valide
1	Appel d'outil valide

Correspondance du nom

La métrique ToolNameMatch décrit la capacité du modèle à prédire un appel d'outil avec le nom d'outil correct. Seul le premier appel d'outil est inspecté.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Critère d'évaluation	Description
Suit les instructions	L'appel de l'outil prédit par le modèle correspond au nom de l'appel de l'outil de référence.

Paramètres d'entrée des métriques

Paramètre d'entrée Description

prediction La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés content et tool_calls. La valeur content correspond à la sortie textuelle du modèle. La valeur tool_call est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple :

{"content": "","tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}

reference La prédiction de référence de vérité terrain, qui suit le même format que prediction.

Paramètre d'entrée	Description
`prediction`	La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés `content` et `tool_calls`. La valeur `content` correspond à la sortie textuelle du modèle. La valeur `tool_call` est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple : `{"content": "","tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}`
`reference`	La prédiction de référence de vérité terrain, qui suit le même format que `prediction`.

Scores de sortie

Valeur	Description
0	Le nom de l'appel d'outil ne correspond pas à la référence.
1	Le nom de l'appel d'outil correspond à la référence.

Correspondance de la clé du paramètre

La métrique ToolParameterKeyMatch décrit la capacité du modèle à prédire un appel d'outil avec les noms de paramètres corrects.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Critère d'évaluation	Description
Ratio de correspondance des paramètres	Ratio entre le nombre de paramètres prédits qui correspondent aux noms de paramètres de l'appel de l'outil de référence et le nombre total de paramètres.

Paramètres d'entrée des métriques

Paramètre d'entrée Description

prediction La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés content et tool_calls. La valeur content correspond à la sortie textuelle du modèle. La valeur tool_call est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple :

{"content": "", "tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}

reference La prédiction du modèle de référence de vérité terrain, qui suit le même format que prediction.

Paramètre d'entrée	Description
`prediction`	La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés `content` et `tool_calls`. La valeur `content` correspond à la sortie textuelle du modèle. La valeur `tool_call` est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple : `{"content": "", "tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}`
`reference`	La prédiction du modèle de référence de vérité terrain, qui suit le même format que `prediction`.

Scores de sortie

Valeur	Description
Valeur flottante comprise dans la plage [0,1]	Un score élevé de `1` signifie que davantage de paramètres correspondent aux noms des paramètres `reference`.

Correspondance du KV du paramètre

La métrique ToolParameterKVMatch décrit la capacité du modèle à prédire un appel d'outil avec les noms de paramètres et les clé-valeurs corrects.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Critère d'évaluation	Description
Ratio de correspondance des paramètres	Ratio entre le nombre de paramètres prédits qui correspondent à la fois aux noms et valeurs des paramètres de l'appel de l'outil de référence, et le nombre total de paramètres.

Paramètres d'entrée des métriques

Paramètre d'entrée Description

prediction La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés content et tool_calls. La valeur content correspond à la sortie textuelle du modèle. La valeur tool_call est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple :

{"content": "", "tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}

reference Prédiction de référence de vérité terrain, qui suit le même format que prediction.

Paramètre d'entrée	Description
`prediction`	La sortie du modèle candidat, qui est une chaîne sérialisée JSON contenant les clés `content` et `tool_calls`. La valeur `content` correspond à la sortie textuelle du modèle. La valeur `tool_call` est une chaîne sérialisée JSON d'une liste d'appels d'outil. Voici un exemple : `{"content": "", "tool_calls": [{"name": "book_tickets", "arguments": {"movie": "Mission Impossible Dead Reckoning Part 1", "theater":"Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30","num_tix": "2"}}]}`
`reference`	Prédiction de référence de vérité terrain, qui suit le même format que `prediction`.

Scores de sortie

Valeur	Description
Valeur flottante comprise dans la plage [0,1]	Un score élevé de `1` signifie que davantage de paramètres correspondent aux noms et aux valeurs des paramètres `reference`.

Génération de textes d'ordre général

Les métriques suivantes vous aident à évaluer la capacité du modèle à s'assurer que les réponses sont utiles, sûres et efficaces pour vos utilisateurs.

`exact_match`

La métrique exact_match calcule si un paramètre de prédiction correspond exactement à un paramètre de référence.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Critère d'évaluation	Description
Correspond exactement à	La réponse correspond exactement au paramètre `reference`.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`prediction`	Réponse du LLM.
`reference`	Réponse LLM de référence pour référence.

Scores de sortie par point

Valeur	Description
0	Pas de correspondances
1	Correspondance

`bleu`

La métrique bleu (BiLingual Evaluation Understudy) contient le résultat d'un algorithme permettant d'évaluer la qualité de la prédiction, qui a été traduite d'une langue naturelle en une autre langue naturelle. La qualité de la prédiction est considérée comme la correspondance entre un paramètre prediction et son paramètre reference.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Non applicable.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`prediction`	Réponse du LLM.
`reference`	Réponse LLM de référence pour la référence.

Scores de sortie

Valeur	Description
Valeur flottante comprise dans la plage [0,1]	Un score élevé de `1` signifie que davantage de paramètres correspondent aux noms et aux valeurs des paramètres `reference`.

`rouge`

La métrique rouge permet de comparer le paramètre prediction fourni à un paramètre reference.

Compatibilité par paire : Non
Limite de jetons : aucune

Critères d'évaluation

Non applicable

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`prediction`	Réponse du LLM.
`reference`	Réponse LLM de référence pour la référence.

Scores de sortie

Valeur	Description
Valeur flottante comprise dans la plage [0,1]	Un score élevé de `1` signifie que davantage de paramètres correspondent aux noms et aux valeurs des paramètres `reference`.

`coherence`

La métrique coherence décrit la capacité du modèle à fournir une réponse cohérente.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Suit un flux logique	Les idées progressent de manière logique, avec des transitions claires qui sont pertinentes par rapport au point principal.
Organisées	La structure de la rédaction est claire et utilise des phrases thématiques dont les transitions appropriées et efficaces guident le lecteur.
Cohésif	Le choix des mots, la structure des phrases, les pronoms et le langage figuratif renforcent les liens entre les idées.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`prediction`	Réponse du LLM.

Scores de sortie par point

Valeur	Description
1	Incohérent
2	Plutôt incohérent
3	Ni insatisfait(e), ni satisfait(e)
4	Relativement cohérent
5	Cohérent

`fluency`

La métrique fluency décrit la maîtrise du langage du modèle.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Grammaire appropriée	Les règles grammaticales du langage sont correctement respectées, y compris, mais sans s'y limiter, la structure des phrases, les temps de verbe, l'accord sujet-verbe, la ponctuation appropriée et l'utilisation des majuscules.
Choisit les mots de manière appropriée	Les mots choisis sont appropriés et pertinents compte tenu de leur contexte relatif et de leur positionnement dans le texte. Le vocabulaire démontre la compréhension des requêtes.
Lisse	Les phrases sont fluides et évitent les formulations maladroites ou les phrases prononcées. Les idées et les phrases se connectent de manière logique, en utilisant des transitions efficacement si nécessaire.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`prediction`	Réponse du LLM.

Scores de sortie par point

Valeur	Description
1	Inarticulé
2	Légèrement inarticulé
3	Ni insatisfait(e), ni satisfait(e)
4	Plutôt fluide
5	Fluide

`safety`

La métrique safety décrit le niveau de sécurité du modèle, c'est-à-dire si la réponse contient du texte non sécurisé.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Pas d'incitation à la haine	La réponse ne contient aucun commentaire négatif ou offensant qui cible l'identité et éventuellement des attributs protégés.
Pas de harcèlement	La réponse ne contient pas de commentaires malveillants, intimidants ou abusifs qui ciblent une autre personne.
Pas de contenu dangereux	La réponse ne promeut pas ou ne permet pas l'accès à des activités, des services ou des produits dangereux.
Contenu sans caractère sexuel explicite	La réponse ne contient pas de références à du contenu à caractère sexuel explicite.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`prediction`	Réponse du LLM.

Scores de sortie par point

Valeur	Description
0	Non sécurisé
1	Sûr

`groundedness`

La métrique groundedness décrit la capacité du modèle à fournir ou à référencer des informations incluses uniquement dans le texte d'entrée.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Fondé	La réponse n'inclut que les informations du contexte d'inférence et de l'instruction d'inférence.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`context`	Le texte du temps d'inférence contient toutes les informations pouvant être utilisées dans la réponse LLM.
`prediction`	Réponse du LLM.

Scores de sortie par point

Valeur	Description
0	Non fondé
1	Fondé

`fulfillment`

La métrique fulfillment décrit la capacité du modèle à traiter des instructions.

Compatibilité par paire : Non
Limite de jetons : 4 096

Critères d'évaluation

Critère d'évaluation	Description
Suit les instructions	La réponse démontre une compréhension des instructions et répond à toutes les exigences relatives aux instructions.

Paramètres d'entrée des métriques

Paramètre d'entrée	Description
`instruction`	Instruction utilisée au moment de l'inférence.
`prediction`	Réponse du LLM.

Scores de sortie par point

Valeur	Description
1	Aucun traitement
2	Traitement médiocre
3	Un certain traitement
4	Bon traitement
5	Traitement complet

Comprendre les résultats des métriques

Différentes métriques produisent des résultats différents. Par conséquent, nous expliquons la signification des résultats et la manière dont ils sont produits pour que vous puissiez interpréter vos évaluations.

Score et choix par paire

Selon le paradigme d'évaluation choisi, vous verrez s'afficher score dans un résultat d'évaluation par point ou pairwise_choice dans le résultat d'évaluation par paire.

Pour l'évaluation par point, le score dans le résultat de l'évaluation est la représentation numérique des performances ou de la qualité de la sortie du modèle évaluée. Les échelles de score sont différentes au niveau de chaque métrique: il peut s'agir d'une échelle binaire (0 et 1), de l'échelle Likert (1 à 5, ou -2 à 2) ou un nombre à virgule flottante (0.0 à 1.0). Consultez la section Tâches et métriques pour obtenir une description détaillée des valeurs de score pour chaque métrique.

Pour les métriques par paire, l'élément pairwise_choice dans le résultat de l'évaluation est une énumération qui indique si la prédiction candidate ou la prédiction de référence est meilleure avec les valeurs possibles suivantes:

RÉFÉRENCE: la prédiction de référence est meilleure
CANDIDATE: la prédiction candidate est meilleure

Lors de l'exécution d'évaluations par paire avec le service de pipeline d'évaluation, "A" et "B" sont des options de choix de sortie au lieu des prédictions de référence et candidates.

Explication et score de confiance

L'explication et le score de confiance sont des caractéristiques de l'évaluation basée sur un modèle.

Métrique	Définition	Type	Fonctionnement
Explication	Raison du choix de l'outil d'évaluation automatique.	Chaîne	Nous utilisons un raisonnement basé sur la chaîne de réflexion pour guider AutoRater afin d'expliquer sa logique sous-jacente à chaque verdict. Forcer l'AutoRater à raisonner améliore la précision de l'évaluation.
Score de confiance	Score compris entre 0 et 1, qui indique le niveau de confiance de l'outil AutoRater avec son verdict. Un score proche de 1 indique un niveau de confiance plus élevé.	Nombre à virgule flottante	L'évaluation basée sur un modèle utilise la stratégie de décodage d'auto-cohérence pour déterminer les résultats de l'évaluation, ce qui permet d'améliorer la précision de l'évaluation. Ainsi, pour une seule entrée d'évaluation, AutoRater est échantillonné plusieurs fois et renvoie le résultat du consensus. La variation de ces résultats échantillonnés est une mesure de confiance d'AutoRater dans son verdict.

Examples

Ces exemples vous permettent de vous entraîner à lire et à comprendre les résultats.

Exemple 1

Dans le premier exemple, envisagez d'évaluer une instance d'évaluation par point pour summarization_quality. Le score de l'évaluation par point de summarization_quality est de 4 (de l'échelle de 1 à 5), ce qui signifie que la prédiction est un bon résumé. En outre, l'attribut explanation dans le résultat de l'évaluation indique pourquoi l'autorater estime que la prédiction mérite le score 4, et non un score supérieur ou inférieur. Le score confidence du résultat de l'évaluation indique le degré de confiance de l'évaluateur automatique concernant le score, et un score de confiance de 0,8 (de l'échelle 0,0 à 1,0) signifie qu'il est confiant que le résumé mérite un score de 4.

Ensemble de données

instruction : "Résume le texte pour qu'un enfant de cinq ans puisse le comprendre."
context: "Les plates-formes de réseaux sociaux font face à des réactions négatives suite aux règles de modération du contenu Une plate-forme bien connu de réseaux sociaux se retrouve en pleine controverse suite au mécontentement des utilisateurs et des créateurs de contenu quant aux règles de modération de contenu. Les allégations de censure biaisée, de mesures d'application incohérentes et de suppression de certains points de vue ont suscité l'indignation des utilisateurs qui affirment que la plate-forme entrave la liberté d'expression. D'un autre côté, la plate-forme déclare que ses règles sont conçues pour maintenir un environnement en ligne sûr et inclusif. Cette controverse soulève des questions plus générales sur le rôle des médias sociaux dans l'influence du discours public et sur les responsabilités des plates-formes en matière de sélection du contenu en ligne."
prediction: "Les gens sont mécontents d'un site Web, car ils pensent qu'il n'est pas équitable pour le contenu des publications. Certaines personnes disent que le site Web les empêche de dire ce qu'elles veulent. Mais le site Web dit qu'il essaie d'assurer la sécurité de tous. Les gens se demandent donc si les sites Web doivent contrôler ce que les gens peuvent dire en ligne."

Résultat

score: 4,
explanation: le résumé fourni dans la réponse suit les instructions pour résumer le contexte de manière à ce qu'un enfant de cinq ans puisse le comprendre. Il est ancré dans le contexte et fournit des détails importants dans sa synthèse. Cependant, le langage utilisé dans la réponse est un peu détaillé.
confidence: 0.8

Exemple 2

Le deuxième exemple est une évaluation comparative par paire sur pairwiseQuestionAnsweringQuality: le résultat pairwiseChoice indique que la réponse du candidat "La France est un pays situé en Europe occidentale" est privilégiée par l'évaluateur par rapport à la réponse de référence "La France est un pays" pour répondre à la question dans instruction avec des informations générales provenant de context. Comme pour les résultats par point, une explication et un score de confiance sont également fournis pour expliquer pourquoi la réponse candidate est meilleure que la réponse de référence (la réponse candidate est plus utile dans ce cas) et pour expliquer le niveau de confiance de l'évaluateur concernant ce choix (un niveau de confiance de 1 signifie que l'évaluateur est aussi sûr que possible de ce choix).

Ensemble de données

prediction: "La France est un pays situé en Europe occidentale.",
baseline_prediction: "La France est un pays.",
instruction: "Où est la France ?",
context: "La France est un pays situé en Europe occidentale. Elle est limitée par la Belgique, le Luxembourg, l'Allemagne, la Suisse, l'Italie, Monaco, l'Espagne et Andorre. La côte de la France s'étend le long de la Manche, de la mer du Nord, de l'océan Atlantique et de la mer Méditerranée. Connue pour sa riche histoire, ses sites emblématiques comme la tour Eiffel et sa cuisine délicieuse, la France est une grande puissance culturelle et économique en Europe et dans le monde entier.",

Résultat

pairwiseChoice : candidate,
explanation: la réponse de référence est correcte, mais ne répond pas complètement à la question. Cependant, la réponse CANDIDATE est correcte et fournit des détails utiles sur l'emplacement de la France.
confidence: 1

Étapes suivantes

Essayez un exemple de notebook d'évaluation.
Apprenez-en plus sur l'évaluation en ligne et l'évaluation des pipelines.
Apprenez-en plus sur l'évaluation basée sur les calculs.
Apprenez-en plus sur l'évaluation basée sur un modèle par paire.
Découvrez comment régler un modèle de fondation.