Ressource REST : projects.locations.models.modelEvaluations

Ressource : ModelEvaluation

Résultats d'évaluation d'un modèle.

Représentation JSON 

{
  "name": string,
  "annotationSpecId": string,
  "displayName": string,
  "createTime": string,
  "evaluatedExampleCount": number,

  // Union field metrics can be only one of the following:
  "classificationEvaluationMetrics": {
    object(ClassificationEvaluationMetrics)
  },
  "translationEvaluationMetrics": {
    object(TranslationEvaluationMetrics)
  }
  // End of list of possible types for union field metrics.
}
Champs
name

string

Uniquement dans les résultats. Nom de la ressource de l'évaluation du modèle. Format :

projects/{project_id}/locations/{locationId}/models/{modelId}/modelEvaluations/{model_evaluation_id}
annotationSpecId

string

Uniquement dans les résultats. ID de la spécification d'annotation à laquelle l'évaluation du modèle s'applique. L'ID est vide pour l'évaluation globale du modèle. REMARQUE : Il n'existe actuellement aucun moyen d'obtenir le nom à afficher (displayName) de la spécification d'annotation à partir de son ID. Pour voir les noms à afficher, consultez les évaluations du modèle dans l'interface utilisateur.

displayName

string

Uniquement dans les résultats. La valeur de AnnotationSpec.display_name lors de l'entraînement du modèle. Étant donné que ce champ renvoie une valeur définie lors de l'entraînement du modèle, la valeur renvoyée peut être différente pour différents modèles entraînés à l'aide du même ensemble de données, car le propriétaire du modèle peut mettre à jour le nom à afficher entre les entraînements de deux modèles. Le nom à afficher est vide pour l'évaluation globale du modèle.

createTime

string (Timestamp format)

Uniquement dans les résultats. Horodatage lors de la création de l'évaluation de ce modèle.

Un horodatage au format RFC3339 UTC "Zulu", précis à la nanoseconde près. Exemple : "2014-10-02T15:01:23.045123456Z"
evaluatedExampleCount

number

Uniquement dans les résultats. Le nombre d'exemples utilisés pour l'évaluation du modèle.

Champ d'union metrics. Uniquement dans les résultats. Métriques d'évaluation spécifiques au type de problème. metrics ne peut avoir que l'une des valeurs suivantes :
classificationEvaluationMetrics

objet ( ClassificationEvaluationMetrics )

Métriques d'évaluation du modèle pour la classification des images, du texte et des vidéos.

translationEvaluationMetrics

objet ( TranslationEvaluationMetrics )

Métriques d'évaluation du modèle pour la traduction.

ClassificationEvaluationMetrics

Métriques d'évaluation du modèle pour les problèmes de classification. Remarque : Pour la classification des vidéos, ces métriques décrivent uniquement la qualité des prédictions de type "segment_classification".

Représentation JSON 

{
  "auPrc": number,
  "baseAuPrc": number,
  "confidenceMetricsEntry": [
    {
      object(ConfidenceMetricsEntry)
    }
  ],
  "confusionMatrix": {
    object(ConfusionMatrix)
  },
  "annotationSpecId": [
    string
  ]
}
Champs
auPrc

number

Uniquement dans les résultats. Métrique "Area under Precision/Recall Curve" (Aire sous la courbe de précision/rappel).

baseAuPrc

number

Uniquement dans les résultats. Métrique "Area under Precision/Recall Curve" (Aire sous la courbe de précision/rappel) basée sur les antécédents.

confidenceMetricsEntry[]

objet ( ConfidenceMetricsEntry )

Uniquement dans les résultats. Métriques pour chaque seuil de confiance de 0,05, 0,10, …, 0,95, 0,96, 0,97, 0,98, 0,99. La courbe de précision/rappel en est dérivée.

confusionMatrix

objet ( ConfusionMatrix )

Uniquement dans les résultats. Matrice de confusion de l'évaluation. Défini uniquement pour les problèmes de classification MULTICLASS où le nombre de libellés n'est pas supérieur à 10. Défini uniquement pour l'évaluation au niveau du modèle, et non pour l'évaluation par libellé.

annotationSpecId[]

string

Uniquement dans les résultats. Les identifiants de spécifications d'annotation utilisés pour cette évaluation.

ConfidenceMetricsEntry

Métriques pour un seul seuil de confiance.

Représentation JSON 

{
  "confidenceThreshold": number,
  "recall": number,
  "precision": number,
  "f1Score": number,
  "recallAt1": number,
  "precisionAt1": number,
  "f1ScoreAt1": number
}
Champs
confidenceThreshold

number

Uniquement dans les résultats. Valeur du seuil de confiance utilisé pour calculer les métriques.

recall

number

Uniquement dans les résultats. Rappel sous le seuil de confiance fixé.

precision

number

Uniquement dans les résultats. Précision sous le seuil de confiance fixé.

f1Score

number

Uniquement dans les résultats. La moyenne harmonique du rappel et de la précision.

recallAt1

number

Uniquement dans les résultats. Le rappel lorsque vous ne tenez compte que du libellé dont le score de prédiction est le plus élevé et n'est pas inférieur au seuil de confiance de chaque exemple.

precisionAt1

number

Uniquement dans les résultats. La précision lorsque vous ne tenez compte que de du libellé dont le score de prédiction est le plus élevé et n'est pas inférieur au seuil de confiance de chaque exemple.

f1ScoreAt1

number

Uniquement dans les résultats. La moyenne harmonique de recallAt1 et precisionAt1.

ConfusionMatrix

Matrice de confusion du modèle exécutant la classification.

Représentation JSON 

{
  "annotationSpecId": [
    string
  ],
  "row": [
    {
      object(Row)
    }
  ]
}
Champs
annotationSpecId[]

string

Uniquement dans les résultats. Les ID des spécifications d'annotation utilisées dans la matrice de confusion.

row[]

objet ( Row )

Uniquement dans les résultats. Lignes dans la matrice de confusion. Le nombre de lignes est égal à la taille de annotationSpecId. La valeur row[i].value[j] indique le nombre d'exemples qui présentent la "vérité fondamentale" de annotationSpecId[i] et sont prédits comme annotationSpecId[j] par le modèle en cours d'évaluation.

Ligne

Uniquement dans les résultats. Une ligne dans la matrice de confusion.

Représentation JSON 

{
  "exampleCount": [
    number
  ]
}
Champs
exampleCount[]

number

Uniquement dans les résultats. Valeur de la cellule spécifiée dans la matrice de confusion. Le nombre de valeurs sur chaque ligne est égal à la taille de "annotation_spec_id".

TranslationEvaluationMetrics

Métriques d'évaluation pour l'ensemble de données.

Représentation JSON 

{
  "bleuScore": number,
  "baseBleuScore": number
}
Champs
bleuScore

number

Uniquement dans les résultats. Score BLEU.

baseBleuScore

number

Uniquement dans les résultats. Score BLEU pour le modèle de base.

Méthodes

get

 Permet d'obtenir une évaluation du modèle.

list

 Répertorie les évaluations de modèles.