REST-Ressource: projects.locations.models.modelEvaluations

Ressource: ModelEvaluation

Bewertungsergebnisse eines Modells.

JSON-Darstellung 

{
  "name": string,
  "annotationSpecId": string,
  "displayName": string,
  "createTime": string,
  "evaluatedExampleCount": number,

  // Union field metrics can be only one of the following:
  "classificationEvaluationMetrics": {
    object(ClassificationEvaluationMetrics)
  },
  "translationEvaluationMetrics": {
    object(TranslationEvaluationMetrics)
  }
  // End of list of possible types for union field metrics.
}
Felder
name

string

Nur Ausgabe. Ressourcenname der Modellbewertung. Format:

projects/{project_id}/locations/{locationId}/models/{modelId}/modelEvaluations/{model_evaluation_id}
annotationSpecId

string

Nur Ausgabe. Die ID der Annotationsspezifikation, auf die die Modellbewertung angewendet wird. Die ID ist für die gesamte Modellbewertung leer. HINWEIS: Derzeit ist es nicht möglich, den displayName der Annotationsspezifikation aus der ID abzurufen. Überprüfen Sie die Modellbewertungen auf der Benutzeroberfläche, um display_names anzeigen zu lassen.

displayName

string

Nur Ausgabe. Der Wert für AnnotationSpec.display_name, wenn das Modell trainiert wurde. Da dieses Feld beim Modelltraining einen Wert zurückgibt, kann der zurückgegebene Wert für verschiedene Modelle, die mit demselben Dataset trainiert werden, unterschiedlich sein. Das liegt daran, dass der Modellinhaber den displayName zwischen zwei beliebigen Modelltrainings aktualisieren kann. Der Anzeigename ist für die gesamte Modellbewertung leer.

createTime

string (Timestamp format)

Nur Ausgabe. Der Zeitstempel für den Zeitpunkt, zu dem diese Modellbewertung erstellt wurde.

Ein Zeitstempel im Format "RFC3339 UTC 'Zulu'" in Nanosekunden. Beispiel: "2014-10-02T15:01:23.045123456Z".
evaluatedExampleCount

number

Nur Ausgabe. Die Anzahl der für die Modellbewertung verwendeten Beispiele.

Union-Feld metrics. Nur Ausgabe. Bewertungsmesswerte, die für den Problemtyp spezifisch sind. Für metrics kommt nur eine der folgenden Möglichkeiten infrage:
classificationEvaluationMetrics

object(ClassificationEvaluationMetrics)

Modellbewertungsmesswerte für die Klassifizierung von Bildern, Texten und Videos.

translationEvaluationMetrics

object(TranslationEvaluationMetrics)

Modellbewertungsmesswerte für die Übersetzung.

ClassificationEvaluationMetrics

Modellbewertungsmesswerte für Klassifizierungsprobleme. Hinweis: Bei der Videoklassifizierung beschreiben diese Messwerte nur die Qualität der Vorhersagen für die Videoklassifikation vom Typ "segment_classification".

JSON-Darstellung 

{
  "auPrc": number,
  "baseAuPrc": number,
  "confidenceMetricsEntry": [
    {
      object(ConfidenceMetricsEntry)
    }
  ],
  "confusionMatrix": {
    object(ConfusionMatrix)
  },
  "annotationSpecId": [
    string
  ]
}
Felder
auPrc

number

Nur Ausgabe. Die Fläche unter dem Messwert der Genauigkeits-/Trefferquotenkurve.

baseAuPrc

number

Nur Ausgabe. Die Fläche unter dem Messwert der Genauigkeits-/Trefferquotenkurve basierend auf vorherigen Messwerten.

confidenceMetricsEntry[]

object(ConfidenceMetricsEntry)

Nur Ausgabe. Messwerte für jeden Konfidenzschwellenwert ab 0,05 ; 0,10 ; ..., 0,95 ; 0,96 ; 0,97 ; 0,98 ; 0,99 . Genauigkeits-/Trefferquotenkurven werden daraus abgeleitet.

confusionMatrix

object(ConfusionMatrix)

Nur Ausgabe. Wahrheitsmatrix (auch Konfusionsmatrix genannt) der Bewertung. Nur für MULTICLASS-Klassifizierungsprobleme, bei denen die Anzahl der Labels nicht mehr als 10 beträgt. Nur für die Bewertung auf Modellebene, nicht für die Bewertung pro Label.

annotationSpecId[]

string

Nur Ausgabe. Die Annotationsspezifikations-IDs, die für diese Auswertung verwendet werden.

ConfidenceMetricsEntry

Messwerte für einen einzelnen Konfidenzschwellenwert.

JSON-Darstellung 

{
  "confidenceThreshold": number,
  "recall": number,
  "precision": number,
  "f1Score": number,
  "recallAt1": number,
  "precisionAt1": number,
  "f1ScoreAt1": number
}
Felder
confidenceThreshold

number

Nur Ausgabe. Der Konfidenzschwellenwert, der zur Berechnung der Messwerte verwendet wird.

recall

number

Nur Ausgabe. Trefferquote unter dem angegebenen Konfidenzschwellenwert.

precision

number

Nur Ausgabe. Genauigkeit unter dem angegebenen Konfidenzschwellenwert.

f1Score

number

Nur Ausgabe. Der harmonische Mittelwert von Trefferquote und Genauigkeit.

recallAt1

number

Nur Ausgabe. Die Trefferquote unter alleiniger Berücksichtigung des Labels, das für jedes Beispiel den höchsten Vorhersagewert hat, der nicht unter dem Konfidenzschwellenwert liegt.

precisionAt1

number

Nur Ausgabe. Die Genauigkeit unter alleiniger Berücksichtigung des Labels, das für jedes Beispiel den höchsten Vorhersagewert hat, der nicht unter dem Konfidenzschwellenwert liegt.

f1ScoreAt1

number

Nur Ausgabe. Der harmonische Mittelwert von recallAt1 und precisionAt1.

ConfusionMatrix

Konfusionsmatrix des Modells, das die Klassifizierung ausführt.

JSON-Darstellung 

{
  "annotationSpecId": [
    string
  ],
  "row": [
    {
      object(Row)
    }
  ]
}
Felder
annotationSpecId[]

string

Nur Ausgabe. Die Annotationsspezifikations-IDs, die in der Konfusionsmatrix verwendet werden.

row[]

object(Row)

Nur Ausgabe. Zeilen in der Wahrheitsmatrix. Die Anzahl der Zeilen entspricht der Größe von annotationSpecId. row[i].value[j] ist die Anzahl der Beispiele, die Ground Truth von annotationSpecId[i] haben und von dem zu bewertenden Modell als annotationSpecId[j] vorhergesagt werden.

Row

Nur Ausgabe. Eine Zeile in der Wahrheitsmatrix.

JSON-Darstellung 

{
  "exampleCount": [
    number
  ]
}
Felder
exampleCount[]

number

Nur Ausgabe. Wert einer bestimmten Zelle in der Wahrheitsmatrix. Die Anzahl der Werte in jeder Zeile entspricht der Größe von annotation_spec_id.

TranslationEvaluationMetrics

Bewertungsmesswerte für das Dataset.

JSON-Darstellung 

{
  "bleuScore": number,
  "baseBleuScore": number
}
Felder
bleuScore

number

Nur Ausgabe. BLEU-Wertung.

baseBleuScore

number

Nur Ausgabe. BLEU-Wertung für das Basismodell.

Methoden

get

 Ruft eine Modellbewertung ab.

list

 Listet Modellbewertungen auf.