Annotationsspeicher auswerten

Auf dieser Seite wird beschrieben, wie Sie mit der Methode projects.locations.datasets.annotationStores.evaluate die Qualität der Annotationseinträge bewerten können, die von einem maschinellen Lernalgorithmus generiert wurden.

Überblick

Die Methode evaluate vergleicht Annotationseinträge in einem Annotationsspeicher (eval_store) mit einem manuell annotierten Ground-Truth-Annotationsspeicher (golden_store), der dieselbe Ressource beschreibt. Die Annotationsressource ist in der AnnotationSource jedes Speichers definiert.

Die Annotationseinträge in eval_store oder golden_store können einzeln von projects.locations.datasets.annotationStores.annotations.create oder so generiert werden:

Bewertungsanforderungen

Für die Bewertung müssen die folgenden Bedingungen erfüllt sein:

Bewertungsausgabe

Die Methode evaluate meldet die Bewertungsmesswerte an BigQuery. Die Methode gibt eine Zeile in einer angegebenen BigQuery-Tabelle mit folgendem Schema aus:

Feldname Typ Mode Beschreibung
opTimestamp TIMESTAMP NULLABLE Zeitstempel beim Aufrufen der Methode
opName STRING NULLABLE Name des Vorgangs mit langer Ausführungszeit
evalStore STRING NULLABLE Name des eval_store
goldenStore STRING NULLABLE Name des golden_store
goldenCount INTEGER NULLABLE Anzahl der Annotationseinträge im golden_store
matchedCount INTEGER NULLABLE Anzahl der Annotationseinträge im eval_store, die mit den Annotationseinträgen im golden_store übereinstimmen
averageResults RECORD NULLABLE Durchschnittliche Ergebnisse für alle infoTypes
averageResults.
sensitiveTextMetrics
RECORD NULLABLE Durchschnittliche Ergebnisse für SensitiveTextAnnotation
averageResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Anzahl der richtigen Vorhersagen
averageResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Anzahl der falschen Vorhersagen
averageResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Anzahl der nicht erreichten Vorhersagen
averageResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
reicht von [0..1], wobei 1.0 alle richtigen Vorhersagen angibt
averageResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
reicht von [0..1], wobei 1.0 keine nicht erreichten Vorhersagen angibt
averageResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
harmonischer Durchschnitt der Genauigkeit und Trefferquote, reicht von [0..1], wobei 1.0 perfekte Vorhersagen angibt
infoResults RECORD REPEATED Ähnlich wie averageResults, aber nach infoType aufgeschlüsselt
infoResults.
sensitiveTextMetrics
RECORD NULLABLE infoType-Ergebnisse für SensitiveTextAnnotation
infoResults.
sensitiveTextMetrics.
infoType
STRING NULLABLE infoType-Kategorie
infoResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Anzahl der richtigen Vorhersagen
infoResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Anzahl der falschen Vorhersagen
infoResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Anzahl der nicht erreichten Vorhersagen
infoResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
reicht von [0..1], wobei 1.0 alle richtigen Vorhersagen angibt
infoResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
reicht von [0..1], wobei 1.0 keine nicht erreichten Vorhersagen angibt
infoResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
harmonischer Durchschnitt der Genauigkeit und Trefferquote, reicht von [0..1], wobei 1.0 perfekte Vorhersagen angibt

Eine ausführliche Definition der Methode finden Sie unter EvaluateAnnotationStore.

Weitere Informationen