Annotationsspeicher auswerten

Auf dieser Seite wird beschrieben, wie Sie mit der Methode projects.locations.datasets.annotationStores.evaluate die Qualität von Anmerkungsdatensätzen bewerten, die von einem Algorithmus für maschinelles Lernen generiert wurden.

Überblick

Die Methode evaluate vergleicht Annotationseinträge in einem Annotationsspeicher (eval_store) mit einem manuell annotierten Ground-Truth-Annotationsspeicher (golden_store), der dieselbe Ressource beschreibt. Die Annotationsressource ist in der AnnotationSource jedes Speichers definiert.

Die Annotationseinträge in eval_store oder golden_store können einzeln von projects.locations.datasets.annotationStores.annotations.create oder so generiert werden:

datasets.deidentify mit einem AnnotationConfig-Objekt aufrufen
projects.locations.datasets.annotationStores.import aufrufen

Bewertungsanforderungen

Für die Bewertung müssen die folgenden Bedingungen erfüllt sein:

In eval_store kann für jede in AnnotationSource definierte Annotationsressource nur ein Annotationseintrag für jeden Annotationstyp vorhanden sein:
SensitiveTextAnnotation muss die quote speichern, die von der annotierten Ressource abgerufen wurden. Wenn Sie Annotationseinträge mit datasets.deidentify generiert haben, setzen Sie store_quote in AnnotationConfig auf true.

Bewertungsausgabe

Die evaluate-Methode meldet die Bewertungsmesswerte an BigQuery. Die Methode gibt eine Zeile in einer angegebenen BigQuery-Tabelle mit dem folgenden Schema aus:

Feldname	Typ	Mode	Beschreibung
`opTimestamp`	`TIMESTAMP`	`NULLABLE`	Zeitstempel für den Aufruf der Methode
`opName`	`STRING`	`NULLABLE`	Name des Vorgangs mit langer Ausführungszeit
`evalStore`	`STRING`	`NULLABLE`	Name des `eval_store`
`goldenStore`	`STRING`	`NULLABLE`	Name des `golden_store`
`goldenCount`	`INTEGER`	`NULLABLE`	Anzahl der Annotationseinträge in `golden_store`
`matchedCount`	`INTEGER`	`NULLABLE`	Anzahl der Annotationseinträge im `eval_store`, die mit den Annotationseinträgen im `golden_store` übereinstimmen
`averageResults`	`RECORD`	`NULLABLE`	Durchschnittliche Ergebnisse für alle infoTypes
`averageResults.` `sensitiveTextMetrics`	`RECORD`	`NULLABLE`	Durchschnittliche Ergebnisse für `SensitiveTextAnnotation`
`averageResults.` `sensitiveTextMetrics.` `truePositives`	`INTEGER`	`NULLABLE`	Anzahl richtiger Vorhersagen
`averageResults.` `sensitiveTextMetrics.` `falsePositives`	`INTEGER`	`NULLABLE`	Anzahl der falschen Vorhersagen
`averageResults.` `sensitiveTextMetrics.` `falseNegatives`	`INTEGER`	`NULLABLE`	Anzahl der verfehlten Vorhersagen
`averageResults.` `sensitiveTextMetrics.` `precision`	`FLOAT`	`NULLABLE`	`truePositives / (truePositives + falsePositives)`, reicht von `[0..1]`, wobei `1.0` alle richtigen Vorhersagen angibt
`averageResults.` `sensitiveTextMetrics.` `recall`	`FLOAT`	`NULLABLE`	`truePositives / (truePositives + falseNegatives)`, reicht von `[0..1]`, wobei `1.0` keine nicht erreichten Vorhersagen angibt
`averageResults.` `sensitiveTextMetrics.` `fScore`	`FLOAT`	`NULLABLE`	`2 * precision * recall / (precision + recall)`, harmonischer Durchschnitt der Genauigkeit und Trefferquote, reicht von `[0..1]`, wobei `1.0` perfekte Vorhersagen angibt
`infoResults`	`RECORD`	`REPEATED`	Ähnlich wie `averageResults`, aber pro infoType aufgeschlüsselt
`infoResults.` `sensitiveTextMetrics`	`RECORD`	`NULLABLE`	infoType-Ergebnisse für `SensitiveTextAnnotation`
`infoResults.` `sensitiveTextMetrics.` `infoType`	`STRING`	`NULLABLE`	infoType-Kategorie
`infoResults.` `sensitiveTextMetrics.` `truePositives`	`INTEGER`	`NULLABLE`	Anzahl richtiger Vorhersagen
`infoResults.` `sensitiveTextMetrics.` `falsePositives`	`INTEGER`	`NULLABLE`	Anzahl der falschen Vorhersagen
`infoResults.` `sensitiveTextMetrics.` `falseNegatives`	`INTEGER`	`NULLABLE`	Anzahl der verfehlten Vorhersagen
`infoResults.` `sensitiveTextMetrics.` `precision`	`FLOAT`	`NULLABLE`	`truePositives / (truePositives + falsePositives)`, reicht von `[0..1]`, wobei `1.0` alle richtigen Vorhersagen angibt
`infoResults.` `sensitiveTextMetrics.` `recall`	`FLOAT`	`NULLABLE`	`truePositives / (truePositives + falseNegatives)`, reicht von `[0..1]`, wobei `1.0` keine nicht erreichten Vorhersagen angibt
`infoResults.` `sensitiveTextMetrics.` `fScore`	`FLOAT`	`NULLABLE`	`2 * precision * recall / (precision + recall)`, harmonischer Durchschnitt der Genauigkeit und Trefferquote, reicht von `[0..1]`, wobei `1.0` perfekte Vorhersagen angibt

Eine ausführliche Definition der Methode finden Sie unter EvaluateAnnotationStore.