Evaluar los almacenes de anotaciones

En esta página, se describe cómo usar el método projects.locations.datasets.annotationStores.evaluate para evaluar la calidad de los registros de anotaciones generados por un algoritmo de aprendizaje automático.

Resumen

El método evaluate compara los registros de anotaciones en un almacén de anotaciones (eval_store) con un almacén de anotaciones de verdad fundamental (golden_store) anotado manualmente que describe el mismo recurso. El recurso de anotación se define en el AnnotationSource de cada almacén.

Los registros de anotación en eval_store o golden_store se pueden generar de forma individual por projects.locations.datasets.annotationStores.annotations.create o por:

Requisitos de evaluación

Para realizar la evaluación, se deben cumplir las siguientes condiciones:

Resultado de la evaluación

El método evaluate informa las métricas de evaluación a BigQuery. El método genera una fila en una tabla de BigQuery especificada con el siguiente esquema:

Nombre del campo Tipo Modo Descripción
opTimestamp TIMESTAMP NULLABLE Marca de tiempo del momento en que se llamó al método
opName STRING NULLABLE Nombre de la operación de larga duración de evaluación (LRO)
evalStore STRING NULLABLE Nombre de eval_store
goldenStore STRING NULLABLE Nombre de golden_store
goldenCount INTEGER NULLABLE Cantidad de registros de anotaciones en golden_store
matchedCount INTEGER NULLABLE Cantidad de registros de anotación en el eval_store que coinciden con los registros de anotación en el golden_store
averageResults RECORD NULLABLE Resultados promedio en todos los infotipos
averageResults.
sensitiveTextMetrics
RECORD NULLABLE Resultados promedio de SensitiveTextAnnotation
averageResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Cantidad de predicciones correctas
averageResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Cantidad de predicciones incorrectas
averageResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Cantidad de predicciones que faltaron
averageResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
varía de [0..1], donde 1.0 indica todas las predicciones correctas
averageResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
varía de [0..1], en el que 1.0 indica que no falta ninguna predicción.
averageResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
promedio armónico de la precisión y recuperación, varía de [0..1], en el que 1.0 indica las predicciones perfectas
infoResults RECORD REPEATED similar a averageResults, pero desglosado por Infotipo
infoResults.
sensitiveTextMetrics
RECORD NULLABLE Resultados de Infotipo para SensitiveTextAnnotation
infoResults.
sensitiveTextMetrics.
infoType
STRING NULLABLE Categoría de Infotipo
infoResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Cantidad de predicciones correctas
infoResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Cantidad de predicciones incorrectas
infoResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Cantidad de predicciones que faltaron
infoResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
varía de [0..1], donde 1.0 indica todas las predicciones correctas
infoResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
varía de [0..1], en el que 1.0 indica que no falta ninguna predicción.
infoResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
promedio armónico de la precisión y recuperación, varía de [0..1], en el que 1.0 indica las predicciones perfectas

Puedes consultar EvaluateAnnotationStore para obtener una definición detallada del método.

También consulta lo siguiente: