Como avaliar repositórios de anotações

Nesta página, você aprenderá a usar o método projects.locations.datasets.annotationStores.evaluate para avaliar a qualidade dos registros de anotação gerados por um algoritmo de machine learning.

Visão geral

O método evaluate compara registros de anotação em um armazenamento de anotações (eval_store) com um armazenamento de anotações empíricas feitas manualmente (golden_store) que descreve o mesmo recurso. O recurso de anotação é definido no AnnotationSource de cada armazenamento.

Os registros de anotação em eval_store ou golden_store podem ser gerados individualmente por projects.locations.datasets.annotationStores.annotations.create ou:

Requisitos de avaliação

Para realizar a avaliação, as seguintes condições precisam ser atendidas:

Resultado da avaliação

O método evaluate informa as métricas de avaliação ao BigQuery. O método gera uma linha em uma tabela especificada do BigQuery com o seguinte esquema:

Nome do campo Tipo Modo Descrição
opTimestamp TIMESTAMP NULLABLE Carimbo de data/hora de quando o método foi chamado
opName STRING NULLABLE Nome da avaliação de operação de longa duração (LRO, na sigla em inglês)
evalStore STRING NULLABLE Nome de eval_store
goldenStore STRING NULLABLE Nome de golden_store
goldenCount INTEGER NULLABLE Número de registros de anotação no golden_store
matchedCount INTEGER NULLABLE Número de registros de anotação no eval_store correspondentes aos registros de anotação no golden_store
averageResults RECORD NULLABLE Média de resultados em todos os InfoTypes
averageResults.
sensitiveTextMetrics
RECORD NULLABLE Resultados médios para SensitiveTextAnnotation
averageResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Número de previsões corretas
averageResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Número de previsões incorretas
averageResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Número de previsões perdidas
averageResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
varia de [0..1], em que 1.0 indica todas as previsões corretas
averageResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
varia de [0..1] em que 1.0 indica nenhuma previsão ausente
averageResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
na média harmônica da precisão e do recall, varia de [0..1] em que 1.0 indica previsões perfeitas
infoResults RECORD REPEATED semelhante a averageResults, mas dividido por InfoType
infoResults.
sensitiveTextMetrics
RECORD NULLABLE Resultados de InfoType para SensitiveTextAnnotation
infoResults.
sensitiveTextMetrics.
infoType
STRING NULLABLE Categoria do InfoType
infoResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Número de previsões corretas
infoResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Número de previsões incorretas
infoResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Número de previsões perdidas
infoResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
varia de [0..1], em que 1.0 indica todas as previsões corretas
infoResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
varia de [0..1] em que 1.0 indica nenhuma previsão ausente
infoResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
na média harmônica da precisão e do recall, varia de [0..1] em que 1.0 indica previsões perfeitas

Consulte EvaluateAnnotationStore para uma definição detalhada do método.

Veja também