Como avaliar repositórios de anotações

Nesta página, você aprenderá a usar o método projects.locations.datasets.annotationStores.evaluate para avaliar a qualidade dos registros de anotação gerados por um algoritmo de machine learning.

Visão geral

O método evaluate compara registros de anotação em um armazenamento de anotações (eval_store) com um armazenamento de anotações empíricas feitas manualmente (golden_store) que descreve o mesmo recurso. O recurso de anotação é definido no AnnotationSource de cada armazenamento.

Os registros de anotação em eval_store ou golden_store podem ser gerados individualmente por projects.locations.datasets.annotationStores.annotations.create ou:

Requisitos de avaliação

Para realizar a avaliação, as seguintes condições precisam ser atendidas:

Resultado da avaliação

O método evaluate informa as métricas de avaliação ao BigQuery. O método gera uma linha em uma tabela especificada do BigQuery com o seguinte esquema:

Nome do campo Tipo Modo Descrição
opTimestamp TIMESTAMP NULLABLE Carimbo de data/hora de quando o método foi chamado
opName STRING NULLABLE Nome da avaliação de operação de longa duração (LRO, na sigla em inglês)
evalStore STRING NULLABLE Nome de eval_store
goldenStore STRING NULLABLE Nome de golden_store
goldenCount INTEGER NULLABLE Número de registros de anotação no golden_store
matchedCount INTEGER NULLABLE Número de registros de anotação no eval_store correspondentes aos registros de anotação no golden_store
averageResults RECORD NULLABLE Média de resultados em todos os InfoTypes
averageResults.
sensitiveTextMetrics		 RECORD NULLABLE Resultados médios para SensitiveTextAnnotation
averageResults.
sensitiveTextMetrics.
truePositives		 INTEGER NULLABLE Número de previsões corretas
averageResults.
sensitiveTextMetrics.
falsePositives		 INTEGER NULLABLE Número de previsões incorretas
averageResults.
sensitiveTextMetrics.
falseNegatives		 INTEGER NULLABLE Número de previsões perdidas
averageResults.
sensitiveTextMetrics.
precision		 FLOAT NULLABLE truePositives / (truePositives + falsePositives),
varia de [0..1], em que 1.0 indica todas as previsões corretas
averageResults.
sensitiveTextMetrics.
recall		 FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
varia de [0..1] em que 1.0 indica nenhuma previsão ausente
averageResults.
sensitiveTextMetrics.
fScore		 FLOAT NULLABLE 2 * precision * recall / (precision + recall),
na média harmônica da precisão e do recall, varia de [0..1] em que 1.0 indica previsões perfeitas
infoResults RECORD REPEATED semelhante a averageResults, mas dividido por InfoType
infoResults.
sensitiveTextMetrics		 RECORD NULLABLE Resultados de InfoType para SensitiveTextAnnotation
infoResults.
sensitiveTextMetrics.
infoType		 STRING NULLABLE Categoria do InfoType
infoResults.
sensitiveTextMetrics.
truePositives		 INTEGER NULLABLE Número de previsões corretas
infoResults.
sensitiveTextMetrics.
falsePositives		 INTEGER NULLABLE Número de previsões incorretas
infoResults.
sensitiveTextMetrics.
falseNegatives		 INTEGER NULLABLE Número de previsões perdidas
infoResults.
sensitiveTextMetrics.
precision		 FLOAT NULLABLE truePositives / (truePositives + falsePositives),
varia de [0..1], em que 1.0 indica todas as previsões corretas
infoResults.
sensitiveTextMetrics.
recall		 FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
varia de [0..1] em que 1.0 indica nenhuma previsão ausente
infoResults.
sensitiveTextMetrics.
fScore		 FLOAT NULLABLE 2 * precision * recall / (precision + recall),
na média harmônica da precisão e do recall, varia de [0..1] em que 1.0 indica previsões perfeitas

Consulte EvaluateAnnotationStore para uma definição detalhada do método.

Consulte também