Valutazione degli archivi di annotazioni

Beta

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Questa pagina descrive come utilizzare il metodo projects.locations.datasets.annotationStores.evaluate per valutare la qualità dei record di annotazione generati da un algoritmo di machine learning.

Panoramica

Il metodo evaluate confronta i record di annotazione in un archivio di annotazioni (eval_store) con un archivio di annotazioni basato su dati empirici reali annotato manualmente (golden_store) che descrive la stessa risorsa. La risorsa di annotazione è definita nel file AnnotationSource di ogni negozio.

I record di annotazione in eval_store o golden_store possono essere generati singolarmente da projects.locations.datasets.annotationStores.annotations.create o da:

• Chiamata di datasets.deidentify con un oggetto AnnotationConfig
• Chiamata a projects.locations.datasets.annotationStores.import

Requisiti di valutazione

Per eseguire la valutazione, devono essere soddisfatte le seguenti condizioni:

• In eval_store, ogni risorsa annotata definita in AnnotationSource può avere un solo record di annotazione per ogni tipo di annotazione:

  • ResourceAnnotation
  • ImageAnnotation
  • SensitiveTextAnnotation

• SensitiveTextAnnotation deve memorizzare i quote ottenuti dalla risorsa annotata. Se hai generato record di annotazioni utilizzando datasets.deidentify, imposta store_quote in AnnotationConfig su true.

Output della valutazione

Il metodo evaluate registra le metriche di valutazione in BigQuery. Il metodo genera una riga in una tabella BigQuery specificata con lo schema seguente:

Nome campo	Tipo	Modalità	Descrizione
opTimestamp	TIMESTAMP	NULLABLE	Timestamp della chiamata del metodo
opName	STRING	NULLABLE	Nome dell'operazione a lunga esecuzione (LRO) di valutazione
evalStore	STRING	NULLABLE	Nome di eval_store
goldenStore	STRING	NULLABLE	Nome di golden_store
goldenCount	INTEGER	NULLABLE	Numero di record di annotazioni in golden_store
matchedCount	INTEGER	NULLABLE	Numero di record di annotazioni in eval_store abbinati ai record di annotazioni in golden_store
averageResults	RECORD	NULLABLE	Risultati medi in tutti gli infoType
averageResults. sensitiveTextMetrics	RECORD	NULLABLE	Risultati medi per SensitiveTextAnnotation
averageResults. sensitiveTextMetrics. truePositives	INTEGER	NULLABLE	Numero di previsioni corrette
averageResults. sensitiveTextMetrics. falsePositives	INTEGER	NULLABLE	Numero di previsioni errate
averageResults. sensitiveTextMetrics. falseNegatives	INTEGER	NULLABLE	Numero di previsioni mancate
averageResults. sensitiveTextMetrics. precision	FLOAT	NULLABLE	truePositives / (truePositives + falsePositives), va da [0..1] dove 1.0 indica tutte le previsioni corrette
averageResults. sensitiveTextMetrics. recall	FLOAT	NULLABLE	truePositives / (truePositives + falseNegatives), va da [0..1] dove 1.0 indica che non ci sono previsioni mancanti
averageResults. sensitiveTextMetrics. fScore	FLOAT	NULLABLE	2 * precision * recall / (precision + recall), media armonica della precisione e del richiamo, varia da [0..1], dove 1.0 indica le previsioni perfette
infoResults	RECORD	REPEATED	simile a averageResults, ma suddiviso per infoType
infoResults. sensitiveTextMetrics	RECORD	NULLABLE	Risultati di infoType per SensitiveTextAnnotation
infoResults. sensitiveTextMetrics. infoType	STRING	NULLABLE	Categoria infoType
infoResults. sensitiveTextMetrics. truePositives	INTEGER	NULLABLE	Numero di previsioni corrette
infoResults. sensitiveTextMetrics. falsePositives	INTEGER	NULLABLE	Numero di previsioni errate
infoResults. sensitiveTextMetrics. falseNegatives	INTEGER	NULLABLE	Numero di previsioni mancate
infoResults. sensitiveTextMetrics. precision	FLOAT	NULLABLE	truePositives / (truePositives + falsePositives), va da [0..1] dove 1.0 indica tutte le previsioni corrette
infoResults. sensitiveTextMetrics. recall	FLOAT	NULLABLE	truePositives / (truePositives + falseNegatives), va da [0..1] dove 1.0 indica che non ci sono previsioni mancanti
infoResults. sensitiveTextMetrics. fScore	FLOAT	NULLABLE	2 * precision * recall / (precision + recall), media armonica della precisione e del richiamo, varia da [0..1], dove 1.0 indica le previsioni perfette

Per una definizione dettagliata del metodo, consulta EvaluateAnnotationStore.

Vedi anche

• Importare le annotazioni
• Panoramica dell'anonimizzazione dei dati sensibili