Valutazione degli archivi di annotazioni

Beta

Questo prodotto o funzionalità è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici del servizio. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

In questa pagina viene descritto come utilizzare il metodo projects.locations.datasets.annotationStores.evaluate per valutare la qualità dei record di annotazione generati da un algoritmo di machine learning.

Panoramica

Il metodo evaluate confronta i record di annotazioni in un archivio di annotazioni (eval_store) con un archivio di annotazioni basato su dati empirici reali annotati manualmente (golden_store) che descrive la stessa risorsa. La risorsa di annotazione è definita nella sezione AnnotationSource di ogni archivio.

I record di annotazione in eval_store o golden_store possono essere generati singolarmente da projects.locations.datasets.annotationStores.annotations.create o tramite:

• Chiamata a datasets.deidentify con un oggetto AnnotationConfig
• Chiamata a projects.locations.datasets.annotationStores.import in corso...

Requisiti per la valutazione

Per eseguire la valutazione, devono essere soddisfatte le seguenti condizioni:

• In eval_store, ogni risorsa annotata definita in AnnotationSource può avere un solo record di annotazione per ogni tipo di annotazione:

  • ResourceAnnotation
  • ImageAnnotation
  • SensitiveTextAnnotation

• SensitiveTextAnnotation deve archiviare i valori quote ottenuti dalla risorsa annotata. Se hai generato record di annotazione utilizzando datasets.deidentify, imposta store_quote in AnnotationConfig su true.

Output valutazione

Il metodo evaluate segnala le metriche di valutazione a BigQuery. Il metodo restituisce una riga in una tabella BigQuery specificata con lo schema seguente:

Nome campo	Tipo	Modalità	Descrizione
opTimestamp	TIMESTAMP	NULLABLE	Timestamp della chiamata del metodo
opName	STRING	NULLABLE	Nome dell'operazione a lunga esecuzione (LRO) di valutazione
evalStore	STRING	NULLABLE	Nome di eval_store
goldenStore	STRING	NULLABLE	Nome di golden_store
goldenCount	INTEGER	NULLABLE	Numero di record di annotazioni in golden_store
matchedCount	INTEGER	NULLABLE	Numero di record di annotazioni in eval_store corrispondenti ai record di annotazione in golden_store
averageResults	RECORD	NULLABLE	Media dei risultati in tutti gli infoType
averageResults. sensitiveTextMetrics	RECORD	NULLABLE	Media risultati per SensitiveTextAnnotation
averageResults. sensitiveTextMetrics. truePositives	INTEGER	NULLABLE	Numero di previsioni corrette
averageResults. sensitiveTextMetrics. falsePositives	INTEGER	NULLABLE	Numero di previsioni errate
averageResults. sensitiveTextMetrics. falseNegatives	INTEGER	NULLABLE	Numero di previsioni mancate
averageResults. sensitiveTextMetrics. precision	FLOAT	NULLABLE	truePositives / (truePositives + falsePositives), è compreso tra [0..1] dove 1.0 indica tutte le previsioni corrette
averageResults. sensitiveTextMetrics. recall	FLOAT	NULLABLE	truePositives / (truePositives + falseNegatives), intervallo da [0..1] dove 1.0 indica nessuna previsione mancante
averageResults. sensitiveTextMetrics. fScore	FLOAT	NULLABLE	2 * precision * recall / (precision + recall), media armonica di precisione e richiamo, va da [0..1], dove 1.0 indica previsioni perfette
infoResults	RECORD	REPEATED	simile a averageResults, ma suddiviso per infoType
infoResults. sensitiveTextMetrics	RECORD	NULLABLE	Risultati infoType per SensitiveTextAnnotation
infoResults. sensitiveTextMetrics. infoType	STRING	NULLABLE	Categoria infoType
infoResults. sensitiveTextMetrics. truePositives	INTEGER	NULLABLE	Numero di previsioni corrette
infoResults. sensitiveTextMetrics. falsePositives	INTEGER	NULLABLE	Numero di previsioni errate
infoResults. sensitiveTextMetrics. falseNegatives	INTEGER	NULLABLE	Numero di previsioni mancate
infoResults. sensitiveTextMetrics. precision	FLOAT	NULLABLE	truePositives / (truePositives + falsePositives), è compreso tra [0..1] dove 1.0 indica tutte le previsioni corrette
infoResults. sensitiveTextMetrics. recall	FLOAT	NULLABLE	truePositives / (truePositives + falseNegatives), intervallo da [0..1] dove 1.0 indica nessuna previsione mancante
infoResults. sensitiveTextMetrics. fScore	FLOAT	NULLABLE	2 * precision * recall / (precision + recall), media armonica di precisione e richiamo, va da [0..1], dove 1.0 indica previsioni perfette

Puoi fare riferimento a EvaluateAnnotationStore per una definizione dettagliata del metodo.

Vedi anche

• Importare annotazioni
• Panoramica dell'anonimizzazione dei dati sensibili