Mengevaluasi penyimpanan anotasi

Halaman ini menjelaskan cara menggunakan metode projects.locations.datasets.annotationStores.evaluate untuk mengevaluasi kualitas catatan anotasi yang dihasilkan oleh algoritme machine learning.

Ringkasan

Metode evaluate membandingkan catatan anotasi di satu penyimpanan anotasi (eval_store) dengan penyimpanan anotasi kebenaran dasar beranotasi secara manual (golden_store) yang mendeskripsikan resource yang sama. Resource anotasi ditentukan di AnnotationSource setiap toko.

Data anotasi dalam eval_store atau golden_store dapat dibuat satu per satu oleh projects.locations.datasets.annotationStores.annotations.create atau oleh:

Persyaratan evaluasi

Untuk melakukan evaluasi, kondisi berikut harus dipenuhi:

Output evaluasi

Metode evaluate melaporkan metrik evaluasi ke BigQuery. Metode ini menghasilkan baris dalam tabel BigQuery yang ditentukan dengan skema berikut:

Nama kolom Jenis Mode Deskripsi
opTimestamp TIMESTAMP NULLABLE Stempel waktu saat metode dipanggil
opName STRING NULLABLE Nama operasi evaluasi yang berjalan lama (LRO)
evalStore STRING NULLABLE Nama eval_store
goldenStore STRING NULLABLE Nama golden_store
goldenCount INTEGER NULLABLE Jumlah catatan anotasi di golden_store
matchedCount INTEGER NULLABLE Jumlah data anotasi di eval_store yang cocok dengan data anotasi di golden_store
averageResults RECORD NULLABLE Hasil rata-rata di semua infoTypes
averageResults.
sensitiveTextMetrics
RECORD NULLABLE Hasil rata-rata untuk SensitiveTextAnnotation
averageResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Jumlah prediksi yang benar
averageResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Jumlah prediksi yang salah
averageResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Jumlah prediksi yang terlewat
averageResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
berrentang dari [0..1] dengan 1.0 menunjukkan semua prediksi yang benar
averageResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
berrentang dari [0..1] dengan 1.0 menunjukkan tidak ada prediksi yang hilang
averageResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
rata-rata harmonik dari presisi dan perolehan, rentang dari [0..1] dengan 1.0 menunjukkan prediksi yang sempurna
infoResults RECORD REPEATED mirip dengan averageResults, tetapi dikelompokkan per infoType
infoResults.
sensitiveTextMetrics
RECORD NULLABLE Hasil infoType untuk SensitiveTextAnnotation
infoResults.
sensitiveTextMetrics.
infoType
STRING NULLABLE kategori infoType
infoResults.
sensitiveTextMetrics.
truePositives
INTEGER NULLABLE Jumlah prediksi yang benar
infoResults.
sensitiveTextMetrics.
falsePositives
INTEGER NULLABLE Jumlah prediksi yang salah
infoResults.
sensitiveTextMetrics.
falseNegatives
INTEGER NULLABLE Jumlah prediksi yang terlewat
infoResults.
sensitiveTextMetrics.
precision
FLOAT NULLABLE truePositives / (truePositives + falsePositives),
berrentang dari [0..1] dengan 1.0 menunjukkan semua prediksi yang benar
infoResults.
sensitiveTextMetrics.
recall
FLOAT NULLABLE truePositives / (truePositives + falseNegatives),
berrentang dari [0..1] dengan 1.0 menunjukkan tidak ada prediksi yang hilang
infoResults.
sensitiveTextMetrics.
fScore
FLOAT NULLABLE 2 * precision * recall / (precision + recall),
rata-rata harmonik dari presisi dan perolehan, rentang dari [0..1] dengan 1.0 menunjukkan prediksi yang sempurna

Anda dapat melihat EvaluateAnnotationStore untuk mengetahui definisi metode secara mendetail.

Lihat juga