Mengevaluasi penyimpanan anotasi

Beta

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Halaman ini menjelaskan cara menggunakan metode projects.locations.datasets.annotationStores.evaluate untuk mengevaluasi kualitas catatan anotasi yang dihasilkan oleh algoritme machine learning.

Ringkasan

Metode evaluate membandingkan catatan anotasi di satu penyimpanan anotasi (eval_store) dengan penyimpanan anotasi kebenaran dasar beranotasi secara manual (golden_store) yang mendeskripsikan resource yang sama. Resource anotasi ditentukan di AnnotationSource setiap toko.

Data anotasi dalam eval_store atau golden_store dapat dibuat satu per satu oleh projects.locations.datasets.annotationStores.annotations.create atau oleh:

• Memanggil datasets.deidentify dengan objek AnnotationConfig
• Menelepon projects.locations.datasets.annotationStores.import

Persyaratan evaluasi

Untuk melakukan evaluasi, kondisi berikut harus dipenuhi:

• Di eval_store, setiap resource teranotasi yang ditentukan dalam AnnotationSource hanya dapat memiliki satu data anotasi untuk setiap jenis anotasi:

  • ResourceAnnotation
  • ImageAnnotation
  • SensitiveTextAnnotation

• SensitiveTextAnnotation harus menyimpan quote yang diperoleh dari resource yang dianotasi. Jika Anda membuat catatan anotasi menggunakan datasets.deidentify, tetapkan store_quote di AnnotationConfig ke true.

Output evaluasi

Metode evaluate melaporkan metrik evaluasi ke BigQuery. Metode ini menghasilkan baris dalam tabel BigQuery yang ditentukan dengan skema berikut:

Nama kolom	Jenis	Mode	Deskripsi
opTimestamp	TIMESTAMP	NULLABLE	Stempel waktu saat metode dipanggil
opName	STRING	NULLABLE	Nama operasi evaluasi yang berjalan lama (LRO)
evalStore	STRING	NULLABLE	Nama eval_store
goldenStore	STRING	NULLABLE	Nama golden_store
goldenCount	INTEGER	NULLABLE	Jumlah catatan anotasi di golden_store
matchedCount	INTEGER	NULLABLE	Jumlah data anotasi di eval_store yang cocok dengan data anotasi di golden_store
averageResults	RECORD	NULLABLE	Hasil rata-rata di semua infoTypes
averageResults. sensitiveTextMetrics	RECORD	NULLABLE	Hasil rata-rata untuk SensitiveTextAnnotation
averageResults. sensitiveTextMetrics. truePositives	INTEGER	NULLABLE	Jumlah prediksi yang benar
averageResults. sensitiveTextMetrics. falsePositives	INTEGER	NULLABLE	Jumlah prediksi yang salah
averageResults. sensitiveTextMetrics. falseNegatives	INTEGER	NULLABLE	Jumlah prediksi yang terlewat
averageResults. sensitiveTextMetrics. precision	FLOAT	NULLABLE	truePositives / (truePositives + falsePositives), berrentang dari [0..1] dengan 1.0 menunjukkan semua prediksi yang benar
averageResults. sensitiveTextMetrics. recall	FLOAT	NULLABLE	truePositives / (truePositives + falseNegatives), berrentang dari [0..1] dengan 1.0 menunjukkan tidak ada prediksi yang hilang
averageResults. sensitiveTextMetrics. fScore	FLOAT	NULLABLE	2 * precision * recall / (precision + recall), rata-rata harmonik dari presisi dan perolehan, rentang dari [0..1] dengan 1.0 menunjukkan prediksi yang sempurna
infoResults	RECORD	REPEATED	mirip dengan averageResults, tetapi dikelompokkan per infoType
infoResults. sensitiveTextMetrics	RECORD	NULLABLE	Hasil infoType untuk SensitiveTextAnnotation
infoResults. sensitiveTextMetrics. infoType	STRING	NULLABLE	kategori infoType
infoResults. sensitiveTextMetrics. truePositives	INTEGER	NULLABLE	Jumlah prediksi yang benar
infoResults. sensitiveTextMetrics. falsePositives	INTEGER	NULLABLE	Jumlah prediksi yang salah
infoResults. sensitiveTextMetrics. falseNegatives	INTEGER	NULLABLE	Jumlah prediksi yang terlewat
infoResults. sensitiveTextMetrics. precision	FLOAT	NULLABLE	truePositives / (truePositives + falsePositives), berrentang dari [0..1] dengan 1.0 menunjukkan semua prediksi yang benar
infoResults. sensitiveTextMetrics. recall	FLOAT	NULLABLE	truePositives / (truePositives + falseNegatives), berrentang dari [0..1] dengan 1.0 menunjukkan tidak ada prediksi yang hilang
infoResults. sensitiveTextMetrics. fScore	FLOAT	NULLABLE	2 * precision * recall / (precision + recall), rata-rata harmonik dari presisi dan perolehan, rentang dari [0..1] dengan 1.0 menunjukkan prediksi yang sempurna

Anda dapat melihat EvaluateAnnotationStore untuk mengetahui definisi metode secara mendetail.

Lihat juga

• Mengimpor anotasi
• Ringkasan de-identifikasi data sensitif