Setelah melatih model, AutoML Natural Language menggunakan dokumen dari set TEST untuk mengevaluasi kualitas dan akurasi model yang baru.
AutoML Natural Language menyediakan kumpulan metrik evaluasi gabungan yang menunjukkan performa model secara keseluruhan, serta metrik evaluasi untuk setiap label kategori, yang menunjukkan seberapa baik performa model untuk label tersebut.
Presisi dan perolehan mengukur seberapa baik model ini mengambil informasi, dan seberapa banyak bagian yang tersisa. Presisi menunjukkan, dari semua dokumen yang diidentifikasi sebagai entitas atau label tertentu, berapa banyak dokumen yang sebenarnya seharusnya ditetapkan ke entitas atau label tersebut. Recall menunjukkan, dari semua dokumen yang seharusnya telah diidentifikasi sebagai entitas atau label tertentu, berapa banyak dokumen yang benar-benar ditetapkan ke entitas atau label tersebut.
Matriks konfusi (Hanya ada untuk model label-per-dokumen tunggal) mewakili persentase frekuensi setiap label diprediksi dalam set pelatihan selama evaluasi. Idealnya, label one
hanya akan ditetapkan ke dokumen yang diklasifikasikan sebagai label one
, dll. sehingga matriks yang sempurna akan terlihat seperti ini:
100 0 0 0
0 100 0 0
0 0 100 0
0 0 0 100
Pada contoh di atas, jika dokumen diklasifikasikan sebagai one
tetapi model memprediksi two
, baris pertama akan terlihat seperti ini:
99 1 0 0
AutoML Natural Language membuat matriks konfusi untuk maksimal 10 label. Jika Anda memiliki lebih dari 10 label, matriks akan menyertakan 10 label yang paling membingungkan (prediksi yang salah).
Untuk model sentimen:
Mean absolut error (MAE) dan mean kuadrat error (RSE) mengukur jarak antara nilai sentimen yang diprediksi dan nilai sentimen sebenarnya. Nilai yang lebih rendah menunjukkan model yang lebih akurat.
Kappa berbobot linear dan kappa berbobot kuadrat mengukur seberapa dekat nilai sentimen yang ditetapkan oleh model sesuai dengan nilai yang ditetapkan oleh pelabel manusia. Nilai yang lebih tinggi menunjukkan model yang lebih akurat.
Gunakan metrik ini untuk mengevaluasi kesiapan model Anda. Skor presisi dan perolehan yang rendah dapat menunjukkan bahwa model Anda memerlukan data pelatihan tambahan atau memiliki anotasi yang tidak konsisten. Presisi dan perolehan yang sempurna dapat menunjukkan bahwa data terlalu mudah dan mungkin tidak digeneralisasi dengan baik. Lihat Panduan Pemula untuk tips selengkapnya tentang cara mengevaluasi model.
Jika Anda tidak puas dengan tingkat kualitas, Anda dapat kembali ke langkah-langkah sebelumnya untuk meningkatkan kualitas:
- Pertimbangkan untuk menambahkan lebih banyak dokumen ke label apa pun yang berkualitas rendah.
- Anda mungkin perlu menambahkan jenis dokumen yang berbeda. Misalnya, dokumen yang lebih panjang atau lebih pendek, dokumen karya penulis berbeda yang menggunakan kata-kata atau gaya yang berbeda.
- Anda dapat merapikan label.
- Pertimbangkan untuk menghapus label sepenuhnya jika Anda tidak memiliki cukup dokumen pelatihan.
Setelah membuat perubahan, latih dan evaluasi model baru hingga mencapai tingkat kualitas yang cukup tinggi.
UI Web
Guna meninjau metrik evaluasi untuk model Anda:
Klik ikon bola lampu di menu navigasi kiri untuk menampilkan model yang tersedia.
Untuk melihat model project yang berbeda, pilih project dari menu drop-down di kanan atas panel judul.
Klik baris untuk model yang ingin dievaluasi.
Jika perlu, klik tab Evaluasi tepat di bawah panel judul.
Jika pelatihan untuk model telah selesai, AutoML Natural Language akan menampilkan metrik evaluasinya.
Untuk melihat metrik untuk label tertentu, pilih nama label dari daftar label di bagian bawah halaman.
Contoh kode
Sampel ini memberikan evaluasi untuk model secara keseluruhan. Anda juga bisa mendapatkan
metrik untuk label tertentu (displayName
) menggunakan ID evaluasi.
REST
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- project-id: project ID Anda
- location-id: lokasi untuk resource,
us-central1
untuk Lokasi global, ataueu
untuk Uni Eropa - model-id: ID model Anda
Metode HTTP dan URL:
GET https://automl.googleapis.com/v1/projects/project-id/locations/location-id/models/model-id/modelEvaluations
Untuk mengirim permintaan, perluas salah satu opsi berikut:
Anda akan melihat respons JSON seperti berikut:
{ "modelEvaluation": [ { "name": "projects/434039606874/locations/us-central1/models/7537307368641647584/modelEvaluations/9009741181387603448", "annotationSpecId": "17040929661974749", "classificationMetrics": { "auPrc": 0.99772006, "baseAuPrc": 0.21706384, "evaluatedExamplesCount": 377, "confidenceMetricsEntry": [ { "recall": 1, "precision": -1.3877788e-17, "f1Score": -2.7755576e-17, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.05, "recall": 0.997, "precision": 0.867, "f1Score": 0.92746675, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.1, "recall": 0.995, "precision": 0.905, "f1Score": 0.9478684, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.15, "recall": 0.992, "precision": 0.932, "f1Score": 0.96106446, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.2, "recall": 0.989, "precision": 0.951, "f1Score": 0.96962786, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.25, "recall": 0.987, "precision": 0.957, "f1Score": 0.9717685, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, ... ], }, "createTime": "2018-04-30T23:06:14.746840Z" }, { "name": "projects/434039606874/locations/us-central1/models/7537307368641647584/modelEvaluations/9009741181387603671", "annotationSpecId": "1258823357545045636", "classificationMetrics": { "auPrc": 0.9972302, "baseAuPrc": 0.1883289, ... }, "createTime": "2018-04-30T23:06:14.649260Z" } ] }
Python
Untuk mempelajari cara menginstal dan menggunakan library klien untuk AutoML Natural Language, lihat library klien AutoML Natural Language. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python AutoML Natural Language.
Untuk mengautentikasi AutoML Natural Language, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Untuk mempelajari cara menginstal dan menggunakan library klien untuk AutoML Natural Language, lihat library klien AutoML Natural Language. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java AutoML Natural Language.
Untuk mengautentikasi AutoML Natural Language, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mempelajari cara menginstal dan menggunakan library klien untuk AutoML Natural Language, lihat library klien AutoML Natural Language. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Node.js AutoML Natural Language.
Untuk mengautentikasi AutoML Natural Language, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Go
Untuk mempelajari cara menginstal dan menggunakan library klien untuk AutoML Natural Language, lihat library klien AutoML Natural Language. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go AutoML Natural Language.
Untuk mengautentikasi AutoML Natural Language, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, baca Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Bahasa tambahan
C#: Ikuti Petunjuk penyiapan C# di halaman library klien lalu buka Dokumentasi referensi AutoML Natural Language untuk .NET.
PHP: Ikuti petunjuk penyiapan PHP di halaman library klien lalu buka Dokumentasi referensi AutoML Natural Language untuk PHP.
Ruby: Ikuti petunjuk penyiapan Ruby di halaman library klien, lalu buka Dokumentasi referensi AutoML Natural Language untuk Ruby.