Saat menjalankan tugas evaluasi, Layanan Pelabelan Data akan menghasilkan kumpulan metrik evaluasi yang bervariasi, tergantung spesifikasi model machine learning Anda. Panduan ini menjelaskan berbagai jenis metrik evaluasi dan cara melihatnya.
Sebelum memulai
Sebelum memulai, buat tugas evaluasi dan tunggu tugas tersebut dijalankan untuk pertama kalinya. Secara default, tugas evaluasi Anda berjalan setiap hari pada pukul 10.00 UTC.
Saat tugas berjalan, tugas akan mengirimkan data terlebih dahulu ke petugas peninjau untuk pelabelan kebenaran dasar (jika Anda telah mengaktifkan opsi ini). Kemudian ia menghitung metrik evaluasi. Pelabelan manual memerlukan waktu. Jika tugas Anda mengambil banyak data, Anda mungkin harus menunggu lebih dari satu hari untuk melihat metrik evaluasi pertama.
Membandingkan presisi rata-rata di seluruh model
Dalam AI Platform Prediction, beberapa versi model dapat dikelompokkan bersama dalam resource model. Setiap versi model dalam satu model harus melakukan tugas yang sama, tetapi setiap versi dapat dilatih secara berbeda.
Jika Anda memiliki beberapa versi model dalam satu model dan telah membuat tugas evaluasi untuk setiap versi, Anda dapat melihat diagram yang membandingkan presisi rata-rata versi model dari waktu ke waktu:
Buka halaman AI Platform models di Konsol Google Cloud:
Klik nama model yang berisi versi model yang ingin Anda bandingkan.
Klik tab Evaluasi.
Diagram di halaman ini membandingkan presisi rata-rata dari setiap versi model dari waktu ke waktu. Anda dapat mengubah interval diagram.
Jika salah satu tugas evaluasi untuk versi model mengalami error selama dijalankan baru-baru ini, Anda juga akan melihatnya ditampilkan di halaman ini.
Melihat metrik untuk versi model tertentu
Untuk metrik evaluasi yang lebih mendetail, lihat satu versi model:
Buka halaman AI Platform models di Konsol Google Cloud:
Klik nama model yang berisi versi model yang Anda minati.
Klik nama versi model yang Anda minati.
Klik tab Evaluasi.
Serupa dengan tampilan perbandingan yang dibahas di bagian sebelumnya, halaman ini memiliki diagram presisi rata-rata dari waktu ke waktu. Tindakan ini juga akan menampilkan error dari tugas evaluasi terbaru versi model Anda yang sedang dijalankan.
Masukkan tanggal di kolom Masukkan tanggal untuk melihat metrik dari setiap tugas evaluasi yang dijalankan. Anda juga dapat mengklik Semua label dan memilih label tertentu dari menu drop-down untuk memfilter metrik lebih lanjut. Bagian berikut menjelaskan metrik yang dapat Anda lihat untuk setiap tugas evaluasi yang dijalankan.
Kurva presisi-recall
Kurva presisi-recall menunjukkan bagaimana presisi dan penarikan model machine learning Anda akan berubah jika Anda menyesuaikan batas klasifikasi.
Matriks konfusi
Matriks konfusi menampilkan semua pasangan label kebenaran dasar dan label prediksi, sehingga Anda dapat melihat pola bagaimana model machine learning Anda salah mengenali label tertentu untuk label lain.
Matriks konfusi hanya dibuat untuk versi model yang melakukan klasifikasi.
Perbandingan berdampingan
Jika versi model melakukan klasifikasi gambar atau klasifikasi teks, Anda dapat melihat perbandingan label prediksi model machine learning dan label kebenaran dasar untuk setiap input prediksi secara berdampingan.
Jika versi model Anda melakukan deteksi objek gambar, Anda dapat melihat perbandingan berdampingan dari kotak pembatas model machine learning yang diprediksi dan kotak pembatas kebenaran dasar. Arahkan kursor ke kotak pembatas untuk melihat label terkait.
Langkah selanjutnya
Pelajari cara memperbarui, menjeda, atau menghapus tugas evaluasi.