Saat menjalankan tugas evaluasi, Layanan Pelabelan Data akan menghasilkan kumpulan metrik evaluasi yang bervariasi bergantung pada spesifikasi model pemelajaran mesin Anda. Panduan ini menjelaskan berbagai jenis metrik evaluasi dan cara melihatnya.
Sebelum memulai
Sebelum memulai, buat tugas evaluasi dan tunggu hingga tugas tersebut berjalan untuk pertama kalinya. Secara default, tugas evaluasi Anda berjalan setiap hari pukul 10.00 UTC.
Saat berjalan, tugas ini akan terlebih dahulu mengirim data ke peninjau manual untuk pemberian label kebenaran dasar (jika Anda telah mengaktifkan opsi ini). Kemudian, metrik evaluasi dihitung. Karena pemberian label manual memerlukan waktu, jika tugas Anda mengambil sampel banyak data, Anda mungkin perlu menunggu lebih dari satu hari untuk melihat metrik evaluasi pertama.
Membandingkan presisi rata-rata mean di seluruh model
Di AI Platform Prediction, beberapa versi model dapat dikelompokkan dalam resource model. Setiap versi model dalam satu model harus melakukan tugas yang sama, tetapi setiap versi mungkin dilatih secara berbeda.
Jika memiliki beberapa versi model dalam satu model dan telah membuat tugas evaluasi untuk setiap versi, Anda dapat melihat diagram yang membandingkan presisi rata-rata rata-rata versi model dari waktu ke waktu:
Buka halaman AI Platform models di konsol Google Cloud:
Klik nama model yang berisi versi model yang ingin Anda bandingkan.
Klik tab Evaluasi.
Diagram di halaman ini membandingkan presisi rata-rata mean dari setiap versi model dari waktu ke waktu. Anda dapat mengubah interval diagram.
Jika salah satu tugas evaluasi untuk versi model mengalami error selama eksekusi terbaru, Anda juga akan melihatnya ditampilkan di halaman ini.
Melihat metrik untuk versi model tertentu
Untuk metrik evaluasi yang lebih mendetail, lihat satu versi model:
Buka halaman AI Platform models di konsol Google Cloud:
Klik nama model yang berisi versi model yang Anda minati.
Klik nama versi model yang Anda minati.
Klik tab Evaluasi.
Serupa dengan tampilan perbandingan yang dibahas di bagian sebelumnya, halaman ini memiliki diagram presisi rata-rata mean dari waktu ke waktu. Laporan ini juga menampilkan error dari tugas evaluasi terbaru versi model Anda.
Masukkan tanggal di kolom Masukkan tanggal untuk melihat metrik dari masing-masing tugas evaluasi yang dijalankan. Anda juga dapat mengklik Semua label dan memilih label tertentu dari daftar drop-down untuk memfilter metrik lebih lanjut. Bagian berikut menjelaskan metrik yang dapat Anda lihat untuk setiap tugas evaluasi yang dijalankan.
Kurva presisi-recall
Kurva presisi-perolehan menunjukkan bagaimana presisi dan perolehan model machine learning Anda akan berubah jika Anda menyesuaikan batas klasifikasi-nya.
Confusion matrix
Matriks konfusi menampilkan semua pasangan label kebenaran dasar dan label prediksi, sehingga Anda dapat melihat pola bagaimana model machine learning Anda salah mengira label tertentu sebagai label lain.
Matriks konfusi hanya dibuat untuk versi model yang melakukan klasifikasi.
Perbandingan berdampingan
Jika versi model Anda melakukan klasifikasi gambar atau klasifikasi teks, Anda dapat melihat perbandingan berdampingan antara label yang diprediksi model machine learning dan label kebenaran dasar untuk setiap input prediksi.
Jika versi model Anda melakukan deteksi objek gambar, Anda dapat melihat perbandingan berdampingan antara kotak pembatas yang diprediksi oleh model machine learning dan kotak pembatas kebenaran dasar. Arahkan kursor ke kotak pembatas untuk melihat label terkait.
Langkah selanjutnya
Pelajari cara memperbarui, menjeda, atau menghapus tugas penilaian.