Evaluasi berkelanjutan secara rutin mengambil sampel input dan output prediksi dari model machine learning terlatih yang telah Anda deploy ke AI Platform Prediction. Layanan Pelabelan Data Platform AI kemudian menetapkan peninjau manual untuk memberikan label kebenaran dasar bagi input prediksi; atau, Anda dapat memberikan label kebenaran dasar Anda sendiri. Data Labeling Service membandingkan prediksi model Anda dengan label kebenaran dasar untuk memberikan masukan berkelanjutan tentang performa model Anda dari waktu ke waktu.
Cara kerja Duet AI
Untuk menggunakan evaluasi berkelanjutan, Anda harus sudah men-deploy model machine learning terlatih ke AI Platform Prediction sebagai versi model. Kemudian Anda dapat membuat tugas evaluasi untuk versi model.
Membuat tugas evaluasi untuk versi model menyebabkan dua hal terjadi:
- Saat versi model menyajikan prediksi online, input dan output untuk sebagian prediksi ini disimpan dalam tabel BigQuery. Pengambilan sampel ini sering terjadi, setiap kali model Anda memberikan prediksi. Anda dapat menyesuaikan berapa banyak data yang diambil sampelnya.
- Tugas evaluasi sesekali akan berjalan, sehingga menghasilkan metrik evaluasi.
Anda dapat melihat metrik evaluasi yang dihasilkan di Konsol Google Cloud.
Kebenaran dasar
Label kebenaran dasar adalah label yang ditentukan manusia sebagai label yang tepat untuk tugas machine learning Anda. Evaluasi berkelanjutan menggunakannya sebagai kunci jawaban dan menghitung metrik dengan membandingkan prediksi versi model Anda dengan label kebenaran dasar. Saat membuat tugas evaluasi, Anda harus memutuskan cara membuat label kebenaran dasar untuk data prediksi. Ada dua opsi:
- Layanan Pelabelan Data dapat menetapkan peninjau manual untuk memberikan label kebenaran dasar untuk data prediksi Anda.
- Anda dapat memberikan label kebenaran dasar sendiri.
Tugas evaluasi dijalankan
Secara default, tugas evaluasi dijalankan setiap hari pada pukul 10.00 UTC. Apa yang terjadi selama proses bergantung pada cara Anda memutuskan untuk membuat label kebenaran dasar.
Jika Data Labeling Service menyediakan label kebenaran dasar
Saat tugas evaluasi berjalan, Data Labeling Service akan membuat set data yang berisi semua baris baru di BigQuery sejak terakhir kali dijalankan. Keduanya berisi input dan output prediksi yang diambil sampelnya dari versi model Anda.
Kemudian, Data Labeling Service mengirimkan permintaan pelabelan berdasarkan set data ini untuk meminta peninjau manual memberikan label kebenaran dasar.
Setelah permintaan pelabelan selesai, Layanan Pelabelan Data akan menghitung metrik evaluasi menggunakan label kebenaran dasar yang baru dan output prediksi versi model Anda.
Terutama jika Anda mengambil sampel banyak data prediksi ke dalam tabel BigQuery, perlu waktu lebih dari satu hari bagi pemberi label manusia untuk menyelesaikan permintaan pelabelan Anda. Jika hal ini terjadi, tugas evaluasi Anda akan tetap berjalan lagi pada hari berikutnya, sesuai dengan jadwalnya. Ini berarti bahwa tugas tersebut berjalan beberapa kali secara paralel. Setiap proses berlaku untuk sampel data prediksi yang terpisah: prediksi versi model Anda sehari sebelum operasi tersebut. Terlepas dari berapa lama waktu eksekusinya, model ini menghasilkan metrik evaluasi untuk hari prediksi tertentu.
Jika Anda memberikan label kebenaran dasar sendiri
Seperti di bagian sebelumnya, saat tugas evaluasi berjalan, Data Labeling Service akan membuat set data dengan semua baris baru di BigQuery sejak terakhir kali dijalankan. Namun dalam kasus ini, Anda harus sudah menambahkan label kebenaran dasar ke kolom groundtruth tabel sebelum operasi terjadi. Tugas evaluasi melewati setiap baris tanpa label kebenaran dasar,
dan baris ini tidak dapat disertakan dalam tugas evaluasi yang akan dijalankan.
Setelah set data dibuat, Layanan Pelabelan Data akan langsung menghitung metrik evaluasi.
Jika menggunakan metode ini, Anda harus menambahkan label kebenaran dasar untuk prediksi baru setiap hari, sebelum tugas evaluasi berjalan.
Harga
Jika Layanan Pelabelan Data menugaskan peninjau manual untuk memberikan label kebenaran dasar, maka Harga Layanan Pelabelan Data akan berlaku. Selain itu, tidak ada biaya khusus untuk evaluasi berkelanjutan.
Untuk menggunakan evaluasi berkelanjutan, Anda juga harus menggunakan AI Platform Prediction, BigQuery, dan Cloud Storage. Produk ini mungkin akan dikenakan biaya.
Langkah selanjutnya
Baca hal yang perlu Anda lakukan sebelum dapat membuat tugas evaluasi.