Membuat Petunjuk untuk Peninjauan HITL
Sementara HITL Labeler Workbench menyediakan antarmuka What You See Is What You Get (WYSIWYG) yang memetakan entitas dokumen ke label yang diekstrak, sehingga memudahkan pemberi label untuk membandingkan dan mengoreksi. Dokumen petunjuk diperlukan untuk memberi tahu pemberi label manual label mana yang akan dicari dan ditambahkan, dan jika label tersebut terlewat oleh model Document AI atau filter validasi HITL. Hal ini mencakup:
- Label mana yang akan ditinjau.
- Apakah kolom wajib diisi atau opsional.
- Logika bisnis apa pun untuk
- Perbaikan label (seperti menambahkan "USA" untuk alamat Amerika Serikat yang tidak menentukan USA).
- Menolak dokumen dengan kolom penolakan yang benar - seperti menolak invoice >$10.000.
- Nama label khusus dalam dokumen yang dipetakan ke label skema, sehingga pelabel dapat menambahkannya - seperti "Nomor klien" = "Nomor akun".
- Ini dapat disiapkan sebagai Filter di konfigurasi tugas HITL.
Mendesain petunjuk yang baik
Petunjuk yang baik merupakan faktor terpenting untuk mendapatkan hasil yang baik dari pelabelan manual. Petunjuk yang baik adalah petunjuk yang memberi tahu pemberi label manual tindakan apa yang diharapkan dari mereka. Berikut adalah beberapa pedoman terkait cara membuat petunjuk yang baik:
- Pemberi label manual mungkin tidak memiliki pengetahuan tentang domain Anda. Pembedaan yang Anda minta untuk dilakukan pemberi label harus mudah dipahami oleh seseorang yang tidak familier dengan kasus penggunaan Anda.
- Hindari membuat instruksi yang terlalu panjang. Sebaiknya pemberi label dapat meninjau dan memahaminya dalam waktu 20 menit.
- Petunjuk harus menjelaskan konsep tugas serta detail tentang cara melabeli data.
- Jika petunjuk Anda memiliki set label yang terkait, semua label dalam set tersebut harus dicakup. Nama label dalam petunjuk harus cocok dengan nama dalam set label.
- Biasanya diperlukan beberapa iterasi untuk membuat petunjuk yang baik. Sebaiknya beri label pada set data kecil terlebih dahulu, lalu sesuaikan petunjuk Anda berdasarkan apa yang Anda lihat dalam hasil yang Anda terima.
File petunjuk yang baik harus menyertakan bagian-bagian berikut:
- Daftar label dan deskripsi: cantumkan semua label yang digunakan dan jelaskan arti dari setiap label.
- Contoh: Untuk setiap label, berikan setidaknya tiga contoh positif dan satu contoh negatif. Contoh ini harus mencakup kasus yang berbeda.
- Cakup kasus ekstrem. Perjelas sebanyak mungkin kasus ekstrem. Hal ini mengurangi kebutuhan pemberi label untuk menafsirkan label. Misalnya, jika Anda perlu menggambar kotak pembatas untuk satu orang, perjelas:
- Jika ada beberapa orang, apakah kotak pembatas diperlukan untuk setiap orang?
- Jika seseorang tersembunyi oleh objek lain, apakah kotak pembatas diperlukan?
- Apakah Anda memerlukan kotak untuk seseorang yang hanya terlihat sebagian dalam gambar?
- Apakah Anda memerlukan kotak untuk orang dalam gambar atau lukisan?
- Jelaskan cara menambahkan anotasi. Misalnya:
- Untuk kotak pembatas, apakah kotaknya harus rapat atau longgar?
- Untuk ekstraksi entity teks, di mana entity yang diminati sebaiknya dimulai dan diakhiri?
- Klarifikasi tentang label. Jika dua label mirip atau mudah tertukar, berikan contoh untuk memperjelas perbedaannya.
Contoh Visual
Contoh visual memberikan klarifikasi kepada pemberi label tentang tempat mengharapkan entitas yang berbeda dalam dokumen dan cara memetakan ke label yang diekstrak dalam skema. Sertakan contoh visual dalam petunjuk Anda seperti berikut:
