Meskipun HITL Labeler Workbench menyediakan antarmuka What You See Is What You Get (WYSIWYG) yang memetakan entitas dokumen ke label yang diekstrak, yang memudahkan pemberi label untuk membandingkan dan mengoreksi. Dokumen petunjuk diperlukan untuk menginstruksikan petugas pemberi label manual tentang label yang harus dicari dan ditambahkan, dan jika terlewat oleh model Document AI atau filter validasi HITL. Hal ini mencakup:
- Label mana yang akan ditinjau.
- Apakah ada kolom yang wajib diisi atau opsional.
- Logika bisnis apa pun untuk
- Label yang benar (seperti menambahkan "Amerika Serikat" untuk alamat Amerika Serikat yang tidak menentukan Amerika Serikat).
- Menolak dokumen dengan kolom penolakan yang benar - seperti menolak invoice >$10.000.
- Nama label khusus dalam dokumen yang dipetakan ke label skema, sehingga pelabel dapat menambahkan label ini - seperti "Client #" = "Account #".
- Filter ini dapat disiapkan sebagai Filter dalam konfigurasi tugas HITL.
Mendesain petunjuk yang baik
Petunjuk yang baik merupakan faktor terpenting untuk mendapatkan hasil yang baik dari pelabelan manual. Petunjuk yang baik adalah petunjuk yang memberi tahu pemberi label manual tindakan yang Anda inginkan dari mereka. Berikut adalah beberapa panduan terkait cara membuat petunjuk yang baik:
- Pemberi label manual mungkin tidak memiliki pengetahuan tentang domain Anda. Pembedaan yang Anda minta untuk dilakukan pemberi label harus mudah dipahami oleh seseorang yang tidak familier dengan kasus penggunaan Anda.
- Hindari membuat instruksi yang terlalu panjang. Sebaiknya pemberi label dapat meninjau dan memahaminya dalam waktu 20 menit.
- Petunjuk harus menjelaskan konsep tugas serta detail tentang cara memberi label pada data.
- Jika petunjuk Anda memiliki set label yang terkait, semua label dalam set tersebut harus dicakup. Nama label dalam petunjuk harus sama dengan nama dalam set label.
- Biasanya diperlukan beberapa iterasi untuk membuat petunjuk yang baik. Sebaiknya minta pelabelan set data kecil terlebih dahulu, lalu sesuaikan petunjuk Anda berdasarkan hasil yang Anda terima.
File petunjuk yang baik harus mencakup bagian-bagian berikut:
- Daftar dan deskripsi label: mencantumkan semua label yang digunakan dan menjelaskan arti setiap label.
- Contoh: Untuk setiap label, berikan setidaknya tiga contoh positif dan satu contoh negatif. Contoh ini harus mencakup kasus yang berbeda.
- Cakup kasus ekstrem. Perjelas sebanyak mungkin kasus ekstrem. Hal ini akan mengurangi kebutuhan pemberi label untuk menafsirkan label.
- Misalnya, jika Anda perlu menggambar kotak pembatas untuk satu orang, perjelas:
- Jika ada beberapa orang, apakah kotak pembatas diperlukan untuk setiap orang?
- Jika seseorang tersembunyi oleh objek lain, apakah kotak pembatas diperlukan?
- Apakah kotak pembatas diperlukan untuk orang yang hanya terlihat sebagian dalam gambar?
- Apakah kotak pembatas diperlukan untuk orang yang ada dalam gambar atau lukisan?
- Jelaskan cara menambahkan anotasi. Contoh:
- Untuk kotak pembatas, apakah kotaknya harus rapat atau longgar?
- Untuk ekstraksi entity teks, di mana entity yang diminati sebaiknya dimulai dan diakhiri?
- Klarifikasi tentang label. Jika dua label mirip atau mudah tertukar, berikan contoh untuk memperjelas perbedaannya.
Contoh Visual
Contoh visual memberikan klarifikasi kepada pemberi label tentang tempat berbagai entitas dalam dokumen dan cara memetakannya ke label yang diekstrak dalam skema. Sertakan contoh visual dalam petunjuk Anda seperti berikut:
