UI Pengelola Pelabelan dan Workbench Labeler

Perhatian: Human-in-the-Loop Document AI sudah tidak digunakan lagi dan tidak akan tersedia lagi di Google Cloud setelah 16 Januari 2025. Pelanggan baru tidak diizinkan. Jika Anda ingin menggunakan (HITL) tetapi tidak melihat opsi yang tersedia, hubungi tim Akun Google Anda.

Untuk menerapkan solusi koreksi dan peninjauan manual yang memenuhi persyaratan Anda, sebaiknya Anda bekerja sama dengan Google Cloud partner bersertifikasi seperti Devoteam, Searce, atau Quantiphi. Lihat Penghentian penggunaan untuk mengetahui detailnya.

UI Pengelola

UI Pengelola memungkinkan Pengelola¹ mengelola tugas Pemberi Label pada Tugas². Pengelola dapat menggunakan UI ini untuk menambahkan atau menghapus Pemberi Label, menetapkan atau membatalkan penetapan Tugas, serta memantau progres Tugas dan analisis tentang performa setiap Pemberi Label.

Di sebelah kiri adalah daftar semua Google Cloud kumpulan pelabel yang diaktifkan project³ yang dikelola pengguna. Angka di sebelah kanan nama kumpulan pelabel adalah jumlah Pelabel dalam kumpulan tersebut. Di sebelah kanannya terdapat konten utama UI, yang terdiri dari empat tab:

• Tasks
• Pelabel
• Tugas

Tasks

Tabel tugas adalah tampilan semua Tugas dalam project Google Cloud kumpulan pelabel. Tab ini berisi beberapa statistik dasar tentang Tugas, serta kemampuan untuk menjeda Tugas, dan rute cepat untuk menetapkan Pemberi Label ke Tugas.

Filter

Di atas petak data terdapat serangkaian kontrol filter untuk menentukan Tugas yang ditampilkan dalam petak data.

• Menelusuri tugas berdasarkan nama: Memfilter hasil ke tugas dengan nama yang dimasukkan. Mencakup fungsi pelengkapan otomatis.
• Berkelanjutan: Jika dicentang, hasil akan mencakup semua Tugas yang tidak dijeda, diselesaikan, atau tidak ditetapkan. Opsi ini diaktifkan secara default.
• Dijeda: Jika dicentang, hasil akan menyertakan semua Tugas yang dijeda.
• Selesai: Jika dicentang, hasil akan mencakup semua Tugas yang telah diselesaikan, yaitu yang tidak memiliki Pertanyaan yang tersedia (baik karena belum ada Pertanyaan yang dimasukkan dalam antrean atau karena semua Pertanyaan yang dimasukkan dalam antrean telah dijawab).
• Tidak ditetapkan: Jika dicentang, hasil akan menyertakan semua Tugas yang tidak memiliki Pelabel yang ditetapkan.

Jika tidak ada filter yang dipilih, ini adalah error dan halaman akan memberi tahu Pengelola untuk memilih beberapa filter. Jika salah satu kotak centang tidak dicentang, Tugas yang cocok dengan kondisi kotak centang tersebut akan dikecualikan kecuali jika Tugas cocok dengan salah satu kondisi kotak yang dicentang. Misalnya, jika Tugas dijeda dan tidak ditetapkan, tugas akan ditampilkan jika kotak centang Dijeda dipilih, atau kotak centang Tidak ditetapkan dipilih (atau keduanya). Hasil ini tidak akan ditampilkan jika kotak centang Dijeda maupun Tidak ditetapkan tidak dicentang.

Petak Data

• Kolom pertama berisi kotak centang untuk setiap baris. Jika Pengelola mencentang satu atau beberapa kotak centang ini, lalu mengklik tombol Kelola Penugasan di atas tabel, Pengelola akan diarahkan ke halaman Penugasan, dengan Tugas yang dipilih sudah terisi di filter Tugas.
• Kolom Tugas menampilkan nama Tugas. Nama ini ditetapkan oleh orang yang membuat Tugas dan merupakan nama yang dapat dibaca pengguna (seperti "Klasifikasi resume"), bukan ID internal (seperti "cloud_data_67523fe89343").
• Kolom Objective berisi nama objektif--ini menjelaskan jenis tugas (klasifikasi gambar, klasifikasi teks, dll.).
• Kolom "Terakhir dimasukkan dalam antrean" berisi tanggal saat Pertanyaan terbaru dimasukkan dalam antrean (kosong jika belum ada pertanyaan yang dimasukkan dalam antrean tugas).
• Kolom yang Ditetapkan menampilkan jumlah Pelabel yang saat ini ditetapkan ke tugas. Fitur ini juga memberikan akses ke dialog tempat Pengelola dapat membatalkan penetapan Pemberi Label. Pengelola tidak dapat menetapkan dari dialog ini. Untuk melakukannya, mereka harus menggunakan halaman Penugasan.
• Kolom Pertanyaan Tersedia/Dalam Antrean menampilkan rasio antara jumlah Pertanyaan dalam Tugas yang saat ini tersedia untuk dikerjakan oleh Pemberi Label dan jumlah total Pertanyaan yang saat ini dalam antrean di Tugas.
• Kolom Progres menampilkan rasio di atas dalam bentuk grafis dan persentase. Bagian ini juga menunjukkan apakah Tugas dijeda (tidak menyajikan pertanyaan apa pun), seperti yang terlihat di baris bawah tabel pada screenshot di atas.
• Kolom Tindakan berisi menu dengan beberapa tindakan tambahan yang dapat dilakukan pada Tugas:
  • Jeda: Hanya tersedia jika Tugas saat ini tidak dijeda, tindakan ini akan menjeda Tugas.
  • Lanjutkan: Hanya tersedia jika Tugas saat ini dijeda, tindakan ini akan melanjutkan Tugas.
  • Tugas: Memberikan pintasan ke halaman Tugas, dengan Tugas yang awalnya dipilih dalam filter.

Di atas tabel data terdapat kontrol penomoran halaman, yang dapat digunakan Pengelola untuk memutuskan menampilkan lebih banyak hasil per halaman, dan berpindah antar-halaman hasil.

Pemberi label

Tabel pemberi label adalah tampilan semua Pemberi label di kumpulan Pemberi label. Tab ini berisi beberapa statistik dasar tentang Pemberi Label, serta cara untuk menetapkan Pemberi Label ke Tugas dengan cepat.

Filter

Di atas petak data terdapat kotak filter, yang memfilter hasil ke hasil dengan email yang dimasukkan. Beberapa email dapat dipisahkan dengan koma.

Menambahkan Pemberi Label

Tombol Tambahkan akan membuka dialog yang memungkinkan Pengelola menambahkan satu atau beberapa Pemberi Label ke kumpulan. Beberapa alamat email dapat dimasukkan, yang dipisahkan dengan koma. Kode bahasa (misalnya, "en", "de") juga dapat dimasukkan, dipisahkan dengan koma. Orang yang sama (email) dapat muncul di beberapa kumpulan pelabel, dan memiliki tugas yang berbeda di setiap kumpulan.

Dialog akan menampilkan ringkasan Pemberi Label yang ditambahkan atau tidak ditambahkan. Tanda centang berarti Pelabel berhasil ditambahkan, sedangkan X merah berarti Pelabel tidak dapat ditambahkan (misalnya, karena sudah ada di kumpulan).

Petak Data

• Kolom pertama berisi kotak centang untuk setiap baris. Jika Pengelola memilih satu atau beberapa kotak centang ini, lalu mengklik tombol Kelola Penugasan di atas tabel, mereka akan diarahkan ke halaman Penugasan, dengan Pelabel yang dipilih sudah terisi di filter Pelabel.
• Kolom Email menampilkan alamat email Pelabel.
• Kolom Tugas yang ditetapkan menampilkan jumlah Tugas yang ditetapkan untuk Pelabel. Fitur ini juga memberikan akses ke dialog tempat Pengelola dapat membatalkan penetapan Pemberi Label dari satu atau beberapa Tugas. Pengelola tidak dapat menetapkan dari dialog ini. Untuk menetapkan Tugas, Pengelola harus menggunakan halaman Penugasan.
• Kolom Bahasa menampilkan bahasa yang terkait dengan Pemberi Label. Nilai ini dapat memengaruhi Pertanyaan mana yang dapat disewa oleh Pemberi Label, bergantung pada konfigurasi Pertanyaan saat dimasukkan dalam antrean.
• Kolom Tindakan berisi menu dengan beberapa tindakan tambahan yang dapat dilakukan pada Tugas:
  • Tugas: Opsi ini menyediakan pintasan ke halaman Tugas, dengan Pemberi Label yang dipilih di filter pada awalnya.
  • Hapus: Menghapus Pemberi Label dari kumpulan Pemberi Label saat ini.

Di atas tabel data terdapat kontrol penomoran halaman, yang dapat digunakan Pengelola untuk memutuskan menampilkan lebih banyak hasil per halaman, dan berpindah antar-halaman hasil.

Tugas

Halaman penugasan memungkinkan Pengelola mengelola penugasan ke Tugas untuk Pemberi Label di kumpulan Pemberi Label.

Filter

Isi petak tugas ditentukan oleh dua set kriteria filter: filter Pemberi Label, yang menentukan apa yang muncul di sumbu Y, dan filter Tugas, yang menentukan apa yang muncul di sumbu X.

Filter pemberi label

• Pemilih tugas: menggunakan kolom ini, Pengelola dapat memilih satu atau beberapa Tugas. Kumpulan Pelabel yang ditampilkan dalam petak akan mencakup semua Pelabel yang ditetapkan ke salah satu tugas tersebut.
• Filter email: menggunakan kolom ini, Pengelola dapat menentukan satu atau beberapa alamat email, yang dipisahkan dengan koma. Kumpulan Pemberi Label yang ditampilkan di petak akan mencakup semua Pemberi Label dengan alamat email tersebut.

Salah satu atau kedua filter ini dapat digunakan, tetapi setidaknya satu filter harus digunakan.

Filter tugas

• Pemilih tugas: menggunakan kolom ini, Pengelola dapat memilih satu atau beberapa Tugas. Kumpulan Tugas yang ditampilkan dalam petak akan mencakup semua Tugas yang dipilih.
• Filter tambahan:
  • Semua Tugas yang Dijeda: Jika dicentang, Tugas yang ditampilkan juga akan mencakup Tugas yang dijeda.
  • Semua Tugas Selesai: Jika dicentang, Tugas yang ditampilkan juga akan mencakup Tugas yang telah diselesaikan (tidak ada pertanyaan yang tersedia untuk dikerjakan).
  • Semua Tugas yang Tidak Ditetapkan: Jika dicentang, Tugas yang ditampilkan juga akan mencakup Tugas yang tidak ditetapkan kepada Pemberi Label mana pun.
  • Semua Tugas Berkelanjutan: Jika kotak ini dicentang, Tugas yang ditampilkan juga akan mencakup Tugas yang "berkelanjutan" (tidak dijeda, selesai, atau tidak ditetapkan).

Kombinasi filter ini dapat digunakan, tetapi setidaknya satu filter harus digunakan. Filter ini tidak saling terkait; opsi yang dipilih di filter Pemberi Label tidak memengaruhi opsi yang dipilih di filter Tugas, dan sebaliknya.

Petak Tugas

Petak menampilkan hasil kriteria filter yang dipilih. Pelabel merupakan sumbu Y, dan Tugas merupakan sumbu X. Untuk setiap sel, Pengelola dapat mencentang kotak untuk menetapkan Pemberi Label yang sesuai ke Tugas yang sesuai, atau menghapus centang pada kotak untuk membatalkan penetapan Pemberi Label yang sesuai dari Tugas yang sesuai.

Ada juga beberapa pintasan yang tersedia di menu di setiap header baris dan sel header kolom (menu dibuka dengan mengklik tombol dengan tiga titik vertikal). Misalnya, jika Pengelola membuka menu di sel header Pemberi Label, Pengelola dapat menetapkan atau membatalkan penetapan Pemberi Label tersebut dari semua Tugas sekaligus. Pengelola juga dapat menyembunyikan baris atau kolom dengan opsi menu Hapus, atau melihat Tugas yang saat ini ditetapkan ke Pemberi Label/Pemberi Label yang saat ini ditetapkan ke Tugas. Saat mengisi baris dan kolom, Pengelola dapat memilih untuk menghapus Pelabel atau Tugas tertentu dari petak tugas menggunakan pintasan yang tersedia. Tindakan ini tidak akan memengaruhi status penetapan Tugas atau Pemberi Label yang dihapus. Tugas atau Pemberi Label yang dihapus dapat ditampilkan lagi di petak menggunakan filter masing-masing di bagian atas. Hanya Tugas dan Pemberi Label yang ada di petak tugas yang akan digunakan untuk mengubah tugas setelah menerapkan perubahan.

Setelah perubahan pada penetapan dilakukan, tombol Terapkan perubahan di bagian atas halaman akan diaktifkan. Tombol Hapus perubahan juga akan tersedia; mengklik tombol ini akan mereset perubahan tugas yang belum dilakukan.

Saat tombol Terapkan perubahan diklik, Pengelola akan melihat daftar semua perubahan yang akan dilakukan pada tugas. Setelah Pengelola meninjau perubahan, Pengelola dapat membatalkan perubahan atau melakukan perubahan. Jika membatalkan perubahan, mereka akan kembali ke halaman Tugas untuk melanjutkan pengeditan tugas. Jika mereka Menyimpan perubahan, tugas akan disimpan dan mereka akan diarahkan kembali ke halaman Tugas.

Hingga Pengelola mengklik Kirim di halaman daftar perubahan, perubahan yang dibuatnya di petak tidak akan disimpan.

Workbench pemberi label

Workbench Pemberi Label adalah antarmuka yang digunakan Pemberi Label untuk memberi label pada Pertanyaan. Pertanyaan yang mereka terima bergantung pada Kumpulan Pekerja tempat mereka tergabung, yang ditetapkan oleh Pengelola.

Mendapatkan Pertanyaan

Saat dimuat, workbench akan otomatis mencoba mendapatkan Pertanyaan untuk Pemberi Label untuk diberi label. Hal ini dapat gagal karena beberapa alasan:

• Pelabel tidak ditetapkan ke Tugas apa pun di Kumpulan Pelabel saat ini (workbench menggunakan satu Kumpulan Pelabel dalam satu waktu). Mungkin ada pertanyaan yang tersedia untuk Pemberi Label di Kumpulan Pemberi Label lain.
• Pelabel ditetapkan ke satu atau beberapa Tugas, tetapi saat ini tidak ada pertanyaan yang tersedia untuk Pelabel tertentu tersebut. Hal ini mungkin disebabkan oleh beberapa alasan:
  • Tidak ada Pertanyaan yang dimasukkan dalam antrean
  • Semua Pertanyaan telah memenuhi persyaratan replikasi
  • Semua Pertanyaan dengan replikasi yang tersisa telah disewakan kepada Pemberi Label lain yang sedang mengerjakannya pada saat itu
  • Semua Pertanyaan yang tersedia memiliki bahasa yang terkait dengannya yang tidak dimiliki oleh Pemberi Label.
  • Pelabel telah menjawab semua Pertanyaan yang tersedia baginya. Pertanyaan ini mungkin masih tersedia untuk Pemberi Label lain hingga replikasi terpenuhi.
  • Pelabel tidak dapat menjawab Pertanyaan yang tersedia karena mereka mengirimkan Jawaban untuk Pertanyaan ini pada contoh sebelumnya. Pertanyaan ini mungkin masih tersedia untuk Pelabel lain.

Setelah workbench dimuat, Pemberi Label mungkin kehabisan Pertanyaan. Jika hal ini terjadi, tombol akan muncul yang memungkinkan Pemberi Label mencoba mendapatkan Pertanyaan lagi (tunduk pada potensi kegagalan yang sama seperti di atas).

Menangani Pertanyaan

Jika Pelabel memiliki Pertanyaan yang disewakan kepadanya, Pertanyaan tersebut akan muncul di workbench. Tampilan spesifik bergantung pada Pertanyaan yang dimasukkan dalam antrean dan UI yang dikonfigurasi untuk digunakan oleh Tugas.

Workbench akan memulai timer hingga penetapan pertanyaan berakhir. Setelah timer selesai, Pertanyaan akan berakhir dan dihapus dari workbench agar dapat ditetapkan ke pemberi rating lain dan menjaga kelancaran antrean.

Setelah Pemberi Label mengirimkan jawabannya untuk Pertanyaan, workbench akan otomatis memuat pertanyaan berikutnya yang tersedia. Jika tidak, Pemberi Label harus meminta lebih banyak pertanyaan dengan tombol Dapatkan Lebih Banyak Pertanyaan, yang ditampilkan di atas.

Status pengiriman

Ada beberapa tempat di workbench tempat Pemberi Label dapat melihat status pengiriman Jawaban mereka: apakah pengiriman berhasil, gagal, atau masih dalam proses.

Dialog notifikasi

Dialog ini menampilkan status Jawaban yang telah dikirimkan oleh Pemberi Label:

• Ikon dan angka di sebelah kiri (jam oranye) mewakili Jawaban yang masih dalam proses pengiriman.
• Ikon tengah (segitiga merah) mewakili Jawaban yang gagal dikirim. Kegagalan pengiriman dapat disebabkan oleh error server atau masalah pada koneksi internet klien.
• Ikon di sebelah kanan mewakili Jawaban yang telah berhasil dikirimkan.

Perhatikan bahwa jumlah tidak tetap ada di browser; jika Anda menutup workbench dan membukanya lagi(atau memuat ulang halaman), penghitung akan direset ke 0.

Alat lainnya

Ada beberapa alat tambahan yang tersedia dalam menu yang dibuka dari tombol di akhir toolbar utama.

Opsinya adalah:

• Lewati: Melewati pertanyaan saat ini, jika Tugas mengizinkan untuk dilewati. Hal ini umumnya digunakan jika Pertanyaan yang ditampilkan di UI rusak, tetapi masing-masing Pengelola dapat memberikan petunjuk kepada Pemberi Label tentang kapan harus melewati pertanyaan. Perhatikan bahwa lewati dihitung sebagai jawaban, disimpan dengan metadata tambahan yang menunjukkan bahwa pertanyaan dilewati dan alasannya.
• Temukan Jawaban: Membuka halaman Jawaban, yang memungkinkan Pemberi Label melihat Jawabannya untuk Pertanyaan apa pun dengan menelusuri ID Pertanyaan. Pelabel hanya dapat melihat Jawabannya sendiri, sedangkan Pengelola di Kumpulan Pelabel dapat melihat semua jawaban.

Antrean pertanyaan

Ada juga antrean Pertanyaan yang jawabannya telah dikirimkan oleh Pemberi Label:

Dalam kasus ini, Jawaban pertama berhasil dikirimkan, tetapi Jawaban berikutnya gagal dikirimkan. Jawaban berikutnya berhasil dikirimkan, dan balon keempat merepresentasikan Pertanyaan yang saat ini dimuat dan sisa waktunya. Balon terakhir memberikan jumlah Pertanyaan yang dapat disewakan kepada Pemberi Label. Hal ini membantu Pemberi Label mengetahui kapan mereka hampir kehabisan Pertanyaan untuk diberi label, dan mereka dapat memberi tahu Pengelola mereka.

Pelabel dapat kembali ke Pertanyaan sebelumnya dengan mengklik balon yang sesuai. Jika Pertanyaan belum berakhir, Pemberi Label dapat mengubah Jawabannya dan mengirimkannya lagi. Hanya jawaban terbaru yang akan disimpan; jawaban ini akan menimpa jawaban sebelumnya. Perhatikan bahwa beberapa tugas mungkin diinstruksikan untuk tidak menggunakan fungsi ini jika pengiriman jawaban sudah final.

Toolbar alat tambahan

Ada toolbar yang berisi alat tambahan untuk workbench. Bagian ini disembunyikan secara default, tetapi dapat diperluas jika diperlukan.

Ada tiga tombol yang tersedia di sini:

• Layar penuh: Membuat plugin terbuka dalam mode layar penuh. Tindakan ini hanya akan menampilkan workbench, dan menyembunyikan UI browser, serta toolbar sistem operasi. Pelabel dapat keluar dari mode ini dengan menekan Esc atau dengan mengklik tombol yang sama lagi.
• Muat Ulang: Memuat ulang plugin yang saat ini terlihat. Hal ini lebih baik daripada memuat ulang halaman dari browser dalam sebagian besar kasus karena memuat ulang halaman dapat menghapus beberapa status, seperti waktu yang dihabiskan dan jawaban yang dikirimkan, dan Pemberi Label tidak dijamin akan mendapatkan pertanyaan yang sama lagi jika mereka memuat ulang halaman.
• Info pertanyaan: Bagian ini menampilkan beberapa informasi tentang Pertanyaan yang saat ini terlihat, seperti ID pertanyaan dan nama plugin. Mencatat informasi ini dapat berguna saat melaporkan masalah terkait pertanyaan tertentu, bergantung pada petunjuk pengelola tugas.

Halaman Analytics

Halaman Analytics memberi Pelabel tampilan kontribusi terbaru mereka.

Di bagian atas terdapat grafik rasio kontribusi. Di bawahnya, informasi yang sama ditampilkan dalam bentuk tabel. Pemberi Label dapat memilih dari beberapa rentang waktu yang telah ditentukan untuk melihat data. Halaman Analytics dapat diakses dengan mengklik tombol Analytics di toolbar.

Menyediakan ruang untuk plugin

Ada beberapa kontrol yang tersedia untuk menyesuaikan jumlah ruang yang tersedia untuk plugin.

Tombol atas (panah diagonal) mengalihkan visibilitas One Google Bar--batang tepat di atasnya yang berisi pengalih akun Google. Tombol bawah (panah ke bawah) mengubah visibilitas toolbar alat tambahan. Jika digabungkan dengan mode Layar Penuh, menyembunyikan kedua toolbar akan memberikan hampir seluruh layar untuk plugin.

---

1. Pengelola Kumpulan Pelabel adalah pengguna dengan izin untuk menambahkan atau menghapus Pelabel dan mengubah tugas yang ditetapkan kepada pelabel. ↩

2. Tugas adalah kumpulan Pertanyaan yang dapat ditetapkan ke satu atau beberapa Pemberi Label dari Kumpulan Pemberi Label. ↩

3. Kumpulan Pemberi Label adalah kumpulan pemberi label yang dikelola oleh satu atau beberapa Pengelola. Pemberi label dari kumpulan dapat ditugaskan untuk mengerjakan Tugas yang diaktifkan untuk kumpulan tersebut. ↩