UI Pengelola Pelabelan dan Workbench Labeler

Perhatian: Memerlukan Interaksi Manusia Document AI tidak digunakan lagi dan tidak akan tersedia lagi di Google Cloud setelah 16 Januari 2025. Pelanggan baru tidak diizinkan. Jika Anda ingin menggunakan (HITL) tetapi tidak melihat opsi yang tersedia, hubungi tim Akun Google Anda.

Untuk menerapkan solusi peninjauan dan koreksi manual yang memenuhi persyaratan Anda, sebaiknya Anda bekerja sama dengan Google Cloud partner bersertifikasi seperti Devoteam, Searce, atau Quantiphi. Lihat Penghentian penggunaan untuk mengetahui detailnya.

UI Pengelola

UI Pengelola memungkinkan Pengelola¹ mengelola pekerjaan Pemberi Label pada Tugas². Pengelola dapat menggunakan UI ini untuk menambahkan atau menghapus Pemberi Label, menetapkan atau membatalkan penetapan Tugas, dan memantau progres Tugas serta analisis tentang performa setiap Pemberi Label.

Di sebelah kiri adalah daftar semua Google Cloud kumpulan Labeler yang diaktifkan project³ yang dikelola pengguna. Angka di sebelah kanan nama kumpulan pelabel adalah jumlah Pelabel dalam kumpulan tersebut. Di sebelah kanannya terdapat konten utama UI, yang terdiri dari empat tab:

• Tugas
• Pemberi label
• Tugas

Tasks

Tabel tugas adalah tampilan semua Tugas dalam project Google Cloud kumpulan Pemberi label. Halaman ini berisi beberapa statistik dasar tentang Tugas, serta memberikan kemampuan untuk menjeda Tugas, dan rute cepat untuk menetapkan Pemberi Label ke Tugas.

Filter

Di atas petak data terdapat serangkaian kontrol filter untuk menentukan Tugas yang ditampilkan di petak data.

• Menelusuri tugas menurut nama: Memfilter hasil ke tugas dengan nama yang dimasukkan. Mencakup fungsi pelengkapan otomatis.
• Sedang berlangsung: Jika dicentang, hasil akan menyertakan semua Tugas yang tidak dijeda, diselesaikan, atau dibatalkan penetapannya. Opsi ini diaktifkan secara default.
• Dijeda: Jika dicentang, hasil akan menyertakan semua Tugas yang dijeda.
• Selesai: Jika dicentang, hasil akan menyertakan semua Tugas yang telah selesai, yaitu tidak memiliki Pertanyaan yang tersedia (baik karena belum ada Pertanyaan yang dimasukkan ke antrean atau karena semua Pertanyaan yang dimasukkan ke antrean telah dijawab).
• Tidak ditetapkan: Jika dicentang, hasil akan menyertakan semua Tugas yang tidak memiliki Pemberi Label yang ditetapkan.

Jika tidak ada filter yang dipilih, ini adalah error dan halaman akan memberi tahu Pengelola untuk membuat beberapa pilihan filter. Jika salah satu kotak centang tidak dicentang, Tugas yang cocok dengan kondisi kotak centang tersebut akan dikecualikan kecuali Tugas cocok dengan salah satu kondisi kotak centang yang dicentang. Misalnya, jika Tugas dijeda dan tidak ditetapkan, Tugas tersebut akan ditampilkan jika kotak centang Dijeda dicentang, atau kotak centang Tidak Ditetapkan dicentang (atau keduanya). Hasil ini tidak akan ditampilkan jika kotak centang Dijeda atau kotak centang Tidak ditetapkan tidak dipilih.

Petak Data

• Kolom pertama berisi kotak centang untuk setiap baris. Jika Pengelola memilih satu atau beberapa kotak centang ini, lalu mengklik tombol Kelola Tugas di atas tabel, ia akan diarahkan ke halaman Tugas, dengan Tugas yang dipilih sudah terisi di filter Tugas.
• Kolom Tugas menampilkan nama Tugas. Nama ini ditetapkan oleh orang yang membuat Tugas dan merupakan nama yang dapat dibaca manusia (seperti "Klasifikasi resume") dan bukan ID internal (seperti "cloud_data_67523fe89343").
• Kolom Objective berisi nama objektif--kolom ini menjelaskan jenis tugas (klasifikasi gambar, klasifikasi teks, dll.).
• Kolom "Terakhir diantrekan" berisi tanggal saat Pertanyaan terbaru diantrekan (kosong jika belum ada pertanyaan yang diantrekan ke tugas).
• Kolom Ditugaskan menampilkan jumlah Pemberi Label yang saat ini ditugaskan untuk tugas tersebut. Tindakan ini juga memberikan akses ke dialog tempat Pengelola dapat membatalkan penetapan Pemberi Label. Pengelola tidak dapat menetapkan dari dialog ini. Untuk melakukannya, ia harus menggunakan halaman Penetapan.
• Kolom Pertanyaan yang Tersedia/Diantrekan menampilkan rasio antara jumlah Pertanyaan dalam Tugas yang saat ini tersedia untuk dikerjakan oleh Pemberi Label dan jumlah total Pertanyaan yang saat ini diantrekan dalam Tugas.
• Kolom Progres menampilkan tampilan grafis dan berbasis persentase dari rasio di atas. Halaman ini juga menunjukkan apakah Tugas dijeda (tidak menayangkan pertanyaan apa pun), seperti yang terlihat di baris bawah tabel pada screenshot di atas.
• Kolom Tindakan berisi menu dengan beberapa tindakan tambahan yang dapat dilakukan pada Tugas:
  • Jeda: Hanya tersedia jika Tugas saat ini tidak dijeda, tindakan ini akan menjeda Tugas.
  • Lanjutkan: Hanya tersedia jika Tugas saat ini dijeda, tindakan ini akan melanjutkan Tugas.
  • Tugas: Opsi ini menyediakan pintasan ke halaman Tugas, dengan Tugas yang awalnya dipilih di filter.

Di atas tabel data terdapat kontrol penomoran halaman, yang dapat digunakan Pengelola untuk memutuskan menampilkan lebih banyak hasil per halaman, dan berpindah antarhalaman hasil.

Pemberi label

Tabel pelabel adalah tampilan semua Pelabel di kumpulan Pelabel. Halaman ini berisi beberapa statistik dasar tentang Pemberi Label, serta cara menetapkan Pemberi Label ke Tugas dengan cepat.

Filter

Di atas petak data terdapat kotak filter, yang memfilter hasil ke email yang dimasukkan. Beberapa email dapat dipisahkan dengan koma.

Menambahkan Pemberi Label

Tombol Tambahkan akan membuka dialog tempat Pengelola dapat menambahkan satu atau beberapa Pemberi Label ke kumpulan. Beberapa alamat email dapat dimasukkan, yang dipisahkan dengan koma. Kode bahasa (misalnya, "en", "de") juga dapat dimasukkan, dipisahkan dengan koma. Orang (email) yang sama dapat muncul di beberapa kumpulan pelabel, dan memiliki tugas yang berbeda di setiap kumpulan.

Dialog akan menampilkan ringkasan Pemberi Label yang ditambahkan atau tidak ditambahkan. Tanda centang berarti Labeler berhasil ditambahkan, sedangkan X merah berarti Labeler tidak dapat ditambahkan (misalnya, karena sudah ada dalam kumpulan).

Petak Data

• Kolom pertama berisi kotak centang untuk setiap baris. Jika Pengelola memilih satu atau beberapa kotak centang ini, lalu mengklik tombol Kelola Tugas di atas tabel, ia akan diarahkan ke halaman Tugas, dengan Pemberi Label yang dipilih sudah terisi di filter Pemberi Label.
• Kolom Email menampilkan alamat email Pemberi Label.
• Kolom Tasks assigned menampilkan jumlah Tasks yang ditetapkan untuk Labeler. Halaman ini juga menyediakan akses ke dialog tempat Pengelola dapat membatalkan penetapan Pemberi Label dari satu atau beberapa Tugas. Pengelola tidak dapat menetapkan dari dialog ini. Untuk menetapkan Tugas, Pengelola harus menggunakan halaman Tugas.
• Kolom Bahasa menampilkan bahasa yang terkait dengan Pemberi Label. Nilai ini dapat memengaruhi Pertanyaan yang dapat disewa oleh Pemberi Label, bergantung pada konfigurasi Pertanyaan saat diantrekan.
• Kolom Tindakan berisi menu dengan beberapa tindakan tambahan yang dapat dilakukan pada Tugas:
  • Tugas: Opsi ini menyediakan pintasan ke halaman Tugas, dengan Pemberi Label yang awalnya dipilih di filter.
  • Hapus: Menghapus Pemberi Label dari kumpulan Pemberi Label saat ini.

Di atas tabel data terdapat kontrol penomoran halaman, yang dapat digunakan Pengelola untuk memutuskan menampilkan lebih banyak hasil per halaman, dan berpindah antarhalaman hasil.

Tugas

Halaman tugas memungkinkan Pengelola mengelola tugas ke Tugas untuk Pemberi Label di kumpulan Pemberi Label.

Filter

Konten petak tugas ditentukan oleh dua kumpulan kriteria filter: filter Pemberi Label, yang menentukan apa yang muncul di sumbu Y, dan filter Tugas, yang menentukan apa yang muncul di sumbu X.

Filter pemberi label

• Pemilih tugas: dengan menggunakan kolom ini, Pengelola dapat memilih satu atau beberapa Tugas. Kumpulan Pemberi Label yang ditampilkan di petak akan menyertakan semua Pemberi Label yang ditugaskan untuk tugas tersebut.
• Filter email: dengan kolom ini, Pengelola dapat menentukan satu atau beberapa alamat email, yang dipisahkan dengan koma. Kumpulan Pemberi Label yang ditampilkan dalam petak akan menyertakan semua Pemberi Label dengan salah satu alamat email tersebut.

Salah satu atau kedua filter ini dapat digunakan, tetapi setidaknya satu filter harus digunakan.

Filter tugas

• Pemilih tugas: dengan menggunakan kolom ini, Pengelola dapat memilih satu atau beberapa Tugas. Kumpulan Tugas yang ditampilkan dalam petak akan menyertakan semua Tugas yang dipilih.
• Filter tambahan:
  • Semua Tugas yang Dijeda: Jika dicentang, Tugas yang ditampilkan juga akan menyertakan Tugas yang dijeda.
  • Semua Tugas Selesai: Jika dicentang, Tugas yang ditampilkan juga akan menyertakan Tugas yang telah selesai (tidak ada pertanyaan yang tersedia untuk dikerjakan).
  • Semua Tugas yang Tidak Ditetapkan: Jika dicentang, Tugas yang ditampilkan juga akan menyertakan Tugas yang tidak ditetapkan kepada Pemberi Label.
  • Semua Tugas yang Sedang Berlangsung: Jika dicentang, Tugas yang ditampilkan juga akan menyertakan Tugas yang "sedang berlangsung" (tidak dijeda, selesai, atau tidak ditetapkan).

Kombinasi filter ini dapat digunakan, tetapi setidaknya satu filter harus digunakan. Filter ini tidak bergantung satu sama lain; opsi yang dipilih di filter Pemberi label tidak akan memengaruhi opsi yang dipilih di filter Tugas, dan sebaliknya.

Petak Tugas

Petak menampilkan hasil kriteria filter yang dipilih. Pemberi label membentuk sumbu Y, dan Tugas membentuk sumbu X. Untuk setiap sel, Pengelola dapat mencentang kotak untuk menetapkan Pemberi Label yang sesuai ke Tugas yang sesuai, atau menghapus centang pada kotak untuk membatalkan penetapan Pemberi Label yang sesuai dari Tugas yang sesuai.

Ada juga beberapa pintasan yang tersedia di menu di setiap sel header baris dan header kolom (menu dibuka dengan mengklik tombol dengan tiga titik vertikal). Misalnya, jika Pengelola membuka menu di sel header Pemberi Label, Pengelola dapat menetapkan atau membatalkan penetapan Pemberi Label tersebut dari semua Tugas sekaligus. Pengelola juga dapat menyembunyikan baris atau kolom dengan opsi menu Hapus, atau melihat Tugas yang saat ini ditetapkan kepada Pemberi Label/Pemberi Label yang saat ini ditetapkan ke Tugas. Saat mengisi baris dan kolom, Pengelola dapat memilih untuk menghapus Pemberi Label atau Tugas tertentu dari petak tugas menggunakan pintasan yang tersedia. Tindakan ini tidak akan memengaruhi status tugas Tugas atau Pemberi Label yang dihapus. Tasks atau Pemberi Label yang dihapus dapat ditampilkan lagi dalam petak menggunakan filter masing-masing di bagian atas. Hanya Tugas dan Pemberi Label yang ada di petak tugas yang akan digunakan untuk mengubah tugas setelah melakukan perubahan.

Setelah perubahan pada tugas dilakukan, tombol Commit changes di bagian atas halaman akan diaktifkan. Tombol Hapus perubahan juga akan tersedia; mengklik tombol ini akan mereset perubahan tugas yang belum di-commit.

Saat tombol Commit changes diklik, Pengelola akan melihat daftar semua perubahan yang akan dilakukan pada tugas. Setelah meninjau perubahan, Pengelola dapat membatalkan perubahan atau melakukan perubahan. Jika membatalkan perubahan, mereka akan dikembalikan ke halaman Tugas untuk melanjutkan pengeditan tugas. Jika mereka Melakukan commit pada perubahan, tugas akan di-commit dan mereka akan diarahkan kembali ke halaman Tugas.

Perubahan yang dibuat di petak tidak akan disimpan hingga Pengelola mengklik Commit di halaman daftar perubahan.

Workbench pemberi label

Workbench Labeler adalah antarmuka yang digunakan Labeler untuk memberi label pada Pertanyaan. Pertanyaan yang mereka terima bergantung pada Tampungan Pekerja yang menjadi bagian dari mereka, yang ditetapkan oleh Pengelola.

Mendapatkan Pertanyaan

Saat dimuat, workbench akan otomatis mencoba mendapatkan Pertanyaan untuk diberi label oleh Pemberi Label. Hal ini dapat gagal karena beberapa alasan:

• Pemberi Label tidak ditetapkan ke Tugas apa pun di Kumpulan Pemberi Label saat ini (workbench menggunakan satu Kumpulan Pemberi Label dalam satu waktu). Mungkin ada pertanyaan yang tersedia untuk Pemberi Label di Tampungan Pemberi Label lain.
• Pemberi Label ditetapkan ke satu atau beberapa Tugas, tetapi tidak ada Tugas yang saat ini memiliki pertanyaan yang tersedia untuk Pemberi Label tersebut. Hal ini mungkin disebabkan oleh beberapa alasan:
  • Tidak ada Pertanyaan yang dimasukkan ke antrean
  • Semua Pertanyaan telah memenuhi replikasi
  • Semua Pertanyaan dengan replika yang tersisa telah disewakan kepada Pemberi Label lain yang sedang mengerjakannya pada saat itu
  • Semua Pertanyaan yang tersedia memiliki bahasa yang terkait dengannya yang tidak dimiliki Pemberi Label.
  • Pemberi Label telah menjawab semua Pertanyaan yang tersedia untuknya. Pertanyaan ini mungkin masih tersedia untuk Pemberi Label lain hingga replika selesai.
  • Pemberi Label diblokir agar tidak menjawab Pertanyaan yang tersedia karena ia mengirimkan Jawaban ke instance Pertanyaan ini sebelumnya. Pertanyaan ini mungkin masih tersedia untuk Pemberi Label lain.

Setelah workbench dimuat, Labeler mungkin kehabisan Pertanyaan. Jika hal ini terjadi, tombol akan muncul yang memungkinkan Pemberi Label mencoba mendapatkan Pertanyaan lagi (tunduk pada potensi kegagalan yang sama seperti di atas).

Menangani Pertanyaan

Jika Pemberi Label memiliki Pertanyaan yang disewakan kepadanya, Pertanyaan tersebut akan muncul di ruang kerja. Tampilan spesifik bergantung pada Pertanyaan yang dimasukkan ke antrean dan UI yang dikonfigurasi untuk digunakan oleh Tugas.

Workbench akan memulai timer hingga masa berlaku tugas pertanyaan berakhir. Setelah timer selesai, masa berlaku Pertanyaan akan berakhir dan dihapus dari ruang kerja agar dapat ditetapkan ke penilai lain dan terus melanjutkan antrean.

Saat Pemberi Label mengirimkan jawabannya ke Pertanyaan, workbench akan otomatis memuat pertanyaan berikutnya yang tersedia. Jika tidak, Pemberi Label harus meminta lebih banyak pertanyaan dengan tombol Dapatkan Pertanyaan Lainnya, yang ditampilkan di atas.

Status pengiriman

Ada beberapa tempat di workbench tempat Pemberi Label dapat melihat status pengiriman Jawaban mereka: apakah pengiriman berhasil, gagal, atau masih dalam proses.

Dialog notifikasi

Dialog ini menampilkan status Jawaban yang telah dikirimkan oleh Pemberi Label:

• Ikon dan angka di sebelah kiri (jam oranye) menunjukkan Jawaban yang masih dalam proses pengiriman.
• Ikon tengah (segitiga merah) mewakili Jawaban yang gagal dikirim. Kegagalan pengiriman dapat disebabkan oleh error server, atau masalah pada koneksi internet klien.
• Ikon di sebelah kanan mewakili Jawaban yang telah berhasil dikirim.

Perhatikan bahwa jumlah tidak disimpan di browser; jika Anda menutup workbench dan membukanya lagi(atau memuat ulang halaman), penghitung akan direset ke 0.

Alat lainnya

Ada beberapa alat tambahan yang tersedia dalam menu yang dibuka dari tombol di akhir toolbar utama.

Opsi yang tersedia adalah:

• Lewati: Melewati pertanyaan saat ini, jika Tugas mengaktifkan fitur lewati. Hal ini biasanya digunakan jika Pertanyaan seperti yang ditampilkan di UI rusak, tetapi setiap Pengelola dapat memberikan petunjuk kepada Pemberi Label tentang kapan harus melewati pertanyaan. Perhatikan bahwa lewati dihitung sebagai jawaban, yang disimpan dengan metadata tambahan yang menunjukkan bahwa pertanyaan dilewati dan alasannya.
• Temukan Jawaban: Membuka halaman Jawaban, yang memungkinkan Pemberi Label melihat Jawaban mereka untuk Pertanyaan apa pun dengan menelusuri ID Pertanyaan. Pemberi Label hanya dapat melihat Jawabannya sendiri, sedangkan Pengelola di Tampungan Pemberi Label dapat melihat semua jawaban.

Antrean pertanyaan

Ada juga antrean Pertanyaan yang jawabannya telah dikirimkan oleh Pemberi Label:

Dalam hal ini, Jawaban pertama berhasil dikirim, tetapi Jawaban berikutnya gagal dikirim. Jawaban berikutnya berhasil dikirim, dan balon keempat mewakili Pertanyaan yang saat ini dimuat dan waktu yang tersisa. Balon terakhir memberikan jumlah Pertanyaan yang dapat disewakan kepada Pemberi Label. Hal ini membantu Pemberi Label mengetahui kapan mereka hampir kehabisan Pertanyaan untuk diberi label, dan mereka dapat memberi tahu Pengelola mereka.

Pemberi Label dapat kembali ke Pertanyaan sebelumnya dengan mengklik balon yang sesuai. Jika Pertanyaan belum berakhir masa berlakunya, Pemberi Label dapat mengubah Jawabannya dan mengirimkannya lagi. Hanya jawaban terbaru yang akan disimpan; jawaban ini akan menimpa jawaban sebelumnya. Perhatikan bahwa beberapa tugas mungkin diinstruksikan untuk tidak menggunakan fungsi ini jika pengiriman jawaban bersifat final.

Toolbar alat tambahan

Tersedia toolbar yang berisi alat tambahan untuk workbench. Panel ini disembunyikan secara default, tetapi dapat diluaskan jika diperlukan.

Ada tiga tombol yang tersedia di sini:

• Layar penuh: Membuat plugin terbuka dalam mode layar penuh. Tindakan ini hanya akan menampilkan workbench, dan menyembunyikan UI browser, serta toolbar sistem operasi apa pun. Pemberi Label dapat keluar dari mode ini dengan menekan Esc atau dengan mengklik tombol yang sama lagi.
• Muat ulang: Memuat ulang plugin yang saat ini terlihat. Dalam sebagian besar kasus, hal ini lebih baik daripada memuat ulang halaman dari browser karena memuat ulang halaman dapat menghapus beberapa status, seperti waktu yang dihabiskan dan jawaban yang dikirimkan, dan Labeler tidak dijamin akan mendapatkan pertanyaan yang sama lagi jika memuat ulang halaman.
• Info pertanyaan: Ini menampilkan beberapa informasi tentang Pertanyaan yang saat ini terlihat, seperti ID pertanyaan dan nama plugin. Mencatat informasi ini mungkin merupakan informasi yang berguna saat melaporkan masalah terkait pertanyaan tertentu, bergantung pada petunjuk pengelola tugas.

Halaman Analytics

Halaman Analytics memberi Pemberi Label tampilan kontribusi terbarunya.

Di bagian atas terdapat grafik rasio kontribusi. Di bawah ini adalah informasi yang sama yang ditampilkan dalam bentuk tabel. Pemberi Label dapat memilih dari beberapa rentang waktu yang telah ditentukan untuk melihat data. Halaman Analytics dapat diakses dengan mengklik tombol Analytics di toolbar.

Membuat ruang untuk plugin

Ada beberapa kontrol yang tersedia untuk menyesuaikan jumlah ruang yang tersedia untuk plugin.

Tombol atas (panah diagonal) akan mengalihkan visibilitas Panel Google Satu--panel tepat di atasnya yang berisi pengalih akun Google. Tombol bawah (panah bawah) akan mengubah visibilitas toolbar alat tambahan. Jika digabungkan dengan mode Layar Penuh, mengalihkan kedua toolbar untuk disembunyikan akan memberi plugin hampir seluruh layar.

---

1. Pengelola Kumpulan Pemberi Label adalah pengguna yang memiliki izin untuk menambahkan atau menghapus Pemberi Label dan mengubah tugas yang ditetapkan untuk pemberi label. ↩

2. Tugas adalah kumpulan Pertanyaan yang dapat ditetapkan ke satu atau beberapa Pemberi Label dari Tampungan Pemberi Label. ↩

3. Kumpulan Pemberi Label adalah kumpulan pemberi label yang dikelola oleh satu atau beberapa Pengelola. Pemberi label dari kumpulan dapat ditugaskan untuk mengerjakan Tugas yang diaktifkan untuk kumpulan tersebut. ↩