Panduan Memulai: Menyelesaikan Tugas Peninjauan

Setiap pemroses membuat "tugas HITL" yang ditetapkan ke kumpulan pemberi label manual (disebut "Kumpulan Pemberi Label") yang meninjau dokumen yang diproses oleh pemroses. Setelah diproses, dokumen ini dimasukkan ke dalam antrean tugas untuk peninjauan HITL oleh Kumpulan Pemberi Label yang ditetapkan.

Sebelum memulai

Selesaikan Panduan Mulai Cepat: Mengonfigurasi Peninjauan Manual sebelumnya sebelum melanjutkan.

Menambahkan Pemberi Label

  1. Setelah mengonfigurasi Peninjauan Manusia, Anda akan menerima email yang mirip dengan berikut ini:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Klik link dalam email (atau potong dan tempel ke browser) untuk membuka halaman Pengelola:

  2. Tugas yang dibuat oleh Pemroses yang baru dibuat memiliki nama yang sama dengan Pemroses (misalnya, "Invoice Departemen A") dan tercantum di tab Tugas.

  3. Klik tab Pemberi Label

  4. Klik Tambahkan Pemberi Label, lalu tambahkan minimal satu pemberi label (Email). Pengelola dapat menjadi pemberi label, sehingga Anda dapat menambahkan diri sendiri.

  5. Untuk Kumpulan Pemberi Label yang baru dibuat, tugas harus ditetapkan secara eksplisit kepada setiap pemberi label di tab Tugas. Artinya, menambahkan Kumpulan Pelabel tidak otomatis menetapkan tugas kepada pelabel baru ini. Jika Kumpulan Pelabel telah menyediakan pelabel, kumpulan tersebut akan otomatis ditetapkan ke tugas.

Memposting Dokumen Awal untuk Ditinjau

  1. Kirim dokumen untuk diekstrak melalui Prosesor yang dibuat. Lihat Panduan Cara Kerja sesuai kebutuhan. Panggilan online (sinkron) dan batch (asinkron) saat ini mendukung pemilihan rute Peninjauan Manual untuk pemroses yang didukung.

    Untuk tujuan pengujian, Anda dapat menggunakan ekstraksi yang diketahui buruk untuk memicu Peninjauan Manual dengan skor keyakinan di bawah nilai minimum, atau Anda dapat menetapkan nilai minimum ke 100%. Batas dokumen biasanya 5 halaman, maksimum 20 MB, tetapi periksa batas Prosesor tertentu.

    Ada API untuk melacak setiap dokumen yang dirutekan ke Peninjauan Manual. Sebagai bagian dari respons dari Pemroses, ada string humanReviewOperation yang merupakan ID Operasi (nama tugas) dokumen dalam Peninjauan Manual. Operasi yang Berjalan Lama ini (juga disebut sebagai LRO) dapat dikueri untuk mengetahui statusnya.

    Anda dapat membuat kueri status dokumen yang dirutekan ke Peninjauan Manual dengan metode projects.locations.operations.get

  2. Anda dapat memaksa dokumen untuk Ditinjau Manual dengan metode reviewDocument (perhatikan bahwa metode ini khusus untuk Pemroses):

    Penggunaan metode reviewDocument mengharuskan kotak centang Peninjauan Manual DIAKTIFKAN dipilih. Penggunaan API ini tidak akan mengganti setelan konfigurasi.

    Anda dapat mengikuti panduan Meminta Peninjauan Manual untuk menggunakan metode ini.

Meninjau dokumen

  1. Jika dokumen memicu proses peninjauan manual, tetapi tidak ada Pemberi Label dalam kumpulan, pengelola akan mendapatkan email.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Link ini ditujukan untuk Pengelola Pelabelan guna mengalokasikan pekerjaan pelabelan.

  1. Jika pelabel tidak terdaftar di Grup Pemberian Label dan baru ditambahkan, Pengelola Pemberian Label harus mengirim email serupa dengan petunjuk kepada Pelabel yang ditambahkan.

Langkah Pemberi Label

Prosedur Pemberi Label

  1. Email Pemberi Label

    Jika pelabel sudah terdaftar ke Grup Pemberian Label di Langkah 2e, sistem akan mengalokasikan secara otomatis, dan mereka akan mendapatkan email seperti ini:

    gambar

    Link dalam email ini adalah mekanisme bagi Pemberi Label yang dipilih untuk melakukan tugas pelabelan pada dokumen.

  2. Tindakan Pemberian Label:

    Saat Pemberi Label mengklik link untuk melakukan pelabelan, mereka akan melihat Antarmuka Pengguna Peninjauan Manual AI Interaktif yang ditampilkan di bawah. Baris yang ditandai (dengan warna kuning) menunjukkan baris yang gagal dalam validasi (yaitu, berada di bawah nilai minimum skor keyakinan yang dikonfigurasi) dan memerlukan peninjauan.

    gambar

  3. Tinjau Dengan mengarahkan kursor ke kolom teks yang dikenali, teks yang dikenali dan (Dalam font yang lebih kecil di bawahnya) nama kolom (skema) akan ditampilkan. Baris juga ditandai di panel kiri.

    Pengguna dapat memperbesar/memperkecil dengan ikon kaca pembesar di kiri atas toolbar.

    gambar

  4. Mengubah Kolom

    Dengan mengklik (kiri) kolom, Anda dapat mengeditnya:

    Anda dapat mengubah nilai atau label di panel kiri. Lalu klik Apply.

    ATAU, dengan mengklik salah satu ikon sudut ubah ukuran pada gambar dokumen, Anda dapat mengubah ukuran kotak pembatas di sekitar teks dokumen:

    Seperti yang ditunjukkan, jika teks yang berbeda dipilih, teks di Nilai kolom di panel kiri akan berubah. Anda dapat mengedit teks ini lebih lanjut jika perlu. Lalu klik Apply.

    Pastikan untuk meninjau semua halaman, menggunakan kontrol halaman di sudut kanan atas.

Setelah melakukan semua perubahan label yang diperlukan, klik KIRIM (di kiri bawah). JSON hasil akan disimpan ke folder "Lokasi hasil".

Jika dokumen tidak dapat diberi label dengan memuaskan, Anda dapat mengklik TOLAK (di kiri bawah), lalu memilih alasan untuk menolak dokumen: - Pilih alasan, lalu klik Tolak dokumen.

Pemberi label juga dapat mengklik ikon berikut di sudut kanan atas:

  • Analytics - untuk menampilkan jumlah dokumen yang telah ditinjau (Jawaban) dan total waktunya.
  • Notifikasi - Untuk menampilkan Notifikasi yang telah mereka terima.
  • Lainnya (3 Titik) - Untuk Lewati dokumen, Temukan Jawaban, atau berikan Masukan (jika diaktifkan).
  • Tombol Baris judul (Panah Diagonal) - Tindakan ini akan menyembunyikan (atau menampilkan) panel judul DataCompute untuk mendapatkan lebih banyak ruang.

Pengelola Pelabelan

Meninjau Dokumen dari Cloud Storage

Jika Anda ingin memeriksa dokumen, ada dua opsi:

  • Opsi 1:

    1. Menemukan Cloud Storage dari lokasi yang dikonfigurasi sebelumnya
    2. Mengambil dan mendownload dokumen

  • Opsi 2:

    1. Ingat URI untuk mengambil dokumen dari respons Prediksi
    2. Memanggil URI untuk mengambil dokumen yang ditinjau

Langkah selanjutnya