Catatan Rilis
Rilis Desember 2022
HITL Configuration Stepper
Tab 'Konfigurasi' di bagian 'Human-In-The-Loop' kini diformat sebagai pasangan langkah yang diurutkan untuk memungkinkan pengalaman penyiapan yang lebih mudah dan lebih terstruktur. Pengguna kini dapat melihat langkah-langkah terpisah untuk mengonfigurasi setelan terkait kumpulan spesialis dan filter untuk memicu HITL, serta memilih petunjuk dan lokasi hasil untuk spesialis.
Rilis Oktober 2022
Dasbor Analisis Pemohon HITL
Human in the Loop kini memiliki tab khusus, yang disebut Analytics, yang menyediakan metrik dan diagram kepada pengguna untuk menganalisis status tugas HITL per pemroses dan melakukan perubahan sesuai kebutuhan.
Saat ini, ada tiga metrik berbeda yang dapat dilihat pengguna. Data dapat digabungkan oleh pemilih rentang waktu yang memberi pengguna opsi berikut:
Untuk setiap rentang waktu yang dipilih, pengguna dapat melihat hal berikut:
- Statistik Gabungan: Tampilan ringkasan jumlah total dokumen yang berhasil diupload ke antrean, jumlah total dokumen yang diselesaikan (yang berarti dikirim dan ditolak) oleh spesialis, dan waktu sejak dokumen tertua ditambahkan ke antrean untuk rentang waktu yang dipilih.
- Diagram aktivitas Memerlukan Interaksi Manusia: Diagram yang menampilkan data deret waktu
saat dokumen ditambahkan ke antrean (
enqueuedDocumentCount
) dan saat dokumen diselesaikan oleh spesialis (completedDocumentCount
). - Rasio pemicu Human in the Loop: Diagram yang menunjukkan data deret waktu untuk persentase dokumen yang diupload yang memicu peninjauan Human in the Loop dalam jangka waktu yang dipilih.
Rilis September 2022
Catatan: Pelanggan yang menggunakan Document AI Workbench, Purchase Order (PO), Invoice, dan pemroses Pengeluaran memiliki akses ke skema baru yang memungkinkan pelanggan memberi label pada kotak centang (jika ditentukan dalam skema) dan merepresentasikan entitas bertingkat secara akurat, yaitu hubungan induk-turunan di UI anotasi dan peninjauan HITL. Seiring semakin banyak prosesor yang menyesuaikan skema baru, catatan rilis ini akan diperbarui untuk mencerminkan hal tersebut
Entitas Bertingkat
- UI Anotasi kini mendukung pemberian label untuk entitas bertingkat. Panel kiri diperbarui dengan tampilan baru untuk baris bertingkat guna merepresentasikan entity bertingkat. Nilai "parent" adalah penyambungan semua "children"-nya.
- Pemilihan entitas panel kiri menampilkan label induk dan turunan.
- Menu label entitas dalam dokumen juga diperbarui untuk mendukung pemberian label entitas bertingkat.
- Mengklik label bertingkat akan memunculkan kotak dialog untuk menetapkan entity induk yang benar untuk entity turunan bertingkat.
Kotak centang
- UI Anotasi mendukung kotak centang pemberian label. Di panel kiri, kotak centang dapat diedit di baris.
- Pengeditan kotak centang juga tersedia di kotak dialog edit entity.
Rilis Agustus 2022
Pilihan Label Entitas
- Input label entitas diganti dengan daftar dropdown. Daftar dropdown ini berisi opsi label yang tersedia saat menambahkan entitas baru. Perubahan ini membantu mencegah pemberi label membuat kesalahan ketik dan membuat label entitas yang tidak diinginkan.
Format Tanggal ISO
- Tanggal yang dinormalisasi ditampilkan dalam format tanggal ISO 8601(yyyy-mm-dd).
Rilis Juli 2022
Tombol Konfirmasi Cepat
- Tombol Konfirmasi tersedia di tooltip entity untuk meninjau dan mengonfirmasi nilai entity/label dengan cepat. Tombol Edit dihapus, karena pengguna dapat mengklik tooltip entitas secara langsung untuk mengedit.
Rilis Januari 2022
Opsi Label Entitas
- Opsi pemilihan label entitas kini dibatasi pada daftar kolom yang difilter(ditetapkan dalam konfigurasi Filter HITL).
Kolom Tidak Ada
- Sekarang kami menampilkan kolom yang tidak ada (yaitu kolom yang ditandai "Wajib" dalam konfigurasi filter HITL, tetapi prosesor belum memprediksi nilai untuk kolom tersebut) dalam warna merah yang berbeda, sehingga memudahkan Peninjau untuk memperbarui nilai kolom.
Sampel Lengkap Acak
- Kini kami mendukung peninjauan lengkap (yaitu semua entitas dalam dokumen, bukan hanya kolom yang difilter) dari sampel acak (misalnya, 2% dari volume harian) dokumen. Hal ini berguna untuk memantau drift model dan analisis tentang akurasi prosesor di setiap kolom - kami mengumpulkan analisis ini, yang digunakan untuk mengetahui kapan pelatihan ulang diperlukan. Set data ini juga berfungsi sebagai set data dengan kebenaran dasar berlabel untuk model pelatihan lanjutan.
- Pelanggan dapat memilih untuk ikut serta dan menetapkan sampel acak [1-10%] berdasarkan volume mereka. Penargetan 100-500 sampel/minggu akan berguna. Jadi, jika pelanggan memproses 10.000 dokumen/minggu, nilai ini dapat ditetapkan ke 500/10.000 = 5%
Konfigurasi HITL yang Disederhanakan untuk pengguna pertama kali
- Kami telah menyederhanakan konfigurasi HITL BYOL untuk pelanggan HITL pertama kali, sehingga mereka dapat dengan cepat mengonfigurasi tugas, menetapkan Spesialis, dan meluncurkannya dari satu layar, sehingga mereka dapat dengan cepat mencobanya sebelum menskalakan volume produksi atau melakukan outsourcing operasi.
- Seperti yang ditunjukkan pada screenshot di bawah, pengguna dijadikan Pengelola default kumpulan, dan mereka dapat menambahkan Spesialis tambahan, yang semuanya ditetapkan secara otomatis ke tugas di layar yang sama.
- Sebelumnya, Pengelola yang ditugaskan akan menerima email berisi link ke Konsol Pengelola tempat mereka menambahkan Spesialis dan menetapkan tugas kepada spesialis tersebut.
- Setelah mengirimkan tugas, mereka (dan spesialis lain yang ditugaskan) dapat membuka aplikasi HITL untuk meninjau dokumen.
- Pengguna juga dapat mengupload dokumen pengujian (satu per satu) ke antrean tugas.
Menghapus pemisah baris di akhir
- Pemisah baris di akhir('\n') dihapus di entity.mentionText.
Rilis Desember 2021
Mengurutkan entitas skor keyakinan rendah ke bagian atas
- Entitas dengan skor keyakinan rendah (yaitu entitas di bawah nilai minimum keyakinan) kini diurutkan ke bagian atas halaman, sehingga Spesialis dapat berfokus pada entitas ini. Hal ini mendorong efisiensi lebih lanjut dalam pelabelan.
Petunjuk Opsional untuk Tugas BYOL
- Petunjuk PDF yang akan diupload untuk mengonfigurasi tugas HITL kini bersifat opsional. Hal ini menyederhanakan pengujian dan peluncuran internal yang cepat, sehingga Spesialis tidak memerlukan panduan petunjuk.
Opsi sesuaikan dengan lebar dan sesuaikan dengan tinggi halaman
- Tombol untuk menyesuaikan halaman dengan lebar atau tinggi. Hal ini berguna saat Spesialis memiliki dokumen berukuran variabel (misalnya, Tanda Terima) dalam tugas.
Nama tugas yang ditampilkan di UI Spesialis
- Nama tugas kini ditampilkan di UI Spesialis untuk memberi mereka konteks tambahan tentang tugas dan jenis dokumen, yang sangat berguna saat spesialis ditugaskan ke beberapa tugas.
- Perhatikan bahwa ini ditampilkan di prosesor baru yang diaktifkan setelah rilis ini.
Kotak penelusuran untuk Spesialis
- Pakar dapat menelusuri entitas/teks dalam dokumen. Hal ini sangat membantu terutama untuk dokumen multi-halaman yang besar dan membuat Spesialis lebih produktif.
Rilis September 2021
Alihkan untuk menampilkan semua kolom
- Pemberi label mungkin perlu meninjau dan memperbarui kolom yang tidak ada dalam kumpulan entitas yang difilter untuk dokumen tertentu dalam antrean. Anda dapat mengaktifkan opsi Tampilkan semua prediksi untuk mengizinkan pemberi label meninjau kolom yang tidak difilter.
HITL untuk Form Parser
- HITL kini mendukung Form Parser, sehingga pengguna dapat meninjau dan memperbaiki key-value pair yang diekstrak oleh Form Parser. Pelanggan dapat mengaktifkan HITL pada pemroses Form Parser di platform DocAI dan mengonfigurasi nama kunci (seperti yang ditunjukkan pada screenshot di bawah) yang ingin difilter untuk peninjauan HITL. Output HITL dihapus sebagai file JSON di bucket Google Cloud Storage yang ditentukan pelanggan setelah peninjauan HITL selesai.
- Mereka dapat menentukan nama kunci alternatif yang dipisahkan koma, misalnya, "customer, customer name, client, account #, account number" sehingga filter HITL menangkap dokumen dengan semua variasi nama kunci dan mengirimkannya untuk ditinjau HITL.
Rilis Agustus 2021
Pipeline Audit/QA
- HITL kini memungkinkan tahap audit atau QA tahap ke-2, dan melaporkan akurasi tugas Peninjauan (dan Pemberi Label). Tim QA atau auditor dapat ditetapkan sebagai "Pemberi Label pakar" untuk suatu tugas. Tim QA/Auditor menerima X persen (misalnya 1%-100%, ini dapat dikonfigurasi oleh pelanggan) dari dokumen yang ditinjau. Auditor dapat mengoreksi output Peninjau. Sistem melacak koreksi dan menetapkan skor Akurasi (misalnya, 90%) untuk setiap dokumen yang diaudit. Skor akurasi gabungan tugas atau pelabel dilaporkan di dasbor Analytics Tugas dan Pelabel.
- Berikut adalah petunjuk mendetail tentang mengonfigurasi pipeline Audit.
- Menetapkan Auditor
- Akurasi Pelaporan
Parser AI Pinjaman (15 Agustus)
- HITL kini didukung di beberapa parser AI Pinjaman, termasuk 1040, 1040 Jadwal E, 1040 jadwal C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Slip Gaji, Laporan Bank, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R.
Rilis Juli 2021
Antrean Standar vs. Mendesak (2 Juli)
- Kini kami mendukung 2 antrean prioritas (vs 1 antrean) untuk setiap prosesor, berdasarkan urgensi setiap dokumen.
- Pengiriman - Setelah prediksi, dokumen yang diekstrak dapat dievaluasi urgensinya dan dikirim ke 2 antrean (Standar vs Mendesak/Cepat) berdasarkan urgensi dokumen. Misalnya, invoice dengan tanggal jatuh tempo mendesak dapat dikirim ke antrean Fast-track. Logika yang mengevaluasi urgensi saat ini berada di luar HITL dan dapat berupa fungsi kustom.
- Penugasan Tugas - Pengelola pemberian label melihat 2 antrean berbeda dengan prioritas yang berbeda, seperti yang ditunjukkan pada screenshot di bawah, dan dapat menetapkan grup pelabel yang sama ke kedua antrean.
- Prioritas Tugas - Pemberi label yang ditugaskan ke kedua tugas akan selalu memproses dokumen yang tertunda di antrean Fast-track terlebih dahulu sebelum memproses antrean Standar (yaitu prioritas antrean ditangani secara otomatis oleh sistem)
- Panggilan API - Menetapkan kolom priority di ReviewDocument
- Screenshot UI (tugas di UI Pengelola Pemberian Label) -
Rilis Juni 2021
Filter Validasi untuk Endpoint HITL (24 Juni)
- Filter validasi (dikonfigurasi di prosesor) yang memfilter kolom berdasarkan skor keyakinan untuk menentukan dokumen yang akan diantrekan untuk peninjauan manual, kini juga diterapkan ke dokumen yang dikirim ke endpoint HITL.
- Saat memanggil ReviewDocument API, tetapkan kolom enable_schema_validation ke true.
- Perhatikan bahwa jika setelan ini ditetapkan, dan validasi memutuskan bahwa dokumen tidak perlu memicu peninjauan manual, error CANCELLED akan ditampilkan.
Cancel API
Pelanggan dapat membatalkan dokumen yang diantrekan untuk pemrosesan HITL dengan memanggil Cancel API untuk ID operasi tertentu. ID operasi ditampilkan untuk setiap dokumen yang dikirim ke HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Jenis Invoice (Peninjauan Klasifikasi)
- Labeler Workbench mendukung peninjauan klasifikasi Jenis Invoice.
Laporan Waktu dalam Antrean (SLO Latensi HITL)
- Laporan menunjukkan jumlah dokumen yang diantrekan selama >18 jam dan >24 jam. Hal ini berguna bagi pengguna yang perlu mengelola ekspektasi SLO pada latensi HITL.
URL yang Diketahui untuk Workbench Pemberi Label
- Pemberi label yang ditetapkan ke satu kumpulan kini dapat mengakses workbench di URL yang diketahui, dan tidak perlu mencari URL rahasia yang dikirim dalam notifikasi email (oleh sistem atau oleh Pengelola Pelabelan). URL ini tidak berfungsi untuk pelabel yang ditetapkan ke beberapa kumpulan.
Setelan Zoom Melekat
- Plugin kini mengingat setelan Zoom pemberi label (lebar penuh vs halaman penuh) untuk peninjauan dokumen berikutnya dalam antrean, sehingga mereka tidak perlu memperbesar untuk setiap dokumen.
HITL untuk Form Parser
- HITL kini mendukung Parser Formulir. Pengguna dapat meninjau dan mengoreksi pasangan nilai kunci yang diekstrak oleh Form Parser, serta mengaktifkan HITL pada pemroses Form Parser di platform DocAI dan mengonfigurasi nama kunci (seperti yang ditunjukkan pada screenshot di bawah) yang ingin difilter untuk peninjauan HITL. Output HITL disimpan ke file JSON di bucket Google Cloud Storage yang ditentukan pelanggan setelah peninjauan HITL selesai.
- Screenshot UI untuk mengonfigurasi HITL di Parser Formulir
- UI untuk mengonfigurasi validasi tingkat kunci
- UI Pemberi Label
Pipeline Audit/QA
- HITL kini memungkinkan tahap audit atau QA tahap ke-2, dan melaporkan akurasi tugas Peninjauan (dan Pemberi Label). Tim QA atau auditor dapat ditetapkan sebagai "Pemberi Label pakar" untuk suatu tugas. Tim QA/Auditor akan menerima X persen (misalnya 1%-100%, ini dapat dikonfigurasi oleh pelanggan) dari dokumen yang ditinjau. Auditor dapat mengoreksi output Peninjau. Sistem melacak koreksi dan menetapkan skor Akurasi (misalnya, 90%) untuk setiap dokumen yang diaudit. Skor akurasi gabungan tugas atau pelabel dilaporkan di dasbor Analytics Tugas dan Pelabel. Berikut petunjuk mendetail tentang cara mengonfigurasi pipeline Audit.
Menetapkan Auditor
Akurasi pelaporan
Parser AI Pinjaman (31 Juli)
- HITL kini didukung di beberapa parser AI Pinjaman, termasuk 1040, 1040 Jadwal E, 1040 Jadwal C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Slip Gaji, Laporan Bank, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R
Antrean Standar vs. Antrean Jalur Cepat (2 Juli)
- Kini kami mendukung 2 antrean prioritas (vs 1 antrean) untuk setiap prosesor, berdasarkan urgensi setiap dokumen.
- Pengiriman - Setelah prediksi, dokumen yang diekstrak dapat dievaluasi urgensinya dan dikirim ke 2 antrean (Standar vs Mendesak/Cepat) berdasarkan urgensi dokumen. Misalnya, invoice dengan tanggal jatuh tempo mendesak dapat dikirim ke antrean Fast-track. Logika yang mengevaluasi urgensi dapat dimasukkan melalui fungsi kustom.
- Penugasan Tugas - Pengelola pemberian label melihat 2 antrean berbeda dengan prioritas yang berbeda, seperti yang ditunjukkan pada screenshot di bawah, dan dapat menetapkan grup pelabel yang sama ke kedua antrean.
- Prioritas Tugas - Pemberi label yang ditugaskan ke kedua tugas akan selalu memproses dokumen yang tertunda di antrean Fast-track terlebih dahulu sebelum memproses antrean Standar (yaitu prioritas antrean ditangani secara otomatis oleh sistem)
- Panggilan API - Menetapkan kolom priority di ReviewDocument
- Screenshot UI (tugas di UI Pengelola Pelabelan)
Filter Validasi untuk Endpoint HITL (24 Juni)
- Filter validasi (dikonfigurasi di prosesor) yang memfilter kolom berdasarkan skor keyakinan untuk menentukan dokumen yang akan diantrekan untuk peninjauan manual, kini juga diterapkan ke dokumen yang dikirim ke endpoint HITL.
- Saat memanggil
ReviewDocument
API, tetapkan kolom enable_schema_validation ke true. Perhatikan bahwa jika setelan ini ditetapkan, dan validasi memutuskan bahwa dokumen tidak perlu memicu peninjauan manual, error CANCELLED akan ditampilkan.
Cancel API
Anda dapat membatalkan dokumen yang diantrekan untuk pemrosesan HITL dengan memanggil Cancel API untuk ID operasi tertentu. [ID operasi ditampilkan untuk setiap dokumen yang dikirim ke HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Jenis Invoice (Peninjauan Klasifikasi)
- Labeler Workbench mendukung peninjauan klasifikasi Jenis Invoice.
Laporan Waktu dalam Antrean (SLO Latensi HITL)
- Laporan menunjukkan jumlah dokumen yang diantrekan selama >18 jam dan >24 jam. Hal ini berguna bagi pengguna yang perlu mengelola ekspektasi SLO pada latensi HITL.
URL yang Diketahui untuk Labeler Workbench
- Pemberi label yang ditetapkan ke satu kumpulan kini dapat mengakses workbench di URL yang diketahui https://datacompute.corp.google.com/w/. Hal ini berguna jika Anda kehilangan email dengan URL yang dikirim oleh sistem atau Pengelola Pelabelan. URL ini tidak berfungsi untuk pelabel yang ditetapkan ke beberapa kumpulan.
Setelan Zoom Melekat
- Plugin kini mengingat setelan Zoom pelabel (lebar penuh vs halaman penuh) untuk peninjauan dokumen berikutnya dalam antrean, sehingga mereka tidak perlu memperbesar untuk setiap dokumen.