Rilis Desember 2022
Stepper Konfigurasi HITL
Tab 'Konfigurasi' di bagian 'Human-In-The-Loop' kini diformat sebagai
pasangan langkah yang berurutan untuk memungkinkan pengalaman penyiapan yang lebih mudah dan terstruktur.
Pengguna kini dapat melihat langkah-langkah terpisah untuk mengonfigurasi setelan yang terkait dengan kumpulan pakar dan filter untuk memicu HITL, serta memilih lokasi petunjuk dan hasil untuk pakar.
Rilis Oktober 2022
Dasbor Analisis Pemohon HITL
Human in the Loop kini memiliki tab khusus, yang disebut Analytics, yang memberikan metrik dan diagram kepada pengguna untuk menganalisis status tugas HITL per prosesor dan melakukan perubahan sesuai kebutuhan.
Saat ini, ada tiga metrik berbeda yang dapat dilihat pengguna. Data dapat digabungkan berdasarkan pemilih rentang waktu yang memberi pengguna opsi berikut:
Untuk setiap rentang waktu yang dipilih, pengguna dapat melihat hal berikut:
- Statistik Gabungan: Tampilan ringkasan jumlah total dokumen yang berhasil diupload ke antrean, jumlah total dokumen yang diselesaikan (yang berarti dikirim dan ditolak) oleh spesialis, dan waktu sejak dokumen tertua ditambahkan ke antrean untuk rentang waktu yang dipilih.
- Diagram aktivitas Memerlukan Interaksi Manusia: Diagram yang menampilkan data deret waktu
untuk saat dokumen ditambahkan ke antrean (
enqueuedDocumentCount
) dan saat dokumen diselesaikan oleh spesialis (completedDocumentCount
). - Rasio pemicu Human in the Loop: Diagram yang menampilkan data deret waktu untuk persentase dokumen yang diupload yang memicu peninjauan Human-in-the-Loop dalam jangka waktu yang dipilih.
- Statistik Gabungan: Tampilan ringkasan jumlah total dokumen yang berhasil diupload ke antrean, jumlah total dokumen yang diselesaikan (yang berarti dikirim dan ditolak) oleh spesialis, dan waktu sejak dokumen tertua ditambahkan ke antrean untuk rentang waktu yang dipilih.
Rilis September 2022
Catatan: Pelanggan yang menggunakan Document AI Workbench, Purchase Order (PO), Invoice, dan Expense Processor memiliki akses ke skema baru yang memungkinkan pelanggan memberi label pada kotak centang (jika ditentukan dalam skema) dan secara akurat merepresentasikan entitas bertingkat, yaitu hubungan induk-turunan pada anotasi HITL dan UI peninjauan. Seiring dengan semakin banyaknya pemroses yang mengadopsi skema baru, catatan rilis ini akan diperbarui untuk mencerminkan hal tersebut
Entitas Bertingkat
- UI anotasi kini mendukung pemberian label untuk entitas bertingkat. Panel kiri diperbarui dengan tampilan baru untuk baris bertingkat guna merepresentasikan entitas bertingkat. Nilai "parent" adalah gabungan dari semua "children".
- Pemilihan entitas panel kiri menampilkan label induk dan turunan.
- Menu label entitas dalam dokumen juga diperbarui untuk mendukung pemberian label entitas bertingkat.
- Mengklik label bertingkat akan memunculkan kotak dialog untuk menetapkan entity induk yang benar bagi entity turunan bertingkat.
Kotak centang
- UI anotasi mendukung pemberian label pada kotak centang. Di panel kiri, kotak centang dapat diedit di baris.
- Pengeditan kotak centang juga tersedia di kotak dialog pengeditan entity.
Rilis Agustus 2022
Pilihan Label Entitas
- Input label entitas diganti dengan daftar dropdown. Daftar dropdown ini berisi opsi label yang tersedia saat menambahkan entitas baru. Perubahan ini membantu mencegah pemberi label melakukan kesalahan ketik dan membuat label entitas yang tidak diinginkan.
Format Tanggal ISO
- Tanggal yang dinormalisasi ditampilkan dalam format tanggal ISO 8601(yyyy-mm-dd).
Rilis Juli 2022
Tombol Konfirmasi Cepat
- Tombol Konfirmasi tersedia di tooltip entitas untuk meninjau dan mengonfirmasi nilai entitas/label dengan cepat. Tombol Edit dihapus karena pengguna dapat mengklik tooltip entitas secara langsung untuk mengedit.
Rilis Januari 2022
Opsi Label Entitas
- Opsi pemilihan label entitas kini terbatas pada daftar kolom yang difilter(ditetapkan dalam konfigurasi Filter HITL).
Kolom Belum Diisi
- Sekarang kami menampilkan kolom yang tidak ada (yaitu kolom yang ditandai "Wajib" dalam konfigurasi filter HITL, tetapi prosesor belum memprediksi nilai untuk kolom tersebut) dalam warna merah yang berbeda, sehingga memudahkan Peninjau memperbarui nilai kolom.
Random Complete Samples
- Sekarang kami mendukung peninjauan lengkap (yaitu semua entitas dalam dokumen, bukan hanya kolom yang difilter) sampel acak (misalnya, 2% dari volume harian) dokumen. Hal ini berguna untuk memantau penyimpangan model dan analisis akurasi pemroses di setiap kolom - kami mengumpulkan analisis ini, yang digunakan untuk mengetahui kapan pelatihan ulang diperlukan. Data ini juga berfungsi sebagai set data dengan kebenaran dasar berlabel untuk model pelatihan ulang.
- Pelanggan dapat memilih untuk ikut serta dan menetapkan sampel acak [1-10%] berdasarkan volume mereka. Menargetkan 100–500 sampel/minggu akan berguna. Jadi, jika pelanggan memproses 10.000 dokumen/minggu, nilai ini dapat ditetapkan ke 500/10.000 = 5%
Konfigurasi HITL yang disederhanakan untuk pengguna baru
- Kami telah menyederhanakan konfigurasi BYOL HITL untuk pelanggan HITL yang baru pertama kali menggunakan, sehingga mereka dapat mengonfigurasi tugas dengan cepat, menetapkan Spesialis, dan meluncurkannya dari satu layar, sehingga mereka dapat mencobanya dengan cepat sebelum meningkatkan volume produksi atau melakukan outsourcing operasi.
- Seperti yang ditunjukkan pada screenshot di bawah, pengguna dijadikan Pengelola default pool, dan mereka dapat menambahkan Pakar tambahan, yang semuanya otomatis ditetapkan ke tugas di layar yang sama.
- Sebelumnya, Pengelola yang ditetapkan akan dikirimi email berisi link ke Konsol Pengelola tempat mereka menambahkan Spesialis dan menetapkan tugas kepada spesialis tersebut.
- Setelah mengirimkan tugas, mereka (dan spesialis lain yang ditugaskan) dapat membuka aplikasi HITL untuk meninjau dokumen.
- Pengguna juga dapat mengupload dokumen pengujian (satu per satu) ke antrean tugas.
Menghapus pemisah baris di akhir
- Pemisah baris berikutnya('\n') dihapus di entity.mentionText.
Rilis Desember 2021
Mengurutkan entitas skor keyakinan rendah ke bagian atas
- Entitas dengan skor keyakinan rendah (yaitu entitas di bawah nilai minimum keyakinan) kini diurutkan ke bagian atas halaman, sehingga Spesialis dapat berfokus pada entitas ini. Hal ini mendorong efisiensi lebih lanjut dalam pelabelan.
Petunjuk Opsional untuk Tugas BYOL
- Petunjuk PDF yang akan diupload untuk mengonfigurasi tugas HITL kini bersifat opsional. Hal ini menyederhanakan pengujian dan peluncuran internal cepat yang tidak memerlukan panduan petunjuk bagi Spesialis.
Opsi sesuaikan dengan lebar dan sesuaikan dengan tinggi halaman
- Tombol untuk menyesuaikan halaman dengan lebar atau tinggi. Hal ini berguna saat Spesialis memiliki dokumen berukuran variabel (misalnya, Tanda Terima) dalam tugas.
Nama tugas yang ditampilkan di UI Specialist
- Nama tugas kini ditampilkan di UI Spesialis untuk memberikan konteks tambahan tentang tugas dan jenis dokumen kepada spesialis, yang sangat berguna saat spesialis ditugaskan untuk beberapa tugas.
- Perhatikan bahwa ini ditampilkan di pemroses baru yang diaktifkan setelah rilis ini.
Kotak penelusuran untuk Spesialis
- Spesialis dapat menelusuri entitas/teks dalam dokumen. Fitur ini sangat membantu, terutama untuk dokumen multi-halaman yang besar, dan membuat Spesialis lebih produktif.
Rilis September 2021
Tombol untuk menampilkan semua kolom
- Pemberi label mungkin perlu meninjau dan memperbarui kolom yang tidak ada dalam kumpulan entitas yang difilter untuk dokumen tertentu dalam antrean.
Anda dapat mengaktifkan/menonaktifkan opsi Tampilkan semua prediksi
untuk mengizinkan pelabel meninjau kolom yang tidak difilter.
HITL untuk Form Parser
- HITL kini mendukung Form Parser, sehingga pengguna dapat meninjau dan mengoreksi key-value pair yang diekstrak oleh Form Parser. Pelanggan dapat mengaktifkan HITL di pemroses Form Parser di platform DocAI dan mengonfigurasi nama kunci (seperti yang ditunjukkan pada screenshot di bawah) yang ingin mereka filter untuk peninjauan HITL. Output HITL di-drop sebagai file JSON di bucket Google Cloud Storage yang ditentukan pelanggan setelah peninjauan HITL selesai.
- Mereka dapat menentukan nama kunci alternatif yang dipisahkan koma, misalnya, "pelanggan, nama pelanggan, klien, nomor akun, nomor rekening" sehingga filter HITL menangkap dokumen dengan semua variasi nama kunci dan mengirimkannya untuk peninjauan HITL.
Rilis Agustus 2021
Audit/QA Pipeline
- HITL kini memungkinkan tahap QA atau audit tahap 2, dan melaporkan akurasi tugas Peninjauan (dan Pemberi Label). Tim QA atau auditor dapat ditetapkan sebagai "pelabel ahli" untuk suatu tugas. Tim QA/Auditor menerima X persen (misalnya 1%-100%, ini dapat dikonfigurasi oleh pelanggan) dokumen yang ditinjau. Auditor dapat mengoreksi output Peninjau. Sistem melacak koreksi dan menetapkan skor Akurasi (misalnya, 90%) untuk setiap dokumen yang diaudit. Skor akurasi gabungan tugas atau pelabel dilaporkan masing-masing di dasbor Analisis Tugas dan Pelabel.
- Berikut petunjuk mendetail tentang mengonfigurasi pipeline Audit.
- Menunjuk Auditor
- Akurasi Pelaporan
Pengurai AI Pinjaman (15 Agustus)
- HITL kini didukung di beberapa parser AI Pinjaman, termasuk 1040, 1040 Schedule E, 1040 schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Slip Gaji, Laporan Bank, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R.
Rilis Juli 2021
Antrean Standar vs. Mendesak (2 Juli)
- Sekarang kami mendukung 2 antrean prioritas (vs 1 antrean) untuk setiap pemroses, berdasarkan urgensi setiap dokumen.
- Pengiriman - Setelah prediksi, dokumen yang diekstrak dapat dievaluasi urgensinya dan dikirimkan ke 2 antrean (Standar vs. Dipercepat) berdasarkan urgensi dokumen. Misalnya, invoice dengan tanggal jatuh tempo mendesak dapat dikirimkan ke antrean Jalur cepat. Logika yang mengevaluasi urgensi saat ini berada di luar HITL dan dapat berupa fungsi kustom.
- Penugasan Tugas - Pengelola pelabelan melihat 2 antrean berbeda dengan prioritas yang berbeda, seperti yang ditunjukkan pada screenshot di bawah, dan dapat menetapkan grup pelabel yang sama ke kedua antrean.
- Prioritas Tugas - Pelabel yang ditugaskan ke kedua tugas akan selalu memproses dokumen yang tertunda dalam antrean jalur Cepat terlebih dahulu sebelum memproses antrean Standar (yaitu, prioritas antrean ditangani secara otomatis oleh sistem)
- Panggilan API - Tetapkan kolom priority di ReviewDocument
- Screenshot UI (tugas di UI Labeling Manager) -
Rilis Juni 2021
Filter Validasi untuk Endpoint HITL (24 Juni)
- Filter validasi (dikonfigurasi di prosesor) yang memfilter kolom berdasarkan skor keyakinan untuk menentukan dokumen yang akan dimasukkan dalam antrean untuk peninjauan manual, kini juga diterapkan pada dokumen yang dikirimkan ke endpoint HITL.
- Saat memanggil ReviewDocument API, tetapkan kolom enable_schema_validation ke benar (true).
- Perhatikan bahwa jika setelan ini ditetapkan, dan validasi memutuskan bahwa dokumen tidak perlu memicu peninjauan manual, error DIBATALKAN akan ditampilkan.
Membatalkan API
Pelanggan dapat membatalkan dokumen yang dimasukkan dalam antrean untuk pemrosesan HITL dengan memanggil Cancel API untuk ID operasi tertentu. ID operasi ditampilkan untuk setiap dokumen yang dikirimkan ke HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Jenis Invoice (Peninjauan Klasifikasi)
- Labeler Workbench mendukung peninjauan klasifikasi Jenis Invoice.
Laporan Waktu dalam Antrean (SLO Latensi HITL)
- Laporan menunjukkan jumlah dokumen yang dimasukkan dalam antrean selama >18 jam dan >24 jam. Hal ini berguna bagi pengguna yang perlu mengelola ekspektasi SLO pada latensi HITL.
URL yang diketahui untuk Labeler Workbench
- Pelabel yang ditetapkan ke satu kumpulan kini dapat mengakses workbench di URL yang diketahui, dan tidak perlu mencari URL yang tidak jelas yang dikirim dalam notifikasi email (oleh sistem atau oleh Pengelola Pelabelan). URL ini tidak berfungsi untuk pelabel yang ditetapkan ke beberapa kumpulan.
Setelan Zoom Melekat
- Plug-in kini mengingat setelan Zoom pelabel (lebar penuh vs. halaman penuh) untuk peninjauan dokumen berikutnya dalam antrean, sehingga pelabel tidak perlu melakukan Zoom in untuk setiap dokumen.
HITL untuk Form Parser
- HITL kini mendukung Form Parser. Pengguna dapat meninjau dan mengoreksi pasangan nilai kunci yang diekstrak oleh Form Parser, serta mengaktifkan HITL pada pemroses Form Parser di platform DocAI dan mengonfigurasi nama kunci (seperti yang ditunjukkan pada screenshot di bawah) yang ingin mereka filter untuk peninjauan HITL. Output HITL disimpan ke file JSON di bucket Google Cloud Storage yang ditentukan pelanggan setelah peninjauan HITL selesai.
- Screenshot UI untuk mengonfigurasi HITL di Form Parser
- UI untuk mengonfigurasi validasi tingkat kunci
- UI Pemberi Label
Audit/QA Pipeline
- HITL kini memungkinkan tahap QA atau audit tahap 2, dan melaporkan akurasi tugas Peninjauan (dan Pemberi Label). Tim QA atau auditor dapat ditetapkan sebagai "pelabel ahli" untuk suatu tugas. Tim QA/Auditor akan menerima X persen (misalnya 1%-100%, ini dapat dikonfigurasi oleh pelanggan) dokumen yang ditinjau. Auditor dapat mengoreksi output Peninjau. Sistem melacak koreksi dan menetapkan skor Akurasi (misalnya, 90%) untuk setiap dokumen yang diaudit. Skor akurasi gabungan tugas atau pelabel dilaporkan masing-masing di dasbor Analisis Tugas dan Pelabel. Berikut petunjuk mendetail tentang cara mengonfigurasi pipeline Audit.
Menunjuk Auditor
Akurasi pelaporan
Pengurai AI Pinjaman (31 Juli)
- HITL kini didukung di beberapa parser AI Pinjaman, termasuk 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Slip Gaji, Laporan Bank, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R
Antrean Jalur Cepat vs. Standar (2 Juli)
- Sekarang kami mendukung 2 antrean prioritas (vs 1 antrean) untuk setiap pemroses, berdasarkan urgensi setiap dokumen.
- Pengiriman - Setelah prediksi, dokumen yang diekstrak dapat dievaluasi urgensinya dan dikirimkan ke 2 antrean (Standar vs. Dipercepat) berdasarkan urgensi dokumen. Misalnya, invoice dengan tanggal jatuh tempo mendesak dapat dikirimkan ke antrean Jalur cepat. Logika yang mengevaluasi urgensi dapat dimasukkan melalui fungsi kustom.
- Penugasan Tugas - Pengelola pelabelan melihat 2 antrean berbeda dengan prioritas yang berbeda, seperti yang ditunjukkan pada screenshot di bawah, dan dapat menetapkan grup pelabel yang sama ke kedua antrean.
- Prioritas Tugas - Pelabel yang ditugaskan ke kedua tugas akan selalu memproses dokumen yang tertunda dalam antrean jalur Cepat terlebih dahulu sebelum memproses antrean Standar (yaitu, prioritas antrean ditangani secara otomatis oleh sistem)
- Panggilan API - Tetapkan kolom priority di ReviewDocument
- Screenshot UI (tugas di UI Labeling Manager)
Filter Validasi untuk Endpoint HITL (24 Juni)
- Filter validasi (dikonfigurasi di prosesor) yang memfilter kolom berdasarkan skor keyakinan untuk menentukan dokumen yang akan dimasukkan dalam antrean untuk peninjauan manual, kini juga diterapkan pada dokumen yang dikirimkan ke endpoint HITL.
- Saat memanggil
ReviewDocument
API, tetapkan kolom enable_schema_validation ke benar (true). Perhatikan bahwa jika setelan ini disetel, dan validasi memutuskan bahwa dokumen tidak perlu memicu peninjauan manual, error DIBATALKAN akan ditampilkan.
Membatalkan API
Anda dapat membatalkan dokumen yang dimasukkan dalam antrean untuk pemrosesan HITL dengan memanggil Cancel API untuk ID operasi tertentu. [ID operasi ditampilkan untuk setiap dokumen yang dikirimkan ke HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Jenis Invoice (Peninjauan Klasifikasi)
- Labeler Workbench mendukung peninjauan klasifikasi Jenis Invoice.
Laporan Waktu dalam Antrean (SLO Latensi HITL)
- Laporan menunjukkan jumlah dokumen yang dimasukkan dalam antrean selama >18 jam dan >24 jam. Hal ini berguna bagi pengguna yang perlu mengelola ekspektasi SLO pada latensi HITL.
URL yang diketahui untuk Labeler Workbench
- Pelabel yang ditetapkan ke satu kumpulan kini dapat mengakses workbench di URL yang diketahui https://datacompute.corp.google.com/w/. Hal ini berguna jika Anda kehilangan email dengan URL yang dikirim oleh sistem atau Pengelola Pelabelan. URL ini tidak berfungsi untuk pelabel yang ditetapkan ke beberapa kumpulan.
Setelan Zoom Melekat
- Plug-in kini mengingat setelan Zoom pelabel (lebar penuh vs. halaman penuh) untuk peninjauan dokumen berikutnya dalam antrean, sehingga pelabel tidak perlu melakukan Zoom in untuk setiap dokumen.