Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Praktik Terbaik
Kumpulan pelabel tunggal per project - Dalam skenario BYOL, meskipun UI Penyiapan HITL mendukung pembuatan kumpulan pelabel baru untuk setiap pemroses, sebaiknya gunakan satu kumpulan pelabel di semua pemroses dalam project agar tetap sederhana. Hal ini karena pengguna dari beberapa kumpulan pelabel masih dapat ditetapkan ke tugas yang sama, dan menetapkan kumpulan pelabel ke tugas tidak membatasi Pengelola Pelabel untuk menetapkan pelabel lain ke tugas tersebut.
Beberapa tugas/jenis dokumen - Beberapa tugas mungkin diperlukan untuk memproses satu jenis dokumen. Tindakan ini diperlukan dalam skenario berikut:
Pelabel dengan keterampilan atau kredensial yang berbeda diperlukan untuk meninjau/memvalidasi kolom yang berbeda dari dokumen yang sama.
Dokumen dengan kolom yang berbeda (misalnya, invoice dari vendor yang berbeda) mungkin memerlukan skema yang berbeda untuk divalidasi, sehingga perlu diarahkan ke tugas yang berbeda.
Dokumen dari pelanggan yang berbeda memiliki kumpulan pelabel yang berbeda yang mengerjakannya (misalnya, invoice dari pelanggan, bahasa, atau negara yang berbeda).
Dalam skenario ini, sebaiknya buat beberapa pemroses (dan tugas) serta posting dokumen ke tugas yang sesuai. [Pengklasifikasi mungkin diperlukan untuk mengklasifikasikan dokumen ini dan memposting ke pemroses yang benar].
Batasi Peninjauan pada kolom yang diperlukan (bukan semua kolom yang diekstrak di halaman), untuk menghemat waktu dan biaya Peninjauan - Waktu/halaman Jawaban diskalakan dengan jumlah kolom yang akan ditinjau. Biaya pemberi label Google didasarkan pada jumlah kolom yang ditinjau. Oleh karena itu, sebaiknya batasi kolom yang akan ditinjau hanya pada kolom yang digunakan dalam proses bisnis downstream.
Misalnya, Faktur mungkin memiliki lebih dari 30 kolom, tetapi Anda dapat membatasi Peninjauan hanya pada 4-5 kolom yang penting untuk menyelesaikan faktur.
Penamaan Prosesor yang Kompatibel dengan HITL - Nama tugas HITL sama dengan nama prosesor. Sebaiknya gunakan nama yang dipahami oleh pengelola dan pelabel, serta mudah dibedakan dari tugas lain yang akan mereka kerjakan.
Membuat Prioritas Tugas - Jika pelabel ditugaskan untuk beberapa tugas, dia akan memprosesnya secara berurutan. Jika pelabel perlu beralih tugas (misalnya, untuk merespons eskalasi pelanggan atau memenuhi SLO), Pengelola Pelabelan harus membatalkan penugasan tugas saat ini dan menugaskan tugas Prioritas Tinggi kepada pelabel menggunakan tab Penugasan di Konsol Pengelola Pelabelan.
Petak Tugas X Pemberi Label di Konsol (ditampilkan di bawah) memungkinkan Pengelola Pemberian Label melihat semua penugasan pemberi label ke berbagai tugas dan menyesuaikan pemberi label mana yang mengerjakan tugas mana untuk mendukung prioritas tugas.
Menetapkan Filter Validasi
Dokumen yang ditolak - Status dokumen yang ditolak beserta Kode alasan [misalnya, jenis dokumen berbeda, dipalsukan, silau, buram, tepi terpotong, dll.] dicatat dalam file JSON Dokumen (konstruksi TextChange untuk semua perubahan, HumanReview untuk alasan penolakan), yang ditampilkan dalam bucket Cloud Storage yang dikonfigurasi. Sebaiknya gunakan metadata ini untuk memisahkan dokumen yang ditolak.
Menangani volume penyerapan dokumen yang besar - Kuota saat ini membatasi 600 permintaan dokumen online/menit dan hingga 5 permintaan offline (batch) serentak, yang masing-masing menangani hingga 50 dokumen. Hal ini diharapkan dapat menangani 36.000 permintaan online/jam dan hingga 15.000 permintaan dokumen offline (batch)/jam [karena setiap batch menangani hingga 50 dokumen]. Jika diperlukan volume yang lebih tinggi, hubungi Dukungan.
Mengelola biaya dan waktu validasi manual - Validasi manual bisa jadi mahal, baik Anda menggunakan pelabel sendiri atau pelabel Google. Waktu yang dihabiskan per halaman diskalakan dengan jumlah kolom yang ditinjau. Google Workforce (dalam Private Preview) ditagih per label yang ditinjau. Anda dapat mengontrol upaya dan biaya peninjauan dengan membatasi HITL ke kolom penting yang perlu diverifikasi dan dikoreksi. Untuk melakukannya, gunakan filter Validasi tingkat Label di layar konfigurasi Peninjauan Manual.
Akses Single Sign-on dengan kredensial Enterprise - Labeler Workbench dan Labeling Manager Console mendukung kredensial Tenaga Kerja Google atau Gmail. Jika single sign-on dengan kredensial perusahaan diperlukan, buat akun Basic Google Workforce untuk tenaga pelabel Anda. Tenaga Kerja Google mendukung SAML dan Anda dapat mengonfigurasi penyedia SSO untuk login ke Labeler Workbench atau Konsol Pengelola Pemberian Label dengan kredensial perusahaan.
Batasan dan Solusi Umum
Berikut adalah beberapa batasan umum dan kemungkinan solusinya. Saat ini kami sedang mengatasi batasan tersebut.
Kotak pembatas harus menangkap beberapa teks - Jika HITL digunakan untuk menganotasi dokumen untuk pelatihan, setiap kotak pembatas yang digambar harus mendeteksi beberapa OCR. Nilai tidak boleh kosong. Memasukkan nilai secara manual tidak akan memperbaiki masalah ini.
VPC-SC - Pelanggan yang mengaktifkan VPC-SC di project HITL mereka mungkin tidak dapat menggunakan pelabel Google untuk Peninjauan HITL.
Latensi Pasca-peninjauan - Setelah dokumen ditinjau, mungkin diperlukan waktu hingga 30 menit agar dokumen tersebut disimpan di folder Cloud Storage yang telah dikonfigurasi sebelumnya.
Batas 10 halaman - Peninjauan HITL dibatasi hingga 10 halaman untuk Invoice. Invoice yang lebih dari 10 halaman tidak dikirim untuk peninjauan HITL.
Alur kerja pelabel tunggal - Tugas alur kerja saat ini terbatas pada peninjauan pelabel tunggal. Jika dokumen perlu ditinjau oleh beberapa peninjau (untuk QA, pencegahan penipuan, dll.), upload dokumen yang telah ditinjau ke pemroses kedua dalam mode "Lewati pemroses, kirim semua dokumen untuk Peninjauan HITL", sehingga dokumen tersebut ditinjau.
Edit Pengelola Pemberian Label di Kumpulan pemberian label - Dalam tugas BYOL, pengelola pemberian label tidak dapat ditambahkan atau dihapus ke kumpulan pemberian label setelah dibuat. Solusi: Saat membuat kumpulan pelabelan baru,
Tetapkan lebih dari 1 pengelola pelabelan, sehingga jika salah satu pengelola keluar sebelum tugas selesai, pengelola lain dapat mengelola kumpulan dan penugasan tugas.
Individu yang perlu melihat dasbor analisis tugas atau pelabel di UI Pengelola Pelabelan harus ditambahkan sebagai Pengelola Kumpulan saat membuat kumpulan.
Membatalkan Tugas - Setelah dimulai, tugas tidak dapat dibatalkan. Solusinya adalah Pengelola Pelabelan harus menjeda tugas atau membatalkan penetapan tugas kepada pemberi label di Konsol Pengelola Pelabelan.
Menetapkan Tugas ke seluruh Kumpulan Pelabel dalam sekali klik - saat ini tidak didukung, tetapi akan segera didukung. Solusinya adalah memilih semua pelabel dan menetapkan tugas kepada mereka.
Pelabel BYOL dengan akun Google Workspace - Jika pengelola pelabelan BYOL dan pelabel memiliki akun Google Workspace, Admin Google Workspace mungkin perlu mengaktifkan "Layanan Lainnya" di bagian bawah halaman Layanan Google (screenshot di bawah), untuk mengaktifkan akses ke Konsol Pengelola Pelabelan dan Workbench Pelabel.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-09-04 UTC."],[[["\u003cp\u003eDocument AI Human-in-the-Loop (HITL) is being deprecated and will no longer be available on Google Cloud after January 16, 2025, with new customers not being allowlisted.\u003c/p\u003e\n"],["\u003cp\u003eIt's recommended to use a single labeler pool across all processors in a project for simplicity, despite the ability to create multiple pools.\u003c/p\u003e\n"],["\u003cp\u003eMultiple tasks and processors may be necessary for a single document type when different skills, schemas, or labeler pools are required, and a classifier may be used to route documents correctly.\u003c/p\u003e\n"],["\u003cp\u003eReview time and costs can be optimized by limiting the review to only the essential fields needed for downstream processes, as the time spent per page scales with the number of fields reviewed.\u003c/p\u003e\n"],["\u003cp\u003eHITL has limitations, including a maximum of 10 pages for invoice review, a single-labeler workflow, and post-review latency of up to 30 minutes for document deposit.\u003c/p\u003e\n"]]],[],null,["# Best Practices and Known Limitations\n====================================\n\n\n| **Caution** : Document AI Human-in-the-Loop is deprecated and will no longer be available on Google Cloud after January 16, 2025. New customers are not allowlisted. If you want to use (HITL) but don't see the option available, contact your Google Account team. \n|\n| To implement a human review and correction solution that meets your requirements, we recommend working with a Google Cloud certified partner like Devoteam, Searce, or Quantiphi. See [Deprecations](/document-ai/docs/deprecation) for details.\n\n\u003cbr /\u003e\n\n\n| **Note** : This product is subject to the [Data Processing and Security Terms](/terms/data-processing-terms).\n\n\u003cbr /\u003e\n\nBest Practices\n--------------\n\n- **Single Labeler pool per project** - In the BYOL scenario, although the HITL Setup UI supports creating new labeler pools for each processor, it is recommended to use a single labeler pool across all processors in a project to keep things simple. This is because users from multiple labeler pools can still be assigned to the same task, and assigning a labeler pool to a task doesn't restrict the Labeling Manager from assigning other labelers to that task.\n- **Multiple tasks/document-type** - Multiple tasks may be required to process a single document-type. This is required in the following scenarios:\n - Labelers with different skills or credentials required to review/validate different fields of the same document.\n - Documents with different fields (e.g. invoices from different vendors) may need different schema to be validated, hence need to be routed to different tasks.\n - Documents from different customers have different labeler pools working on them (e.g. invoices from different customers, languages or countries).\n In this scenario, we recommend creating multiple processors (and tasks) and posting the documents to the appropriate task. \\[A classifier may be required to classify these documents and post to the correct processor\\].\n- **Limit Review to the fields required (vs all extracted fields on page), to save Review time and cost** - The Answer time/page scales with the number of fields to be reviewed. The Google labeler costs are based on the # of fields reviewed. Therefore it is recommended to limit the fields to be reviewed to the ones used in downstream business process.\n - For example, an Invoice might have 30+ fields but you may want to limit Review to only 4-5 fields that are important for settling the invoice.\n- **Naming HITL-enabled Processors** - The HITL task name is the same as the processor name. It is recommended to use a name that is understood by the labeling managers and labelers, and easily distinguished from other tasks they would be working on.\n- **Prioritizing Tasks** - If a labeler is assigned to multiple tasks, they process these sequentially. If a labeler needs to switch tasks (e.g. to respond to a customer escalation or meet an SLO), the Labeling Manager should un-assign the current task and assign the High Priority task to the labeler(s) using the Assignments tab in the Labeling Manager Console.\n - The Labelers X Tasks grid in the Console (shown below) allows the Labeling Manager to see all the labeler assignments to various tasks and to fine-tune which labeler works on which task in order to support the task priorities.\n- **Setting Validation Filters**\n- **Rejected documents** - Rejected state of the document along with the Reason code \\[e.g. different doc-type, forged, glare, blurry, edge cut off, etc\\] is captured in the Document JSON files ([TextChange](/document-ai/docs/reference/rest/v1beta3/Document#textchange) construct for all changes, [HumanReview](/document-ai/docs/reference/rest/v1beta3/Document#humanreview) for reject reason), output in the configured Cloud Storage bucket. It is recommended to use this metadata to separate the rejected documents.\n- **Handling large document ingest volume** - Current [quotas](https://cloud.google.com/document-ai/quotas) limit 600 online document requests/minute and upto 5 concurrent offline (batch) requests, each handling upto 50 documents. This is expected to handle 36000 online requests/hour and upto 15000 offline (batch) document requests/hour \\[since each batch handles upto 50 documents\\]. If higher volumes are required, please contact Support.\n- **Managing human validation costs and time** - Human validation can get expensive, whether you use your own labelers or Google labelers. The time spent per page scales with the # of fields reviewed. Google Workforce (in Private Preview) is billed per label reviewed. You can control your review effort and cost by limiting HITL to the important fields that need to be verified and corrected. To do so, use the Label-level Validation filters in the Human Review configuration screen.\n- **Single Sign-on access with Enterprise credentials** - The Labeler Workbench and Labeling Manager Console support Google Workforce or Gmail credentials. If single sign-on with enterprise credentials is required, please create Basic Google Workforce accounts for your labeler workforce. Google Workforce supports SAML and you can configure your SSO provider to sign onto the Labeler Workbench or Labeling Manager Console with enterprise credentials.\n\nKnown Limitations and Workarounds\n---------------------------------\n\nFollowing are some known limitations and possible workarounds. We are currently addressing the limitations.\n\n- **The bounding box must capture some text** - If HITL is used to annotate documents for training, any bounding box drawn must detect some OCR. The value should not be empty. Manually entering a value does not fix this issue.\n- **VPC-SC** - Customers with VPC-SC activated in their HITL project may not be able to use Google labelers for HITL Review.\n- **Post-review Latency** - After a document is reviewed, it may take up to 30 minutes for it to be deposited in the pre-configured Cloud Storage folder.\n- **10 page limit** - HITL review is limited to 10 pages for Invoices. Invoices larger than 10 pages are not sent for HITL review.\n- **Single-labeler workflow** - The current workflow tasks are limited to a single labeler review. If the document needs to be reviewed by multiple reviewers (for QA, fraud prevention etc), please upload the reviewed documents to a second processor in the mode \"Skip processor, send all docs for HITL Review\", so they are reviewed.\n- **Edit Labeling Managers of Labeling pool** - In BYOL tasks, labeling managers cannot be added or removed to a labeling pool once it's created. Workaround: When creating a new labeling pool,\n - Please assign more than 1 labeling managers, so that if one leaves before the task completes, the other(s) can manage the pool and task assignments.\n - Individuals that need to view the labeler or task analytics dashboards in the Labeling Manager UI should be added as Pool Managers when creating the pool.\n- **Canceling a Task** - Once started, a task cannot be cancelled. The work-around is for the Labeling Manager to pause the task or unassign labelers from the task in the Labeling Manager Console.\n- **Assigning a Task to an entire Labeler Pool in a single click** - isn't currently supported but will be supported shortly. The work-around is to select all the labelers and assigning the task to them.\n- **BYOL Labelers with Google Workspace accounts** - If BYOL labeling managers and labelers have Google Workspace accounts, the Google Workspace Admin may need to enable \"Other Services\" at the bottom of the Google Services page (screenshots below), in order to enable access to the Labeling Manager Console and Labeler Workbench."]]
