Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Best practice
Pool di etichettatori singolo per progetto: nello scenario BYOL, anche se l'interfaccia utente di configurazione HITL supporta la creazione di nuovi pool di etichettatori per ogni processore, è consigliabile utilizzare un unico pool di etichettatori in tutti i processori di un progetto per semplificare le operazioni. Questo perché gli utenti di più pool di etichettatori possono comunque essere assegnati alla stessa attività e l'assegnazione di un pool di etichettatori a un'attività non impedisce al responsabile dell'etichettatura di assegnare altri etichettatori a quell'attività.
Più attività/tipo di documento: per elaborare un singolo tipo di documento potrebbero essere necessarie più attività. Questa operazione è obbligatoria nei seguenti scenari:
Etichettatori con competenze o credenziali diverse necessarie per rivedere/convalidare campi diversi dello stesso documento.
I documenti con campi diversi (ad es. fatture di fornitori diversi) potrebbero richiedere schemi diversi per essere convalidati, pertanto devono essere indirizzati a attività diverse.
I documenti di clienti diversi hanno pool di etichettatori diversi (ad es. fatture di clienti, lingue o paesi diversi).
In questo scenario, consigliamo di creare più processori (e attività) e di pubblicare i documenti nell'attività appropriata. [Potrebbe essere necessario un classificatore per classificare questi documenti e inviarli al processore corretto].
Limita la revisione ai campi obbligatori (anziché a tutti i campi estratti dalla pagina) per risparmiare tempo e costi di revisione: il tempo di risposta/pagina aumenta in base al numero di campi da rivedere. I costi dell'etichettatore Google si basano sul numero di campi esaminati. Pertanto, è consigliabile limitare i campi da esaminare a quelli utilizzati nel processo aziendale a valle.
Ad esempio, una fattura potrebbe avere più di 30 campi, ma potresti voler limitare la revisione solo a 4-5 campi importanti per il pagamento della fattura.
Denominazione dei processori abilitati per l'intervento umano: il nome dell'attività HITL è uguale al nome del processore. Ti consigliamo di utilizzare un nome comprensibile ai responsabili dell'etichettatura e agli etichettatori e facilmente distinguibile dalle altre attività a cui lavoreranno.
Assegnazione della priorità alle attività: se un etichettatore è assegnato a più attività, le elabora in sequenza. Se un etichettatore deve cambiare attività (ad es. per rispondere a una riassegnazione di un cliente o rispettare un SLO), il responsabile dell'etichettatura deve annullare l'assegnazione dell'attività corrente e assegnare l'attività ad alta priorità agli etichettatori utilizzando la scheda Compiti nella console del responsabile dell'etichettatura.
La griglia Etichettatori x Attività nella console (mostrata di seguito) consente al responsabile dell'etichettatura di visualizzare tutte le assegnazioni degli etichettatori alle varie attività e di perfezionare l'assegnazione degli etichettatori alle attività per supportare le priorità delle attività.
Impostazione dei filtri di convalida
Documenti rifiutati: lo stato di rifiuto del documento insieme al codice motivo [ad es.tipo di documento diverso, falso, abbagliamento, sfocato, bordo tagliato ecc.] viene acquisito nei file JSON del documento (costrutto TextChange per tutte le modifiche, HumanReview per il motivo del rifiuto), output nel bucket Cloud Storage configurato. Ti consigliamo di utilizzare questi metadati per separare i documenti rifiutati.
Gestione di un volume elevato di importazione di documenti: le quote attuali limitano a 600 le richieste di documenti online al minuto e a 5 le richieste offline (batch) simultanee, ciascuna delle quali gestisce fino a 50 documenti. Si prevede che gestisca 36.000 richieste online/ora e fino a 15.000 richieste di documenti offline (batch)/ora [poiché ogni batch gestisce fino a 50 documenti]. Se sono necessari volumi più elevati, contatta l'assistenza.
Gestione di costi e tempistiche per la convalida da parte di persone fisiche: la convalida da parte di persone fisiche può essere costosa, che utilizzi i tuoi etichettatori o quelli di Google. Il tempo dedicato per pagina scala in base al numero di campi rivisti. I costi per la forza lavoro Google (in anteprima privata) vengono addebitati per etichetta rivista. Puoi controllare lo sforzo e i costi di revisione limitando HITL ai campi importanti che devono essere verificati e corretti. Per farlo, utilizza i filtri di convalida a livello di etichetta nella schermata di configurazione della revisione da parte di persone fisiche.
Accesso Single Sign-On con credenziali aziendali: Labeler Workbench e la console di gestione delle etichette supportano le credenziali di Google Workforce o Gmail. Se è richiesto il Single Sign-On con le credenziali aziendali, crea account Google Workforce di base per i tuoi annotatori. Google Workforce supporta SAML e puoi configurare il tuo provider SSO per accedere a Labeler Workbench o alla console Labeling Manager con le credenziali aziendali.
Limitazioni note e soluzioni alternative
Di seguito sono riportate alcune limitazioni note e possibili soluzioni alternative. Stiamo attualmente lavorando per risolvere le limitazioni.
Il riquadro di delimitazione deve acquisire del testo: se HITL viene utilizzato per annotare i documenti per l'addestramento, qualsiasi riquadro di delimitazione disegnato deve rilevare un OCR. Il valore non deve essere vuoto. L'inserimento manuale di un valore non risolve il problema.
VPC-SC: i clienti con VPC-SC attivato nel proprio progetto HITL potrebbero non essere in grado di utilizzare i revisori Google per la revisione HITL.
Latenza post-revisione: dopo la revisione di un documento, potrebbero essere necessari fino a 30 minuti prima che venga depositato nella cartella Cloud Storage preconfigurata.
Limite di 10 pagine: la revisione HITL è limitata a 10 pagine per le fatture. Le fatture più lunghe di 10 pagine non vengono inviate per la revisione HITL.
Workflow con un solo etichettatore: le attività del workflow corrente sono limitate a una singola revisione dell'etichettatore. Se il documento deve essere esaminato da più revisori (per il controllo qualità, la prevenzione delle frodi e così via), carica i documenti esaminati in un secondo processore nella modalità "Salta processore, invia tutti i documenti per la revisione HITL", in modo che vengano esaminati.
Modifica i gestori dell'etichettatura del pool di etichettatura: nelle attività BYOL, i gestori dell'etichettatura non possono essere aggiunti o rimossi da un pool di etichettatura una volta creato. Soluzione alternativa: quando crei un nuovo pool di etichettatura,
Assegna più di un responsabile dell'etichettatura, in modo che se uno lascia l'azienda prima del completamento dell'attività, gli altri possano gestire il pool e le assegnazioni delle attività.
Le persone che devono visualizzare le dashboard dell'etichettatore o delle analisi delle attività nell'interfaccia utente di Labeling Manager devono essere aggiunte come gestori del pool durante la creazione del pool.
Annullamento di un'attività: una volta avviata, un'attività non può essere annullata. La soluzione alternativa consiste nel mettere in pausa l'attività o annullare l'assegnazione dei labeler all'attività nella console Gestione etichette.
Assegnazione di un'attività a un intero pool di etichettatori con un solo clic: al momento non è supportata, ma lo sarà a breve. La soluzione alternativa consiste nel selezionare tutti gli etichettatori e assegnare loro l'attività.
Etichettatori BYOL con account Google Workspace: se i gestori e gli etichettatori BYOL hanno account Google Workspace, l'amministratore di Google Workspace potrebbe dover attivare "Altri servizi" nella parte inferiore della pagina Servizi Google (screenshot di seguito) per consentire l'accesso alla console di gestione delle etichette e al workbench dell'etichettatore.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-09-04 UTC."],[[["\u003cp\u003eDocument AI Human-in-the-Loop (HITL) is being deprecated and will no longer be available on Google Cloud after January 16, 2025, with new customers not being allowlisted.\u003c/p\u003e\n"],["\u003cp\u003eIt's recommended to use a single labeler pool across all processors in a project for simplicity, despite the ability to create multiple pools.\u003c/p\u003e\n"],["\u003cp\u003eMultiple tasks and processors may be necessary for a single document type when different skills, schemas, or labeler pools are required, and a classifier may be used to route documents correctly.\u003c/p\u003e\n"],["\u003cp\u003eReview time and costs can be optimized by limiting the review to only the essential fields needed for downstream processes, as the time spent per page scales with the number of fields reviewed.\u003c/p\u003e\n"],["\u003cp\u003eHITL has limitations, including a maximum of 10 pages for invoice review, a single-labeler workflow, and post-review latency of up to 30 minutes for document deposit.\u003c/p\u003e\n"]]],[],null,["# Best Practices and Known Limitations\n====================================\n\n\n| **Caution** : Document AI Human-in-the-Loop is deprecated and will no longer be available on Google Cloud after January 16, 2025. New customers are not allowlisted. If you want to use (HITL) but don't see the option available, contact your Google Account team. \n|\n| To implement a human review and correction solution that meets your requirements, we recommend working with a Google Cloud certified partner like Devoteam, Searce, or Quantiphi. See [Deprecations](/document-ai/docs/deprecation) for details.\n\n\u003cbr /\u003e\n\n\n| **Note** : This product is subject to the [Data Processing and Security Terms](/terms/data-processing-terms).\n\n\u003cbr /\u003e\n\nBest Practices\n--------------\n\n- **Single Labeler pool per project** - In the BYOL scenario, although the HITL Setup UI supports creating new labeler pools for each processor, it is recommended to use a single labeler pool across all processors in a project to keep things simple. This is because users from multiple labeler pools can still be assigned to the same task, and assigning a labeler pool to a task doesn't restrict the Labeling Manager from assigning other labelers to that task.\n- **Multiple tasks/document-type** - Multiple tasks may be required to process a single document-type. This is required in the following scenarios:\n - Labelers with different skills or credentials required to review/validate different fields of the same document.\n - Documents with different fields (e.g. invoices from different vendors) may need different schema to be validated, hence need to be routed to different tasks.\n - Documents from different customers have different labeler pools working on them (e.g. invoices from different customers, languages or countries).\n In this scenario, we recommend creating multiple processors (and tasks) and posting the documents to the appropriate task. \\[A classifier may be required to classify these documents and post to the correct processor\\].\n- **Limit Review to the fields required (vs all extracted fields on page), to save Review time and cost** - The Answer time/page scales with the number of fields to be reviewed. The Google labeler costs are based on the # of fields reviewed. Therefore it is recommended to limit the fields to be reviewed to the ones used in downstream business process.\n - For example, an Invoice might have 30+ fields but you may want to limit Review to only 4-5 fields that are important for settling the invoice.\n- **Naming HITL-enabled Processors** - The HITL task name is the same as the processor name. It is recommended to use a name that is understood by the labeling managers and labelers, and easily distinguished from other tasks they would be working on.\n- **Prioritizing Tasks** - If a labeler is assigned to multiple tasks, they process these sequentially. If a labeler needs to switch tasks (e.g. to respond to a customer escalation or meet an SLO), the Labeling Manager should un-assign the current task and assign the High Priority task to the labeler(s) using the Assignments tab in the Labeling Manager Console.\n - The Labelers X Tasks grid in the Console (shown below) allows the Labeling Manager to see all the labeler assignments to various tasks and to fine-tune which labeler works on which task in order to support the task priorities.\n- **Setting Validation Filters**\n- **Rejected documents** - Rejected state of the document along with the Reason code \\[e.g. different doc-type, forged, glare, blurry, edge cut off, etc\\] is captured in the Document JSON files ([TextChange](/document-ai/docs/reference/rest/v1beta3/Document#textchange) construct for all changes, [HumanReview](/document-ai/docs/reference/rest/v1beta3/Document#humanreview) for reject reason), output in the configured Cloud Storage bucket. It is recommended to use this metadata to separate the rejected documents.\n- **Handling large document ingest volume** - Current [quotas](https://cloud.google.com/document-ai/quotas) limit 600 online document requests/minute and upto 5 concurrent offline (batch) requests, each handling upto 50 documents. This is expected to handle 36000 online requests/hour and upto 15000 offline (batch) document requests/hour \\[since each batch handles upto 50 documents\\]. If higher volumes are required, please contact Support.\n- **Managing human validation costs and time** - Human validation can get expensive, whether you use your own labelers or Google labelers. The time spent per page scales with the # of fields reviewed. Google Workforce (in Private Preview) is billed per label reviewed. You can control your review effort and cost by limiting HITL to the important fields that need to be verified and corrected. To do so, use the Label-level Validation filters in the Human Review configuration screen.\n- **Single Sign-on access with Enterprise credentials** - The Labeler Workbench and Labeling Manager Console support Google Workforce or Gmail credentials. If single sign-on with enterprise credentials is required, please create Basic Google Workforce accounts for your labeler workforce. Google Workforce supports SAML and you can configure your SSO provider to sign onto the Labeler Workbench or Labeling Manager Console with enterprise credentials.\n\nKnown Limitations and Workarounds\n---------------------------------\n\nFollowing are some known limitations and possible workarounds. We are currently addressing the limitations.\n\n- **The bounding box must capture some text** - If HITL is used to annotate documents for training, any bounding box drawn must detect some OCR. The value should not be empty. Manually entering a value does not fix this issue.\n- **VPC-SC** - Customers with VPC-SC activated in their HITL project may not be able to use Google labelers for HITL Review.\n- **Post-review Latency** - After a document is reviewed, it may take up to 30 minutes for it to be deposited in the pre-configured Cloud Storage folder.\n- **10 page limit** - HITL review is limited to 10 pages for Invoices. Invoices larger than 10 pages are not sent for HITL review.\n- **Single-labeler workflow** - The current workflow tasks are limited to a single labeler review. If the document needs to be reviewed by multiple reviewers (for QA, fraud prevention etc), please upload the reviewed documents to a second processor in the mode \"Skip processor, send all docs for HITL Review\", so they are reviewed.\n- **Edit Labeling Managers of Labeling pool** - In BYOL tasks, labeling managers cannot be added or removed to a labeling pool once it's created. Workaround: When creating a new labeling pool,\n - Please assign more than 1 labeling managers, so that if one leaves before the task completes, the other(s) can manage the pool and task assignments.\n - Individuals that need to view the labeler or task analytics dashboards in the Labeling Manager UI should be added as Pool Managers when creating the pool.\n- **Canceling a Task** - Once started, a task cannot be cancelled. The work-around is for the Labeling Manager to pause the task or unassign labelers from the task in the Labeling Manager Console.\n- **Assigning a Task to an entire Labeler Pool in a single click** - isn't currently supported but will be supported shortly. The work-around is to select all the labelers and assigning the task to them.\n- **BYOL Labelers with Google Workspace accounts** - If BYOL labeling managers and labelers have Google Workspace accounts, the Google Workspace Admin may need to enable \"Other Services\" at the bottom of the Google Services page (screenshots below), in order to enable access to the Labeling Manager Console and Labeler Workbench."]]
