Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Práticas recomendadas
Um pool de rotuladores por projeto: no cenário BYOL, embora a interface de configuração do HITL permita criar novos pools de rotuladores para cada processador, recomendamos usar um único pool em todos os processadores de um projeto para simplificar. Isso acontece porque usuários de vários pools de rotuladores ainda podem ser atribuídos à mesma tarefa, e a atribuição de um pool de rotuladores a uma tarefa não impede que o Gerenciador de rotulagem atribua outros rotuladores a ela.
Várias tarefas/tipos de documento: várias tarefas podem ser necessárias para processar um único tipo de documento. Isso é necessário nos seguintes cenários:
Marcadores com diferentes habilidades ou credenciais necessárias para revisar/validar diferentes campos do mesmo documento.
Documentos com campos diferentes (por exemplo, faturas de diferentes fornecedores) podem precisar de esquemas diferentes para serem validados e, portanto, precisam ser encaminhados para tarefas diferentes.
Documentos de clientes diferentes têm pools de rotuladores diferentes trabalhando neles (por exemplo, faturas de clientes, idiomas ou países diferentes).
Nesse cenário, recomendamos criar vários processadores (e tarefas) e postar os documentos na tarefa apropriada. [Um classificador pode ser necessário para classificar esses documentos e postar no processador correto].
Limite a revisão aos campos obrigatórios (em vez de todos os campos extraídos na página) para economizar tempo e custo de revisão: o tempo de resposta/página é dimensionado com o número de campos a serem revisados. Os custos do rotulador do Google são baseados no número de campos revisados. Portanto, é recomendável limitar os campos a serem revisados aos usados no processo comercial downstream.
Por exemplo, uma fatura pode ter mais de 30 campos, mas talvez você queira limitar a revisão a apenas 4 ou 5 campos importantes para o pagamento.
Nomear processadores ativados para HITL: o nome da tarefa HITL é o mesmo do processador. Recomendamos usar um nome que seja compreendido pelos gerentes e rotuladores e que seja facilmente distinguido de outras tarefas em que eles trabalham.
Priorização de tarefas: se um rotulador for atribuído a várias tarefas, ele as processará sequencialmente. Se um rotulador precisar mudar de tarefa (por exemplo, para responder a uma escalonamento de cliente ou atender a um SLO), o gerente de rotulagem vai precisar cancelar a atribuição da tarefa atual e atribuir a tarefa de alta prioridade aos rotuladores usando a guia "Atividades" no console do gerente de rotulagem.
A grade "Rotuladores X Tarefas" no console (mostrada abaixo) permite que o Gerente de rotulagem veja todas as atribuições de rotuladores a várias tarefas e ajuste qual rotulador trabalha em qual tarefa para atender às prioridades.
Definir filtros de validação
Documentos rejeitados: o estado rejeitado do documento e o código do motivo [por exemplo, tipo de documento diferente, falsificado, brilho, embaçado, borda cortada etc.] são capturados nos arquivos JSON do documento (construção TextChange para todas as mudanças, HumanReview para o motivo da rejeição), saída no bucket do Cloud Storage configurado. Recomendamos usar esses metadados para separar os documentos rejeitados.
Como lidar com um grande volume de ingestão de documentos: as cotas atuais limitam a 600 solicitações de documentos on-line por minuto e até 5 solicitações off-line (em lote) simultâneas, cada uma processando até 50 documentos. Isso deve processar 36.000 solicitações on-line/hora e até 15.000 solicitações de documentos off-line (em lote)/hora, já que cada lote processa até 50 documentos. Se precisar de volumes maiores, entre em contato com o suporte.
Gerenciar os custos e o tempo da validação humana: a validação humana pode ser cara, independentemente se você está usando seus próprios rotuladores ou os do Google. O tempo gasto por página é dimensionado com o número de campos revisados. A força de trabalho do Google (na visualização particular) é faturada por rótulo revisado. É possível controlar seus esforços e custos de revisão limitando o HIT aos campos importantes que precisam ser verificados e corrigidos. Para fazer isso, use os filtros de validação no nível da etiqueta na tela de configuração da revisão humana.
Acesso de logon único com credenciais corporativas: o Labeler Workbench e o Labeling Manager Console são compatíveis com credenciais do Google Workforce ou do Gmail. Se for necessário o Logon único com credenciais corporativas, crie contas básicas do Google Workforce para seus rotuladores. O Google Workforce é compatível com SAML, e você pode configurar seu provedor de SSO para fazer login no Labeler Workbench ou no console do Labeling Manager com credenciais corporativas.
Limitações e soluções alternativas conhecidas
Confira a seguir algumas limitações conhecidas e possíveis soluções alternativas. Estamos trabalhando para resolver as limitações.
A caixa delimitadora precisa capturar algum texto: se o HITL for usado para anotar documentos para treinamento, qualquer caixa delimitadora desenhada precisará detectar algum OCR. O valor não pode ficar em branco. Inserir um valor manualmente não corrige esse problema.
VPC-SC: os clientes com o VPC-SC ativado no projeto de HITL talvez não consigam usar os rotuladores do Google para a revisão de HITL.
Latência pós-revisão: depois que um documento é revisado, pode levar até 30 minutos para que ele seja depositado na pasta pré-configurada do Cloud Storage.
Limite de 10 páginas: a revisão de HITL é limitada a 10 páginas para faturas. As faturas com mais de 10 páginas não são enviadas para revisão humana.
Fluxo de trabalho de rotulagem única: as tarefas do fluxo de trabalho atual são limitadas a uma única revisão de rotulagem. Se o documento precisar ser revisado por vários revisores (para controle de qualidade, prevenção de fraudes etc.), faça upload dos documentos revisados para um segundo processador no modo "Ignorar processador, enviar todos os documentos para revisão HITL".
Editar administradores de rotulagem do pool de rotulagem: nas tarefas BYOL, não é possível adicionar ou remover administradores de rotulagem de um pool depois que ele é criado. Solução alternativa: ao criar um novo pool de rotulagem,
Atribua mais de um gerente de rotulagem para que, se um sair antes da conclusão da tarefa, os outros possam gerenciar o pool e as atribuições de tarefas.
As pessoas que precisam acessar os painéis de rotuladores ou de análise de tarefas na interface do Gerenciador de rotulagem precisam ser adicionadas como administradores de pool ao criar o pool.
Cancelamento de uma tarefa: depois de iniciada, uma tarefa não pode ser cancelada. A solução alternativa é o Gerenciador de rotulagem pausar ou remover a atribuição de rotuladores da tarefa no console do Gerenciador de rotulagem.
Atribuir uma tarefa a um pool de rotuladores inteiro com um único clique: no momento, não é possível, mas será em breve. A solução alternativa é selecionar todos os rotuladores e atribuir a tarefa a eles.
Rotuladores BYOL com contas do Google Workspace: se os gerentes e rotuladores BYOL tiverem contas do Google Workspace, o admin do Google Workspace talvez precise ativar "Outros serviços" na parte de baixo da página "Serviços do Google" (capturas de tela abaixo) para permitir o acesso ao Console do Gerenciador de rotulagem e ao Workbench do rotulador.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-09-04 UTC."],[[["\u003cp\u003eDocument AI Human-in-the-Loop (HITL) is being deprecated and will no longer be available on Google Cloud after January 16, 2025, with new customers not being allowlisted.\u003c/p\u003e\n"],["\u003cp\u003eIt's recommended to use a single labeler pool across all processors in a project for simplicity, despite the ability to create multiple pools.\u003c/p\u003e\n"],["\u003cp\u003eMultiple tasks and processors may be necessary for a single document type when different skills, schemas, or labeler pools are required, and a classifier may be used to route documents correctly.\u003c/p\u003e\n"],["\u003cp\u003eReview time and costs can be optimized by limiting the review to only the essential fields needed for downstream processes, as the time spent per page scales with the number of fields reviewed.\u003c/p\u003e\n"],["\u003cp\u003eHITL has limitations, including a maximum of 10 pages for invoice review, a single-labeler workflow, and post-review latency of up to 30 minutes for document deposit.\u003c/p\u003e\n"]]],[],null,["# Best Practices and Known Limitations\n====================================\n\n\n| **Caution** : Document AI Human-in-the-Loop is deprecated and will no longer be available on Google Cloud after January 16, 2025. New customers are not allowlisted. If you want to use (HITL) but don't see the option available, contact your Google Account team. \n|\n| To implement a human review and correction solution that meets your requirements, we recommend working with a Google Cloud certified partner like Devoteam, Searce, or Quantiphi. See [Deprecations](/document-ai/docs/deprecation) for details.\n\n\u003cbr /\u003e\n\n\n| **Note** : This product is subject to the [Data Processing and Security Terms](/terms/data-processing-terms).\n\n\u003cbr /\u003e\n\nBest Practices\n--------------\n\n- **Single Labeler pool per project** - In the BYOL scenario, although the HITL Setup UI supports creating new labeler pools for each processor, it is recommended to use a single labeler pool across all processors in a project to keep things simple. This is because users from multiple labeler pools can still be assigned to the same task, and assigning a labeler pool to a task doesn't restrict the Labeling Manager from assigning other labelers to that task.\n- **Multiple tasks/document-type** - Multiple tasks may be required to process a single document-type. This is required in the following scenarios:\n - Labelers with different skills or credentials required to review/validate different fields of the same document.\n - Documents with different fields (e.g. invoices from different vendors) may need different schema to be validated, hence need to be routed to different tasks.\n - Documents from different customers have different labeler pools working on them (e.g. invoices from different customers, languages or countries).\n In this scenario, we recommend creating multiple processors (and tasks) and posting the documents to the appropriate task. \\[A classifier may be required to classify these documents and post to the correct processor\\].\n- **Limit Review to the fields required (vs all extracted fields on page), to save Review time and cost** - The Answer time/page scales with the number of fields to be reviewed. The Google labeler costs are based on the # of fields reviewed. Therefore it is recommended to limit the fields to be reviewed to the ones used in downstream business process.\n - For example, an Invoice might have 30+ fields but you may want to limit Review to only 4-5 fields that are important for settling the invoice.\n- **Naming HITL-enabled Processors** - The HITL task name is the same as the processor name. It is recommended to use a name that is understood by the labeling managers and labelers, and easily distinguished from other tasks they would be working on.\n- **Prioritizing Tasks** - If a labeler is assigned to multiple tasks, they process these sequentially. If a labeler needs to switch tasks (e.g. to respond to a customer escalation or meet an SLO), the Labeling Manager should un-assign the current task and assign the High Priority task to the labeler(s) using the Assignments tab in the Labeling Manager Console.\n - The Labelers X Tasks grid in the Console (shown below) allows the Labeling Manager to see all the labeler assignments to various tasks and to fine-tune which labeler works on which task in order to support the task priorities.\n- **Setting Validation Filters**\n- **Rejected documents** - Rejected state of the document along with the Reason code \\[e.g. different doc-type, forged, glare, blurry, edge cut off, etc\\] is captured in the Document JSON files ([TextChange](/document-ai/docs/reference/rest/v1beta3/Document#textchange) construct for all changes, [HumanReview](/document-ai/docs/reference/rest/v1beta3/Document#humanreview) for reject reason), output in the configured Cloud Storage bucket. It is recommended to use this metadata to separate the rejected documents.\n- **Handling large document ingest volume** - Current [quotas](https://cloud.google.com/document-ai/quotas) limit 600 online document requests/minute and upto 5 concurrent offline (batch) requests, each handling upto 50 documents. This is expected to handle 36000 online requests/hour and upto 15000 offline (batch) document requests/hour \\[since each batch handles upto 50 documents\\]. If higher volumes are required, please contact Support.\n- **Managing human validation costs and time** - Human validation can get expensive, whether you use your own labelers or Google labelers. The time spent per page scales with the # of fields reviewed. Google Workforce (in Private Preview) is billed per label reviewed. You can control your review effort and cost by limiting HITL to the important fields that need to be verified and corrected. To do so, use the Label-level Validation filters in the Human Review configuration screen.\n- **Single Sign-on access with Enterprise credentials** - The Labeler Workbench and Labeling Manager Console support Google Workforce or Gmail credentials. If single sign-on with enterprise credentials is required, please create Basic Google Workforce accounts for your labeler workforce. Google Workforce supports SAML and you can configure your SSO provider to sign onto the Labeler Workbench or Labeling Manager Console with enterprise credentials.\n\nKnown Limitations and Workarounds\n---------------------------------\n\nFollowing are some known limitations and possible workarounds. We are currently addressing the limitations.\n\n- **The bounding box must capture some text** - If HITL is used to annotate documents for training, any bounding box drawn must detect some OCR. The value should not be empty. Manually entering a value does not fix this issue.\n- **VPC-SC** - Customers with VPC-SC activated in their HITL project may not be able to use Google labelers for HITL Review.\n- **Post-review Latency** - After a document is reviewed, it may take up to 30 minutes for it to be deposited in the pre-configured Cloud Storage folder.\n- **10 page limit** - HITL review is limited to 10 pages for Invoices. Invoices larger than 10 pages are not sent for HITL review.\n- **Single-labeler workflow** - The current workflow tasks are limited to a single labeler review. If the document needs to be reviewed by multiple reviewers (for QA, fraud prevention etc), please upload the reviewed documents to a second processor in the mode \"Skip processor, send all docs for HITL Review\", so they are reviewed.\n- **Edit Labeling Managers of Labeling pool** - In BYOL tasks, labeling managers cannot be added or removed to a labeling pool once it's created. Workaround: When creating a new labeling pool,\n - Please assign more than 1 labeling managers, so that if one leaves before the task completes, the other(s) can manage the pool and task assignments.\n - Individuals that need to view the labeler or task analytics dashboards in the Labeling Manager UI should be added as Pool Managers when creating the pool.\n- **Canceling a Task** - Once started, a task cannot be cancelled. The work-around is for the Labeling Manager to pause the task or unassign labelers from the task in the Labeling Manager Console.\n- **Assigning a Task to an entire Labeler Pool in a single click** - isn't currently supported but will be supported shortly. The work-around is to select all the labelers and assigning the task to them.\n- **BYOL Labelers with Google Workspace accounts** - If BYOL labeling managers and labelers have Google Workspace accounts, the Google Workspace Admin may need to enable \"Other Services\" at the bottom of the Google Services page (screenshots below), in order to enable access to the Labeling Manager Console and Labeler Workbench."]]
