Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Prácticas recomendadas
Un solo grupo de etiquetadores por proyecto: En la situación de BYOL, aunque la IU de configuración de HITL admite la creación de grupos de etiquetadores nuevos para cada procesador, se recomienda usar un solo grupo de etiquetadores en todos los procesadores de un proyecto para simplificar las cosas. Esto se debe a que los usuarios de varios grupos de etiquetadores aún se pueden asignar a la misma tarea, y asignar un grupo de etiquetadores a una tarea no impide que el administrador de etiquetado asigne otros etiquetadores a esa tarea.
Múltiples tareas/tipo de documento: Es posible que se requieran varias tareas para procesar un solo tipo de documento. Esto es obligatorio en las siguientes situaciones:
Etiquetadores con diferentes habilidades o credenciales necesarias para revisar o validar diferentes campos del mismo documento
Es posible que los documentos con diferentes campos (p.ej., facturas de diferentes proveedores) necesiten un esquema diferente para validarse y, por lo tanto, deban enrutarse a diferentes tareas.
Los documentos de diferentes clientes tienen diferentes grupos de etiquetadores trabajando en ellos (p.ej., facturas de diferentes clientes, idiomas o países).
En este caso, te recomendamos que crees varios procesadores (y tareas) y que publiques los documentos en la tarea correspondiente. [Es posible que se requiera un clasificador para clasificar estos documentos y publicarlos en el procesador correcto].
Limita la revisión a los campos obligatorios (en lugar de todos los campos extraídos en la página) para ahorrar tiempo y costos de revisión: El tiempo de respuesta por página se ajusta según la cantidad de campos que se deben revisar. Los costos de los etiquetadores de Google se basan en la cantidad de campos revisados. Por lo tanto, se recomienda limitar los campos que se revisarán a los que se usan en el proceso comercial posterior.
Por ejemplo, una factura puede tener más de 30 campos, pero es posible que desees limitar la revisión a solo 4 o 5 campos que sean importantes para liquidar la factura.
Cómo nombrar procesadores habilitados para HITL: El nombre de la tarea de HITL es el mismo que el nombre del procesador. Se recomienda usar un nombre que los administradores y los etiquetadores comprendan, y que se distinga fácilmente de otras tareas en las que trabajarán.
Prioritizing Tasks: Si se le asignan varias tareas a un etiquetador, este las procesa de forma secuencial. Si un etiquetador necesita cambiar de tarea (p.ej., para responder a una derivación del cliente o cumplir con un SLO), el administrador de etiquetado debe anular la asignación de la tarea actual y asignar la tarea de alta prioridad a los etiquetadores a través de la pestaña Assignments en la consola del administrador de etiquetado.
La cuadrícula Labelers X Tasks de la consola (que se muestra a continuación) permite que el administrador de etiquetado vea todas las asignaciones de etiquetadores a varias tareas y ajuste qué etiquetador trabaja en qué tarea para admitir las prioridades de las tareas.
Cómo configurar filtros de validación
Documentos rechazados: El estado de rechazo del documento junto con el código de motivo [p. ej., tipo de documento diferente, falsificado, reflejo, borroso, borde cortado, etc.] se captura en los archivos JSON del documento (construcción TextChange para todos los cambios, HumanReview para el motivo de rechazo) y se genera en el bucket de Cloud Storage configurado. Se recomienda usar estos metadatos para separar los documentos rechazados.
Manejo de un gran volumen de documentos: Las cuotas actuales limitan a 600 solicitudes de documentos en línea por minuto y hasta 5 solicitudes simultáneas sin conexión (por lotes), cada una de las cuales maneja hasta 50 documentos. Se espera que controle 36,000 solicitudes en línea por hora y hasta 15,000 solicitudes de documentos sin conexión (por lotes) por hora [ya que cada lote controla hasta 50 documentos]. Si se requieren volúmenes más altos, comunícate con el equipo de asistencia.
Administra el tiempo y los costos de las validaciones manuales: La validación manual puede ser costosa, ya sea que uses tus propios etiquetadores o etiquetadores de Google. El tiempo dedicado por página se escala con la cantidad de campos revisados. El personal de Google (en vista previa privada) se factura por etiqueta revisada. Puedes controlar tu esfuerzo y costo de revisión limitando la interacción humana a los campos importantes que se deben verificar y corregir. Para ello, usa los filtros de validación a nivel de las etiquetas en la pantalla de configuración de revisión manual.
Acceso con un solo inicio de sesión con credenciales de Enterprise: Labeler Workbench y Labeling Manager Console admiten credenciales de la fuerza laboral de Google o de Gmail. Si se requiere el inicio de sesión único con credenciales empresariales, crea cuentas básicas de Google Workforce para tu equipo de etiquetadores. Google Workforce admite SAML, y puedes configurar tu proveedor de SSO para acceder a Labeler Workbench o a Labeling Manager Console con credenciales empresariales.
Limitaciones y soluciones conocidas
A continuación, se indican algunas limitaciones conocidas y posibles soluciones alternativas. Actualmente, estamos abordando las limitaciones.
El cuadro delimitador debe capturar algo de texto: Si se usa HITL para anotar documentos para el entrenamiento, cualquier cuadro delimitador dibujado debe detectar algo de OCR. El valor no debe estar vacío. Ingresar un valor de forma manual no soluciona este problema.
VPC-SC: Es posible que los clientes con VPC-SC activado en su proyecto de HITL no puedan usar los etiquetadores de Google para la revisión de HITL.
Latencia posterior a la revisión: Después de revisar un documento, puede tardar hasta 30 minutos en depositarse en la carpeta de Cloud Storage preconfigurada.
Límite de 10 páginas: La revisión de HITL se limita a 10 páginas para las facturas. Las facturas de más de 10 páginas no se envían para su revisión por HITL.
Flujo de trabajo de un solo etiquetador: Las tareas del flujo de trabajo actual se limitan a una sola revisión del etiquetador. Si varios revisores deben revisar el documento (para el control de calidad, la prevención de fraudes, etc.), sube los documentos revisados a un segundo procesador en el modo "Omitir procesador, enviar todos los documentos para la revisión de HITL" para que se revisen.
Edit Labeling Managers of Labeling pool: En las tareas de BYOL, no se pueden agregar ni quitar administradores de etiquetado a un grupo de etiquetado una vez que se crea. Solución alternativa: Cuando crees un nuevo grupo de etiquetado,
Asigna más de 1 administrador de etiquetado para que, si uno se va antes de que se complete la tarea, los demás puedan administrar el grupo y las asignaciones de tareas.
Las personas que necesiten ver los paneles de estadísticas de etiquetadores o tareas en la IU del Administrador de etiquetado deben agregarse como administradores del grupo cuando se cree el grupo.
Cómo cancelar una tarea: Una vez que se inicia una tarea, no se puede cancelar. La solución alternativa es que el administrador de etiquetado pause la tarea o quite la asignación de los etiquetadores de la tarea en la consola del Administrador de etiquetado.
Asignar una tarea a todo un grupo de etiquetadores con un solo clic: Actualmente, no se admite esta función, pero estará disponible pronto. La solución alternativa es seleccionar a todos los etiquetadores y asignarles la tarea.
Etiquetadores de BYOL con cuentas de Google Workspace: Si los administradores y los etiquetadores de BYOL tienen cuentas de Google Workspace, es posible que el administrador de Google Workspace deba habilitar "Otros servicios" en la parte inferior de la página Servicios de Google (capturas de pantalla a continuación) para habilitar el acceso a la Consola del administrador de etiquetado y a Labeler Workbench.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[[["\u003cp\u003eDocument AI Human-in-the-Loop (HITL) is being deprecated and will no longer be available on Google Cloud after January 16, 2025, with new customers not being allowlisted.\u003c/p\u003e\n"],["\u003cp\u003eIt's recommended to use a single labeler pool across all processors in a project for simplicity, despite the ability to create multiple pools.\u003c/p\u003e\n"],["\u003cp\u003eMultiple tasks and processors may be necessary for a single document type when different skills, schemas, or labeler pools are required, and a classifier may be used to route documents correctly.\u003c/p\u003e\n"],["\u003cp\u003eReview time and costs can be optimized by limiting the review to only the essential fields needed for downstream processes, as the time spent per page scales with the number of fields reviewed.\u003c/p\u003e\n"],["\u003cp\u003eHITL has limitations, including a maximum of 10 pages for invoice review, a single-labeler workflow, and post-review latency of up to 30 minutes for document deposit.\u003c/p\u003e\n"]]],[],null,["# Best Practices and Known Limitations\n====================================\n\n\n| **Caution** : Document AI Human-in-the-Loop is deprecated and will no longer be available on Google Cloud after January 16, 2025. New customers are not allowlisted. If you want to use (HITL) but don't see the option available, contact your Google Account team. \n|\n| To implement a human review and correction solution that meets your requirements, we recommend working with a Google Cloud certified partner like Devoteam, Searce, or Quantiphi. See [Deprecations](/document-ai/docs/deprecation) for details.\n\n\u003cbr /\u003e\n\n\n| **Note** : This product is subject to the [Data Processing and Security Terms](/terms/data-processing-terms).\n\n\u003cbr /\u003e\n\nBest Practices\n--------------\n\n- **Single Labeler pool per project** - In the BYOL scenario, although the HITL Setup UI supports creating new labeler pools for each processor, it is recommended to use a single labeler pool across all processors in a project to keep things simple. This is because users from multiple labeler pools can still be assigned to the same task, and assigning a labeler pool to a task doesn't restrict the Labeling Manager from assigning other labelers to that task.\n- **Multiple tasks/document-type** - Multiple tasks may be required to process a single document-type. This is required in the following scenarios:\n - Labelers with different skills or credentials required to review/validate different fields of the same document.\n - Documents with different fields (e.g. invoices from different vendors) may need different schema to be validated, hence need to be routed to different tasks.\n - Documents from different customers have different labeler pools working on them (e.g. invoices from different customers, languages or countries).\n In this scenario, we recommend creating multiple processors (and tasks) and posting the documents to the appropriate task. \\[A classifier may be required to classify these documents and post to the correct processor\\].\n- **Limit Review to the fields required (vs all extracted fields on page), to save Review time and cost** - The Answer time/page scales with the number of fields to be reviewed. The Google labeler costs are based on the # of fields reviewed. Therefore it is recommended to limit the fields to be reviewed to the ones used in downstream business process.\n - For example, an Invoice might have 30+ fields but you may want to limit Review to only 4-5 fields that are important for settling the invoice.\n- **Naming HITL-enabled Processors** - The HITL task name is the same as the processor name. It is recommended to use a name that is understood by the labeling managers and labelers, and easily distinguished from other tasks they would be working on.\n- **Prioritizing Tasks** - If a labeler is assigned to multiple tasks, they process these sequentially. If a labeler needs to switch tasks (e.g. to respond to a customer escalation or meet an SLO), the Labeling Manager should un-assign the current task and assign the High Priority task to the labeler(s) using the Assignments tab in the Labeling Manager Console.\n - The Labelers X Tasks grid in the Console (shown below) allows the Labeling Manager to see all the labeler assignments to various tasks and to fine-tune which labeler works on which task in order to support the task priorities.\n- **Setting Validation Filters**\n- **Rejected documents** - Rejected state of the document along with the Reason code \\[e.g. different doc-type, forged, glare, blurry, edge cut off, etc\\] is captured in the Document JSON files ([TextChange](/document-ai/docs/reference/rest/v1beta3/Document#textchange) construct for all changes, [HumanReview](/document-ai/docs/reference/rest/v1beta3/Document#humanreview) for reject reason), output in the configured Cloud Storage bucket. It is recommended to use this metadata to separate the rejected documents.\n- **Handling large document ingest volume** - Current [quotas](https://cloud.google.com/document-ai/quotas) limit 600 online document requests/minute and upto 5 concurrent offline (batch) requests, each handling upto 50 documents. This is expected to handle 36000 online requests/hour and upto 15000 offline (batch) document requests/hour \\[since each batch handles upto 50 documents\\]. If higher volumes are required, please contact Support.\n- **Managing human validation costs and time** - Human validation can get expensive, whether you use your own labelers or Google labelers. The time spent per page scales with the # of fields reviewed. Google Workforce (in Private Preview) is billed per label reviewed. You can control your review effort and cost by limiting HITL to the important fields that need to be verified and corrected. To do so, use the Label-level Validation filters in the Human Review configuration screen.\n- **Single Sign-on access with Enterprise credentials** - The Labeler Workbench and Labeling Manager Console support Google Workforce or Gmail credentials. If single sign-on with enterprise credentials is required, please create Basic Google Workforce accounts for your labeler workforce. Google Workforce supports SAML and you can configure your SSO provider to sign onto the Labeler Workbench or Labeling Manager Console with enterprise credentials.\n\nKnown Limitations and Workarounds\n---------------------------------\n\nFollowing are some known limitations and possible workarounds. We are currently addressing the limitations.\n\n- **The bounding box must capture some text** - If HITL is used to annotate documents for training, any bounding box drawn must detect some OCR. The value should not be empty. Manually entering a value does not fix this issue.\n- **VPC-SC** - Customers with VPC-SC activated in their HITL project may not be able to use Google labelers for HITL Review.\n- **Post-review Latency** - After a document is reviewed, it may take up to 30 minutes for it to be deposited in the pre-configured Cloud Storage folder.\n- **10 page limit** - HITL review is limited to 10 pages for Invoices. Invoices larger than 10 pages are not sent for HITL review.\n- **Single-labeler workflow** - The current workflow tasks are limited to a single labeler review. If the document needs to be reviewed by multiple reviewers (for QA, fraud prevention etc), please upload the reviewed documents to a second processor in the mode \"Skip processor, send all docs for HITL Review\", so they are reviewed.\n- **Edit Labeling Managers of Labeling pool** - In BYOL tasks, labeling managers cannot be added or removed to a labeling pool once it's created. Workaround: When creating a new labeling pool,\n - Please assign more than 1 labeling managers, so that if one leaves before the task completes, the other(s) can manage the pool and task assignments.\n - Individuals that need to view the labeler or task analytics dashboards in the Labeling Manager UI should be added as Pool Managers when creating the pool.\n- **Canceling a Task** - Once started, a task cannot be cancelled. The work-around is for the Labeling Manager to pause the task or unassign labelers from the task in the Labeling Manager Console.\n- **Assigning a Task to an entire Labeler Pool in a single click** - isn't currently supported but will be supported shortly. The work-around is to select all the labelers and assigning the task to them.\n- **BYOL Labelers with Google Workspace accounts** - If BYOL labeling managers and labelers have Google Workspace accounts, the Google Workspace Admin may need to enable \"Other Services\" at the bottom of the Google Services page (screenshots below), in order to enable access to the Labeling Manager Console and Labeler Workbench."]]
