Versión de diciembre de 2022
Stepper de configuración de HITL
La pestaña "Configuración" en "Human-In-The-Loop" ahora tiene el formato de un par ordenado de pasos para permitir una experiencia de configuración más fácil y estructurada.
Ahora el usuario puede ver pasos separados para configurar los parámetros relacionados con el grupo de especialistas y los filtros para activar la HITL, y seleccionar la ubicación de las instrucciones y los resultados para los especialistas.
Versión de octubre de 2022
Panel de estadísticas de solicitantes de HITL
El modelo con interacción humana ahora tiene una pestaña dedicada, llamada Analytics, que proporciona al usuario métricas y gráficos para analizar el estado de las tareas de HITL por procesador y realizar cambios según sea necesario.
Actualmente, el usuario puede ver tres métricas diferentes. Los datos se pueden agregar con un selector de período que le proporciona al usuario las siguientes opciones:
Para cada período seleccionado, el usuario puede ver lo siguiente:
- Estadísticas agregadas: Es una vista instantánea de la cantidad total de documentos que se subieron correctamente a la cola, la cantidad total de documentos completados (es decir, enviados y rechazados) por los especialistas y el tiempo transcurrido desde que se agregó el documento más antiguo a la cola para el período seleccionado.
- Gráfico de actividad de interacción humana: Es un gráfico que muestra los datos de series temporales sobre cuándo se agregaron documentos a la cola (
enqueuedDocumentCount
) y cuándo los especialistas completaron los documentos (completedDocumentCount
). - Tasa de activación con interacción humana: Es un gráfico que muestra los datos de series temporales del porcentaje de documentos subidos que activaron la revisión con interacción humana durante el período seleccionado.
- Estadísticas agregadas: Es una vista instantánea de la cantidad total de documentos que se subieron correctamente a la cola, la cantidad total de documentos completados (es decir, enviados y rechazados) por los especialistas y el tiempo transcurrido desde que se agregó el documento más antiguo a la cola para el período seleccionado.
Versión de septiembre de 2022
Nota: Los clientes que usan Document AI Workbench, y los procesadores de órdenes de compra, facturas y gastos tienen acceso a un nuevo esquema que les permite etiquetar casillas de verificación (si se definen en el esquema) y representar con precisión entidades anidadas, es decir, la relación principal-secundaria en la IU de revisión y anotación de HITL. A medida que más procesadores adapten el nuevo esquema, se actualizarán estas notas de la versión para reflejarlo.
Entidad anidada
- La IU de anotación ahora admite el etiquetado de entidades anidadas. El panel izquierdo se actualiza con un nuevo aspecto para las filas anidadas que representan entidades anidadas. El valor de "parent" es la concatenación de todos sus "children".
- La selección de entidades del panel izquierdo muestra etiquetas principales y secundarias.
- El menú de etiquetas de entidades en el documento también se actualiza para admitir el etiquetado de entidades anidadas.
- Cuando haces clic en una etiqueta anidada, aparece un cuadro de diálogo para asignar la entidad principal correcta a la entidad secundaria anidada.
Casilla de verificación
- La IU de anotación admite casillas de verificación de etiquetas. En el panel izquierdo, se puede editar la casilla de verificación en la fila.
- La edición de casillas de verificación también está disponible en el cuadro de diálogo de edición de entidades.
Versión de agosto de 2022
Selector de etiquetas de entidades
- La entrada de la etiqueta de entidad se reemplaza por una lista desplegable. Esta lista desplegable contiene las opciones de etiquetas disponibles cuando se agrega una entidad nueva. Este cambio ayuda a evitar que los etiquetadores cometan errores de escritura y creen etiquetas de entidades no deseadas.
Formato de fecha ISO
- Las fechas normalizadas se muestran en formato de fecha ISO 8601(aaaa-mm-dd).
Versión de julio de 2022
Botón de confirmación rápida
- En las sugerencias sobre entidades, hay disponible un botón Confirmar para revisar y confirmar rápidamente un valor de entidad o etiqueta. Se quitó el botón Editar, ya que los usuarios pueden hacer clic directamente en la sugerencia de la entidad para editarla.
Versión de enero de 2022
Opciones de etiquetas de entidades
- Las opciones de selección de etiquetas de entidades ahora se limitan a la lista de campos filtrados(establecidos en la configuración del filtro de HITL).
Campos faltantes
- Ahora mostramos los campos faltantes (es decir, los campos marcados como "Obligatorios" en la configuración del filtro de HITL, pero para los que el procesador no predijo valores) en un color rojo distintivo, lo que facilita que el revisor actualice el valor del campo.
Muestras completas aleatorias
- Ahora admitimos la revisión completa (es decir, todas las entidades del documento, no solo los campos filtrados) de una muestra aleatoria (p. ej., el 2% del volumen diario) de documentos. Esto es útil para supervisar la desviación del modelo y las estadísticas sobre la precisión del procesador en cada campo. Recopilamos estas estadísticas, que se usan para saber cuándo se requiere un reentrenamiento. También sirve como un conjunto de datos con verdad fundamental etiquetada para entrenar modelos.
- Los clientes pueden habilitar esta opción y establecer la muestra aleatoria [1 a 10%] según su volumen. Sería útil segmentar entre 100 y 500 muestras por semana. Por lo tanto, si el cliente procesa 10,000 documentos por semana, este valor se puede establecer en 500/10,000 = 5%.
Configuración simplificada de HITL para usuarios principiantes
- Simplificamos la configuración de BYOL HITL para los clientes que usan HITL por primera vez, de modo que puedan configurar rápidamente una tarea, asignar especialistas y lanzarla desde una sola pantalla, y probarla rápidamente antes de aumentar el volumen de producción o subcontratar la operación.
- Como se muestra en la siguiente captura de pantalla, el usuario se convierte en el administrador predeterminado del grupo y puede agregar especialistas adicionales, todos los cuales se asignan automáticamente a la tarea en la misma pantalla.
- Anteriormente, se enviaba por correo electrónico al administrador asignado un vínculo a la Consola del administrador, en la que agregaba especialistas y les asignaba la tarea.
- Cuando envían la tarea, ellos (y otros especialistas asignados) pueden ir a la app de HITL para revisar documentos.
- El usuario también puede subir un documento de prueba (de a uno por vez) a la lista de tareas en cola.
Quita el separador de línea final
- Los separadores de línea finales (“\n”) se quitan en entity.mentionText.
Versión de diciembre de 2021
Ordena las entidades con puntuación de confianza baja en la parte superior
- Las entidades con una puntuación de confianza baja (es decir, las entidades por debajo del umbral de confianza) ahora se ordenan en la parte superior de la página, lo que permite que el especialista se concentre en ellas. Esto genera más eficiencia en el etiquetado.
Instrucciones opcionales para las tareas de BYOL
- Ahora es opcional subir las instrucciones en PDF para configurar una tarea de HITL. Esto simplifica las pruebas y los lanzamientos internos rápidos en los que los especialistas no necesitan una guía de instrucciones.
Opción de ajustar al ancho y ajustar a la altura de la página
- Botón para ajustar la página al ancho o al alto. Esto es útil cuando los especialistas tienen documentos de tamaño variable (p.ej., recibos) en una tarea.
Nombre de la tarea que se muestra en la IU de Specialist
- Ahora, el nombre de la tarea se muestra en la IU del especialista para brindarle contexto adicional sobre el tipo de tarea y documento, lo que resulta muy útil cuando se le asignan varias tareas.
- Ten en cuenta que esto se muestra en los procesadores nuevos que se activan después de esta versión.
Cuadro de búsqueda para especialistas
- Los especialistas pueden buscar entidades o texto en los documentos. Esto es especialmente útil para documentos grandes de varias páginas y hace que los especialistas sean más productivos.
Versión de septiembre de 2021
Activa o desactiva la opción para mostrar todos los campos
- Es posible que los etiquetadores deban revisar y actualizar campos que no se encuentran en el conjunto filtrado de entidades para documentos específicos de la cola.
Puedes activar o desactivar la opción Mostrar todas las predicciones para permitir que los etiquetadores revisen los campos sin filtrar.
HITL para el Analizador de formularios
- La HITL ahora admite el Analizador de formularios, por lo que los usuarios pueden revisar y corregir los pares clave-valor que extrae el Analizador de formularios. El cliente puede habilitar la HITL en el procesador Form Parser de la plataforma de DocAI y configurar los nombres de las claves (como se muestra en la captura de pantalla a continuación) que desea filtrar para la revisión de HITL. Una vez que se completa la revisión de HITL, el resultado se descarta como archivos JSON en el bucket de Google Cloud Storage especificado por el cliente.
- Pueden especificar nombres de claves alternativos separados por comas, por ejemplo, "cliente, nombre del cliente, cliente, número de cuenta, número de cuenta", de modo que el filtro de HITL detecte documentos con todas las variaciones de nombres de claves y los envíe para su revisión por parte de HITL.
Versión de agosto de 2021
Canalización de auditoría y QA
- La HITL ahora permite una segunda etapa de QA o auditoría, y genera informes sobre la precisión de las tareas de revisión (y de los etiquetadores). Se puede asignar un equipo de QA o un auditor como "etiquetador experto" a una tarea. El equipo de QA o el auditor recibe un porcentaje X (por ejemplo, del 1% al 100%, el cliente puede configurar este valor) de los documentos revisados. El auditor puede corregir el resultado del revisor. El sistema hace un seguimiento de las correcciones y asigna una puntuación de precisión (p.ej., 90%) a cada documento auditado. La puntuación de precisión agregada de una tarea o un etiquetador se informa en los paneles de estadísticas de tareas y etiquetadores, respectivamente.
- Aquí encontrarás instrucciones detalladas para configurar una canalización de auditoría.
- Designa un auditor
- Precisión de los informes
Analizadores de IA de préstamos (15 de agosto)
- Ahora se admite la HITL en algunos analizadores de IA de préstamos, incluidos los formularios 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, recibos de sueldo, estados de cuenta, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC y 1099-R.
Versión de julio de 2021
Filas estándar y urgentes (2 de julio)
- Ahora admitimos 2 colas de prioridad (en comparación con 1 cola) para cada procesador, según la urgencia de cada documento.
- Envío: Después de la predicción, se pueden evaluar los documentos extraídos para determinar su urgencia y enviarlos a 2 colas (estándar y urgente/vía rápida) según la urgencia del documento. Por ejemplo, las facturas con fechas de vencimiento urgentes se pueden enviar a la cola de Fast-track. Actualmente, la lógica que evalúa la urgencia está fuera de la HITL y puede ser una función personalizada.
- Asignación de tareas: El administrador de etiquetado ve 2 colas diferentes con distintas prioridades, como se muestra en la siguiente captura de pantalla, y puede asignar el mismo grupo de etiquetadores a ambas colas.
- Priorización de tareas: Los etiquetadores asignados a ambas tareas siempre procesarán primero los documentos pendientes en la cola de vía rápida antes de procesar la cola estándar (es decir, el sistema controla automáticamente la priorización de la cola).
- Llamada a la API: Establece el campo priority en ReviewDocument
- Captura de pantalla de la IU (de las tareas en la IU del Administrador de etiquetado):
Versión de junio de 2021
Filtros de validación para el extremo de HITL (24 de junio)
- Los filtros de validación (configurados en el procesador) que filtran los campos según la puntuación de confianza para determinar los documentos que se deben poner en cola para la revisión manual ahora también se aplican a los documentos enviados al extremo de HITL.
- Cuando llames a la API de ReviewDocument, establece el campo enable_schema_validation en verdadero.
- Ten en cuenta que, si se configura este parámetro y la validación determina que el documento no necesita activar la revisión humana, se devolverá un error CANCELLED.
API de Cancel
El cliente puede cancelar un documento en cola para su procesamiento por HITL invocando la API de Cancel para un ID de operación determinado. Se devuelve un ID de operación para cada documento enviado a HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de factura (revisión de clasificación)
- Labeler Workbench admite la revisión de la clasificación del tipo de factura.
Informe de tiempo en la cola (SLO de latencia de HITL)
- Un informe muestra cuántos documentos están en cola durante más de 18 y 24 horas. Esto es útil para los usuarios que necesitan administrar una expectativa de SLO sobre la latencia de HITL.
URL conocida de Labeler Workbench
- Los etiquetadores asignados a un solo grupo ahora pueden acceder al banco de trabajo en una URL conocida y no necesitan buscar URLs crípticas que se envían en las notificaciones por correo electrónico (por el sistema o por el administrador de etiquetado). Esta URL no funciona para los etiquetadores asignados a varios grupos.
Configuración de Zoom fijo
- Ahora, el complemento recuerda el parámetro de configuración de Zoom del etiquetador (ancho completo vs. página completa) para las próximas revisiones de documentos en la cola, de modo que no necesite hacer zoom en cada documento.
HITL para el Analizador de formularios
- La HITL ahora admite el Form Parser. Los usuarios pueden revisar y corregir los pares clave-valor extraídos por Form Parser, habilitar la interacción humana en el procesador de Form Parser en la plataforma de DocAI y configurar los nombres de las claves (como se muestra en la captura de pantalla a continuación) que deseen filtrar para la revisión con interacción humana. Una vez que se completa la revisión de HITL, el resultado se guarda en archivos JSON en el bucket de Google Cloud Storage especificado por el cliente.
- Capturas de pantalla de la IU para configurar la HITL en los analizadores de formularios
- IU para configurar la validación a nivel de clave
- IU del etiquetador
Canalización de auditoría y QA
- La HITL ahora permite una segunda etapa de QA o auditoría, y genera informes sobre la precisión de las tareas de revisión (y de los etiquetadores). Se puede asignar un equipo de QA o un auditor como "etiquetador experto" a una tarea. El equipo de QA o el auditor recibirán un porcentaje X (por ejemplo, del 1% al 100%, el cliente puede configurar este valor) de los documentos revisados. El auditor puede corregir el resultado del revisor. El sistema hace un seguimiento de las correcciones y asigna una puntuación de precisión (p.ej., 90%) a cada documento auditado. La puntuación de precisión agregada de una tarea o un etiquetador se informa en los paneles de estadísticas de tareas y etiquetadores, respectivamente. A continuación, se incluyen instrucciones detalladas para configurar una canalización de auditoría.
Designa un auditor
Precisión de los informes
Analizadores de IA para préstamos (31 de julio)
- La HITL ahora es compatible con algunos analizadores de IA de préstamos, incluidos los formularios 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Paystubs, Banks Statements, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC y 1099-R.
Filas de espera estándar y de vía rápida (2 de julio)
- Ahora admitimos 2 colas de prioridad (en comparación con 1 cola) para cada procesador, según la urgencia de cada documento.
- Envío: Después de la predicción, se pueden evaluar los documentos extraídos para determinar su urgencia y enviarlos a 2 colas (estándar y urgente/vía rápida) según la urgencia del documento. Por ejemplo, las facturas con fechas de vencimiento urgentes se pueden enviar a la cola de Fast-track. La lógica que evalúa la urgencia se puede ingresar a través de una función personalizada.
- Asignación de tareas: El administrador de etiquetado ve 2 colas diferentes con distintas prioridades, como se muestra en la siguiente captura de pantalla, y puede asignar el mismo grupo de etiquetadores a ambas colas.
- Priorización de tareas: Los etiquetadores asignados a ambas tareas siempre procesarán primero los documentos pendientes en la cola de vía rápida antes de procesar la cola estándar (es decir, el sistema controla automáticamente la priorización de la cola).
- Llamada a la API: Establece el campo priority en ReviewDocument
- Captura de pantalla de la IU (de tareas en la IU del Administrador de etiquetado)
Filtros de validación para el extremo de HITL (24 de junio)
- Los filtros de validación (configurados en el procesador) que filtran los campos según la puntuación de confianza para determinar los documentos que se deben poner en cola para la revisión manual ahora también se aplican a los documentos enviados al extremo de HITL.
- Cuando llames a la API de
ReviewDocument
, establece el campo enable_schema_validation en verdadero. Ten en cuenta que, si se configura este parámetro y la validación determina que el documento no necesita activar la revisión humana, se devolverá un error CANCELLED.
API de Cancel
Puedes cancelar un documento en cola para su procesamiento por HITL invocando la API de Cancelación para un ID de operación determinado. [Se devuelve un ID de operación para cada documento enviado a HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de factura (revisión de clasificación)
- Labeler Workbench admite la revisión de la clasificación del tipo de factura.
Informe de tiempo en la cola (SLO de latencia de HITL)
- Un informe muestra cuántos documentos están en cola durante más de 18 y 24 horas. Esto es útil para los usuarios que necesitan administrar una expectativa de SLO sobre la latencia de HITL.
URL conocida de Labeler Workbench
- Los etiquetadores asignados a un solo grupo ahora pueden acceder al banco de trabajo en una URL conocida https://datacompute.corp.google.com/w/. Esto es útil en caso de que pierdas el correo electrónico con la URL que te envió el sistema o el administrador de etiquetado. Esta URL no funciona para los etiquetadores asignados a varios grupos.
Configuración de Zoom fijo
- Ahora, el complemento recuerda el parámetro de configuración de Zoom de un etiquetador (ancho completo vs. página completa) para las próximas revisiones de documentos en la cola, de modo que no necesite acercar cada documento.