Notas de la versión
Versión de diciembre de 2022
Control deslizante de configuración de HITL
La pestaña "Configuración" en "Human-In-The-Loop" ahora tiene el formato de un par de pasos ordenados para permitir una experiencia de configuración más fácil y estructurada. Ahora, el usuario puede ver pasos independientes para configurar la configuración relacionada con el grupo de especialistas y los filtros para activar HITL, y seleccionar instrucciones y la ubicación de los resultados para los especialistas.
Lanzamiento de octubre de 2022
Panel de estadísticas del solicitante de HITL
El modelo con interacción humana ahora tiene una pestaña dedicada, llamada Analytics, que le proporciona al usuario métricas y gráficos para analizar el estado de las tareas de HITL por procesador y realizar cambios según sea necesario.
Actualmente, el usuario puede ver tres métricas diferentes. Los datos se pueden agregar mediante un selector de intervalo de tiempo que le proporciona al usuario las siguientes opciones:
Para cada período seleccionado, el usuario puede ver lo siguiente:
- Estadísticas agregadas: Es una vista panorámica de la cantidad total de documentos que se subieron correctamente a la fila, la cantidad total de documentos que completaron los especialistas (es decir, que se enviaron y rechazaron) y el tiempo transcurrido desde que se agregó el documento más antiguo a la fila para el período seleccionado.
- Gráfico de actividad de interacción humana: Es un gráfico que muestra los datos de las series temporales de cuándo se agregaron los documentos a la cola (
enqueuedDocumentCount
) y cuándo los especialistas completaron los documentos (completedDocumentCount
). - Tasa de activación con interacción humana: Es un gráfico que muestra los datos de las series temporales del porcentaje de documentos subidos que activaron la revisión con interacción humana durante el período seleccionado.
Versión de septiembre de 2022
Nota: Los clientes que usan Document AI Workbench, los procesadores de facturas, órdenes de compra (OC) y gastos tienen acceso a un nuevo esquema que les permite etiquetar casillas de verificación (si se definen en el esquema) y representar con precisión las entidades anidadas, es decir, la relación superior-secundaria en la IU de anotación y revisión de HITL. A medida que más procesadores adapten el nuevo esquema, estas notas de la versión se actualizarán para reflejarlo.
Entidad anidada
- La IU de anotaciones ahora admite el etiquetado de entidades anidadas. El panel izquierdo se actualiza con un nuevo aspecto para que las filas anidadas representen entidades anidadas. El valor de "superior" es la concatenación de todos sus "secundarios".
- La selección de entidades del panel izquierdo muestra etiquetas principales y secundarias.
- El menú de etiquetas de entidades en el documento también se actualiza para admitir el etiquetado de entidades anidadas.
- Si haces clic en una etiqueta anidada, aparecerá un cuadro de diálogo para asignar la entidad superior correcta a la entidad secundaria anidada.
Casilla de verificación
- La IU de anotaciones admite casillas de verificación de etiquetado. En el panel izquierdo, se puede editar la casilla de verificación en la fila.
- La edición de casillas de verificación también está disponible en el cuadro de diálogo de edición de entidades.
Versión de agosto de 2022
Selección de etiquetas de entidades
- La entrada de la etiqueta de entidad se reemplaza por una lista desplegable. Esta lista desplegable contiene las opciones de etiquetas disponibles cuando agregas una entidad nueva. Este cambio ayuda a evitar que los etiquetadores cometan errores tipográficos y creen etiquetas de entidades no deseadas.
Formato de fecha ISO
- Las fechas normalizadas se muestran en formato ISO 8601(aaaa-mm-dd).
Versión de julio de 2022
Botón de confirmación rápida
- En las herramientas de ayuda de las entidades, hay un botón Confirmar para revisar y confirmar rápidamente un valor de entidad o etiqueta. Se quitó el botón Editar, ya que los usuarios pueden hacer clic directamente en la información sobre herramientas de la entidad para editarla.
Lanzamiento de enero de 2022
Opciones de etiquetas de entidades
- Las opciones de selección de etiquetas de entidad ahora se limitan a la lista de campos filtrados(configurados en la configuración del filtro de HITL).
Campos faltantes
- Ahora mostramos los campos faltantes (es decir, los campos marcados como "Obligatorios" en la configuración del filtro de HITL, pero el procesador no predijo valores para los campos) en un color rojo distintivo, lo que facilita que el revisor actualice el valor del campo.
Muestras completas aleatorias
- Ahora admitimos la revisión completa (es decir, todas las entidades del documento, no solo los campos filtrados) de una muestra aleatoria (p. ej., el 2% del volumen diario) de documentos. Esto es útil para supervisar la deriva del modelo y las estadísticas sobre la precisión del procesador en cada campo. Recopilamos estas estadísticas, que se usan para saber cuándo se requiere un entrenamiento actualizado. Esto también sirve como conjunto de datos con verdad fundamental etiquetada para los modelos de entrenamiento continuo.
- Los clientes pueden habilitar y configurar la muestra aleatoria [1-10%] según su volumen. Sería útil segmentar entre 100 y 500 muestras por semana. Por lo tanto, si el cliente procesa 10,000 documentos por semana, se puede establecer en 500/10,000 = 5%.
Configuración simplificada de HITL para usuarios nuevos
- Simplificamos la configuración de HITL de BYOL para los clientes de HITL por primera vez, de modo que puedan configurar una tarea rápidamente, asignar especialistas y lanzarla desde una sola pantalla para probarla antes de aumentar el volumen de producción o subcontratar la operación.
- Como se muestra en la siguiente captura de pantalla, el usuario se convierte en el administrador predeterminado del grupo y puede agregar especialistas adicionales, que se asignan automáticamente a la tarea en la misma pantalla.
- Anteriormente, se le enviaba un vínculo por correo electrónico al administrador asignado a la Consola del administrador, donde podía agregar especialistas y asignarles la tarea.
- Cuando envíe la tarea, ella (y otros especialistas asignados) podrán ir a la app de HITL para revisar los documentos.
- El usuario también puede subir un documento de prueba (uno a la vez) a la cola de tareas.
Quita el separador de líneas al final
- Se quitan los separadores de líneas finales("n") en entity.mentionText.
Versión de diciembre de 2021
Ordena las entidades con puntuaciones de baja confianza en la parte superior
- Las entidades con una puntuación de confianza baja (es decir, las entidades por debajo del umbral de confianza) ahora se ordenan en la parte superior de la página, lo que permite que el especialista se enfoque en ellas. Esto genera más eficiencias en el etiquetado.
Instrucciones opcionales para las tareas de BYOL
- Las instrucciones en PDF que se suben para configurar una tarea de HITL ahora son opcionales. Esto simplifica las pruebas y los lanzamientos internos rápidos en los que los especialistas no necesitan una guía de instrucciones.
Opción de ajuste al ancho y a la altura de la página
- Botón para ajustar la página al ancho o a la altura. Esto es útil cuando los especialistas tienen documentos de tamaño variable (p.ej., recibos) en una tarea.
Nombre de la tarea que se muestra en la IU de especialista
- El nombre de la tarea ahora se muestra en la IU del especialista para proporcionarle contexto adicional sobre la tarea y el tipo de documento, lo que es muy útil cuando el especialista se asigna a varias tareas.
- Ten en cuenta que esto se muestra en los procesadores nuevos que se inician después de esta versión.
Cuadro de búsqueda para especialistas
- Los especialistas pueden buscar entidades o texto en los documentos. Esto es útil, en especial, para documentos grandes de varias páginas y hace que los especialistas sean más productivos.
Versión de septiembre de 2021
Activa o desactiva la opción para mostrar todos los campos
- Es posible que los etiquetadores deban revisar y actualizar los campos que no están en el conjunto de entidades filtradas para documentos específicos en la fila. Puedes activar o desactivar la opción Mostrar todas las predicciones para permitir que los etiquetadores revisen los campos sin filtrar.
HITL para el Analizador de formularios
- HITL ahora admite el analizador de formularios, por lo que los usuarios pueden revisar y corregir los pares clave-valor que extrae el analizador de formularios. El cliente puede habilitar HITL en el procesador de Form Parser en la plataforma de DocAI y configurar los nombres de clave (como se muestra en la siguiente captura de pantalla) que le gustaría filtrar para la revisión de HITL. El resultado de HITL se descarta como archivos JSON en el bucket de Google Cloud Storage especificado por el cliente después de que se completa la revisión de HITL.
- Pueden especificar nombres de clave alternativos separados por comas, por ejemplo, "customer, customer name, client, account #, account number", de modo que el filtro de HITL detecte los documentos con todas las variaciones de nombres de clave y los envíe para su revisión.
Versión de agosto de 2021
Canalización de auditoría o control de calidad
- HITL ahora habilita una etapa de QA o auditoría de 2ª etapa y informa la precisión de las tareas de revisión (y de los etiquetadores). Se puede asignar un equipo de QA o un auditor como "Etiquetador experto" a una tarea. El equipo de QA o el auditor recibe un porcentaje determinado (por ejemplo, del 1% al 100%, que el cliente puede configurar) de los documentos revisados. El Auditor puede corregir el resultado del Revisor. El sistema realiza un seguimiento de las correcciones y asigna una puntuación de precisión (p.ej., 90%) a cada documento auditado. La puntuación de precisión agregada de una tarea o un etiquetador se informa en los paneles de Analytics de tareas y etiquetadores, respectivamente.
- Aquí encontrarás instrucciones detalladas para configurar una canalización de auditoría.
- Designación de un auditor
- Precisión de los informes
Analizadores de IA de préstamos (15 de agosto)
- HITL ahora es compatible con algunos analizadores de IA de préstamos, incluidos 1040, 1040 del Anexo E, 1040 del Anexo C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, talones de pago, estados de cuenta bancarios, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC y 1099-R.
Versión de julio de 2021
Comparación entre las colas estándar y urgentes (2 de julio)
- Ahora admitimos 2 colas de prioridad (en lugar de 1) para cada procesador, según la urgencia de cada documento.
- Envío: Después de la predicción, los documentos extraídos se pueden evaluar en función de su urgencia y enviar a 2 filas (estándar o urgente/prioritario) según la urgencia del documento. Por ejemplo, las facturas con fechas de vencimiento urgentes se pueden enviar a la fila de prioridad rápida. Actualmente, la lógica que evalúa la urgencia está fuera de HITL y puede ser una función personalizada.
- Asignación de tareas: El administrador de etiquetado ve 2 colas diferentes con prioridades diferentes, como se muestra en la siguiente captura de pantalla, y puede asignar el mismo grupo de etiquetadores a ambas colas.
- Priorización de tareas: Los etiquetadores asignados a ambas tareas siempre procesarán primero los documentos pendientes de la fila de prioridad rápida antes de procesar la fila estándar (es decir, el sistema controla automáticamente la priorización de la fila).
- Llamada a la API: Establece el campo priority en ReviewDocument.
- Captura de pantalla de la IU (de tareas en la IU del Administrador de etiquetado):
Versión de junio de 2021
Filtros de validación para el extremo de HITL (24 de junio)
- Los filtros de validación (configurados en el procesador) que filtran los campos por puntuación de confianza para determinar los documentos que se deben poner en cola para su revisión manual ahora también se aplican a los documentos enviados al extremo HITL.
- Cuando llames a la API de ReviewDocument, establece el campo enable_schema_validation en verdadero.
- Ten en cuenta que, si se establece esta opción y la validación decide que el documento no necesita activar la revisión manual, se muestra un error CANCELLED.
Cancela la API
El cliente puede invocar la API de Cancel para un ID de operación determinado para cancelar un documento en cola para el procesamiento de HITL. Se muestra un ID de operación para cada documento que se envía a HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de factura (revisión de clasificación)
- El Labeler Workbench admite la revisión de la clasificación de tipo de factura.
Informe de tiempo en cola (SLO de latencia de HITL)
- Un informe muestra cuántos documentos están en fila durante más de 18 horas y más de 24 horas. Esto es útil para los usuarios que necesitan administrar una expectativa de SLO en la latencia de HITL.
URL conocida de Labeler Workbench
- Los etiquetadores asignados a un solo grupo ahora pueden acceder a la mesa de trabajo en una URL conocida y no necesitan buscar URLs crípticas que se envían en notificaciones por correo electrónico (por parte del sistema o del Administrador de etiquetado). Esta URL no funciona para los etiquetadores asignados a varios grupos.
Configuración de zoom fija
- El complemento ahora recuerda la configuración de zoom del etiquetador (ancho completo o página completa) para las próximas revisiones de documentos en la cola, de modo que no tenga que acercar cada documento.
HITL para el Analizador de formularios
- HITL ahora admite el analizador de formularios. Los usuarios pueden revisar y corregir los pares clave-valor que extrae el analizador de formularios, habilitar la HITL en el procesador de Form Parser en la plataforma de DocAI y configurar los nombres de clave (como se muestra en la captura de pantalla a continuación) que desean filtrar para la revisión de HITL. El resultado de la HITL se guarda en archivos JSON en el bucket de Google Cloud Storage especificado por el cliente después de que se completa la revisión de HITL.
- Capturas de pantalla de la IU para configurar HITL en los analizadores de formularios
- IU para configurar la validación a nivel de clave
- IU de Labeler
Canalización de auditoría o control de calidad
- HITL ahora habilita una etapa de QA o auditoría de 2ª etapa y informa la precisión de las tareas de revisión (y de los etiquetadores). Se puede asignar un equipo de QA o un auditor como "Etiquetador experto" a una tarea. El equipo de QA o el auditor recibirá un porcentaje (por ejemplo, del 1% al 100%, que el cliente puede configurar) de los documentos revisados. El Auditor puede corregir el resultado del Revisor. El sistema realiza un seguimiento de las correcciones y asigna una puntuación de precisión (p.ej., 90%) a cada documento auditado. La puntuación de precisión agregada de una tarea o un etiquetador se informa en los paneles de Analytics de tareas y etiquetadores, respectivamente. Aquí encontrarás instrucciones detalladas para configurar una canalización de auditoría.
Designación de un auditor
Precisión de los informes
Analizadores de IA para préstamos (31 de julio)
- HITL ahora es compatible con algunos analizadores de IA de préstamos, incluidos 1040, 1040 Anexo E, 1040 Anexo C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Paystubs, Banks Statements, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R
Comparación entre las colas estándar y Fast Track (2 de julio)
- Ahora admitimos 2 colas de prioridad (en lugar de 1) para cada procesador, según la urgencia de cada documento.
- Envío: Después de la predicción, los documentos extraídos se pueden evaluar en función de su urgencia y enviar a 2 filas (estándar o urgente/prioritario) según la urgencia del documento. Por ejemplo, las facturas con fechas de vencimiento urgentes se pueden enviar a la fila de prioridad rápida. La lógica que evalúa la urgencia se puede ingresar a través de una función personalizada.
- Asignación de tareas: El administrador de etiquetado ve 2 colas diferentes con prioridades diferentes, como se muestra en la siguiente captura de pantalla, y puede asignar el mismo grupo de etiquetadores a ambas colas.
- Priorización de tareas: Los etiquetadores asignados a ambas tareas siempre procesarán primero los documentos pendientes de la fila de prioridad rápida antes de procesar la fila estándar (es decir, el sistema controla automáticamente la priorización de la fila).
- Llamada a la API: Establece el campo priority en ReviewDocument.
- Captura de pantalla de la IU (de tareas en la IU del Administrador de etiquetado)
Filtros de validación para el extremo de HITL (24 de junio)
- Los filtros de validación (configurados en el procesador) que filtran los campos por puntuación de confianza para determinar los documentos que se deben poner en cola para su revisión manual ahora también se aplican a los documentos enviados al extremo HITL.
- Cuando llames a la API de
ReviewDocument
, establece el campo enable_schema_validation en verdadero. Ten en cuenta que, si se establece esta opción y la validación decide que el documento no necesita activar una revisión manual, se mostrará un error CANCELLED.
Cancela la API
Para cancelar un documento en cola para el procesamiento de HITL, invoca la API de Cancel para un ID de operación determinado. [Se muestra un ID de operación para cada documento enviado a HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de factura (revisión de clasificación)
- El Labeler Workbench admite la revisión de la clasificación de tipo de factura.
Informe de tiempo en cola (SLO de latencia de HITL)
- Un informe muestra cuántos documentos están en fila durante más de 18 horas y más de 24 horas. Esto es útil para los usuarios que necesitan administrar una expectativa de SLO en la latencia de HITL.
URL conocida de Labeler Workbench
- Los etiquetadores asignados a un solo grupo ahora pueden acceder a la mesa de trabajo en una URL conocida: https://datacompute.corp.google.com/w/. Esto es útil en caso de que pierdas el correo electrónico con la URL que te envió el sistema o el Administrador de etiquetas. Esta URL no funciona para los etiquetadores asignados a varios grupos.
Configuración de zoom fija
- El complemento ahora recuerda la configuración de zoom de un etiquetador (ancho completo o página completa) para las próximas revisiones de documentos en la cola, de modo que no tenga que acercar cada documento.