Versão de dezembro de 2022
Stepper de configuração do HITL
A guia "Configuração" em "Human-In-The-Loop" agora está formatada como um par ordenado de etapas para facilitar e estruturar a configuração.
Agora o usuário pode conferir etapas separadas para configurar as opções relacionadas ao pool de especialistas e filtros para acionar o HITL, além de selecionar instruções e local dos resultados para especialistas.
Versão de outubro de 2022
Painel de análise de dados do solicitante de HITL
O Human in the Loop agora tem uma guia dedicada, chamada Analytics, que fornece ao usuário métricas e gráficos para analisar o status das tarefas de HITL por processador e fazer mudanças conforme necessário.
No momento, há três métricas diferentes que o usuário pode conferir. Os dados podem ser agregados por um seletor de período que oferece ao usuário as seguintes opções:
Para cada período selecionado, o usuário pode conferir o seguinte:
- Estatísticas agregadas: uma visão geral do número total de documentos enviados com sucesso para a fila, o número total de documentos concluídos (enviados e rejeitados) por especialistas e o tempo desde que o documento mais antigo foi adicionado à fila no período selecionado.
- Gráfico de atividade human-in-the-loop: um gráfico que mostra os dados de série temporal de quando os documentos foram adicionados à fila (
enqueuedDocumentCount
) e quando foram concluídos por especialistas (completedDocumentCount
). - Taxa de acionadores human-in-the-loop: um gráfico que mostra os dados de série temporal da porcentagem de documentos enviados que acionaram a revisão human-in-the-loop no período selecionado.
- Estatísticas agregadas: uma visão geral do número total de documentos enviados com sucesso para a fila, o número total de documentos concluídos (enviados e rejeitados) por especialistas e o tempo desde que o documento mais antigo foi adicionado à fila no período selecionado.
Versão de setembro de 2022
Observação: os clientes que usam o Document AI Workbench e os processadores de pedido de compra (PO), fatura e despesa têm acesso a um novo esquema que permite rotular caixas de seleção (se definidas no esquema) e representar com precisão entidades aninhadas, ou seja, relacionamento pai-filho na UI de anotação e revisão do HITL. À medida que mais processadores adaptarem o novo esquema, estas notas da versão serão atualizadas para refletir isso.
Entidade aninhada
- A interface de anotação agora é compatível com a rotulagem de entidades aninhadas. O painel à esquerda é atualizado com uma nova aparência para linhas aninhadas que representam entidades aninhadas. O valor de "parent" é a concatenação de todos os "children".
- A seleção de entidades no painel à esquerda mostra rótulos de pai e filho.
- O menu de rótulos de entidades no documento também é atualizado para oferecer suporte à rotulagem de entidades aninhadas.
- Ao clicar em um rótulo aninhado, uma caixa de diálogo aparece para atribuir a entidade pai correta à entidade filho aninhada.
Caixa de seleção
- A interface de anotação é compatível com caixas de seleção de rotulagem. No painel à esquerda, a caixa de seleção pode ser editada na linha.
- A edição de caixas de seleção também está disponível na caixa de diálogo de edição de entidades.
Versão de agosto de 2022
Selecionar marcador de entidade
- A entrada de rótulo de entidade é substituída por uma lista suspensa. Essa lista suspensa contém as opções de rótulo disponíveis ao adicionar uma nova entidade. Essa mudança ajuda a evitar que os rotuladores cometam erros de digitação e criem rótulos de entidades indesejados.
Formato de data ISO
- As datas normalizadas são mostradas no formato ISO 8601(aaaa-mm-dd).
Versão de julho de 2022
Botão de confirmação rápida
- Um botão "Confirmar" está disponível nas dicas das entidades para revisar e confirmar rapidamente um valor de entidade/rótulo. O botão "Editar" foi removido, já que os usuários podem clicar diretamente na dica da ferramenta da entidade para editar.
Versão de janeiro de 2022
Opções de rótulo de entidade
- As opções de seleção de rótulos de entidades agora são limitadas à lista de campos filtrados(definidos na configuração do filtro HITL).
Campos ausentes
- Agora mostramos os campos ausentes (ou seja, campos marcados como "Obrigatório" na configuração do filtro HITL, mas o processador não previu valores para eles) em uma cor vermelha distinta, facilitando a atualização do valor do campo pelo revisor.
Amostras aleatórias completas
- Agora oferecemos suporte à revisão completa (ou seja, todas as entidades no documento, não apenas os campos filtrados) de uma amostra aleatória (por exemplo, 2% do volume diário) de documentos. Isso é útil para monitorar a deriva do modelo e as análises da acurácia do processador em cada campo. Coletamos essas análises, que são usadas para saber quando é necessário fazer um novo treinamento. Isso também serve como um conjunto de dados com informações empíricas rotuladas para modelos de treinamento.
- Os clientes podem ativar e definir a amostra aleatória [1 a 10%] com base no volume. Segmentar de 100 a 500 amostras por semana seria útil. Portanto, se o cliente processar 10.000 documentos por semana, isso poderá ser definido como 500/10.000 = 5%.
Configuração simplificada do HITL para usuários iniciantes
- Simplificamos a configuração BYOL HITL para clientes que usam o HITL pela primeira vez. Assim, eles podem configurar uma tarefa, atribuir especialistas e iniciar tudo em uma única tela. Isso permite que eles testem rapidamente antes de aumentar o volume de produção ou terceirizar a operação.
- Como mostrado na captura de tela abaixo, o usuário é definido como gerente padrão do pool e pode adicionar outros especialistas, que são atribuídos automaticamente à tarefa na mesma tela.
- Antes, o gerente atribuído recebia por e-mail um link para o console do gerente, onde ele adicionava especialistas e atribuía a tarefa a eles.
- Ao enviar a tarefa, eles (e outros especialistas atribuídos) podem acessar o app HITL para analisar os documentos.
- O usuário também pode fazer upload de um documento de teste (um por vez) para a fila de tarefas.
Remover quebra de linha à direita
- Quebras de linha finais("\n") são removidas em entity.mentionText.
Versão de dezembro de 2021
Ordenar as entidades com pontuação de baixa confiança para a parte de cima
- As entidades com pontuação de baixa confiança (ou seja, abaixo do limite de confiança) agora são classificadas na parte superior da página, permitindo que o especialista se concentre nelas. Isso gera mais eficiência na rotulagem.
Instruções opcionais para tarefas de BYOL
- As instruções em PDF para fazer upload e configurar uma tarefa de HITL agora são opcionais. Isso simplifica os testes e os lançamentos internos rápidos em que os especialistas não precisam de um guia de instruções.
Opção de ajuste à largura e à altura da página
- Botão para ajustar a página à largura ou à altura. Isso é útil quando os especialistas têm documentos de tamanho variável (por exemplo, recibos) em uma tarefa.
Nome da tarefa exibido na interface do usuário do especialista
- O nome da tarefa agora é mostrado na interface do usuário do especialista para fornecer mais contexto sobre a tarefa e o tipo de documento, o que é muito útil quando o especialista é atribuído a várias tarefas.
- Isso é mostrado em novos processadores ativados após esta versão.
Caixa de pesquisa para especialistas
- Os especialistas podem pesquisar entidades/texto em documentos. Isso é útil principalmente para documentos grandes de várias páginas e aumenta a produtividade dos especialistas.
Versão de setembro de 2021
Ative para mostrar todos os campos
- Os rotuladores talvez precisem revisar e atualizar campos que não estão no conjunto filtrado de entidades para documentos específicos na fila.
Você pode ativar a opção Mostrar todas as previsões
para permitir que os rotuladores analisem campos não filtrados.
HITL para o analisador de formulários
- O HITL agora é compatível com o Analisador de formulários. Assim, os usuários podem revisar e corrigir os pares de chave-valor extraídos por ele. O cliente pode ativar o HITL no processador do analisador de formulários na plataforma DocAI e configurar os nomes das chaves (como mostrado na captura de tela abaixo) que ele quer filtrar para revisão do HITL. A saída da HITL é descartada como arquivos JSON no bucket do Google Cloud Storage especificado pelo cliente após a conclusão da revisão humana.
- É possível especificar nomes de chaves alternativos separados por vírgulas, por exemplo, "cliente, nome do cliente, cliente, conta nº, número da conta", para que o filtro HITL capture documentos com todas as variações de nome de chave e envie para revisão de HITL.
Versão de agosto de 2021
Pipeline de auditoria/controle de qualidade
- O HITL agora permite uma segunda etapa de controle de qualidade ou auditoria e informa a acurácia das tarefas de revisão (e dos rotuladores). Uma equipe de controle de qualidade ou um auditor pode ser atribuído como um "rotulador especialista" a uma tarefa. A equipe de controle de qualidade/auditor recebe X por cento (digamos, de 1% a 100%, configurável pelo cliente) dos documentos revisados. O auditor pode corrigir a saída do revisor. O sistema rastreia as correções e atribui uma pontuação de acurácia (por exemplo, 90%) a cada documento auditado. A pontuação de acurácia agregada de uma tarefa ou rotulador é informada nos painéis de análise de tarefas e rotuladores, respectivamente.
- Confira instruções detalhadas sobre como configurar um pipeline de auditoria.
- Designar um auditor
- Acurácia dos relatórios
Analisadores de IA de empréstimos (15 de agosto)
- O HITL agora é compatível com alguns analisadores de IA de empréstimos, incluindo 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Paystubs, Banks Statements, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R.
Versão de julho de 2021
Filas padrão x urgentes (2 de julho)
- Agora oferecemos suporte a duas filas de prioridade (em vez de uma) para cada processador, com base na urgência de cada documento.
- Envio: depois da previsão, os documentos extraídos podem ser avaliados quanto à urgência e enviados para duas filas (padrão x urgente/rápido) com base na urgência do documento. Por exemplo, as faturas com datas de vencimento urgentes podem ser enviadas para a fila de via rápida. A lógica que avalia a urgência está fora do HITL e pode ser uma função personalizada.
- Atribuição de tarefas: o gerente de rotulagem vê duas filas diferentes com prioridades diferentes, conforme mostrado na captura de tela abaixo, e pode atribuir o mesmo grupo de rotuladores às duas filas.
- Priorização de tarefas: os rotuladores atribuídos às duas tarefas sempre processam primeiro os documentos pendentes na fila rápida antes de processar a fila padrão.Ou seja, a priorização da fila é processada automaticamente pelo sistema.
- Chamada de API: defina o campo priority no ReviewDocument
- Captura de tela da UI (de tarefas na interface do Gerenciador de marcadores):
Versão de junho de 2021
Filtros de validação para endpoint de HITL (24 de junho)
- Os filtros de validação (configurados no processador) que filtram os campos por pontuação de confiança para determinar os documentos que serão enfileirados para revisão humana agora também são aplicados aos documentos enviados ao endpoint HITL.
- Ao chamar a API ReviewDocument, defina o campo enable_schema_validation como "true".
- Se essa opção estiver definida e a validação decidir que o documento não precisa acionar a revisão humana, um erro CANCELLED será retornado.
API Cancel
O cliente pode cancelar um documento enfileirado para processamento HITL invocando a API Cancel para um determinado ID de operação. Um ID de operação é retornado para cada documento enviado ao HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de fatura (revisão de classificação)
- O Labeler Workbench permite revisar a classificação do tipo de fatura.
Relatório de tempo na fila (SLO de latência de HITL)
- Um relatório mostra quantos documentos estão na fila há mais de 18 e 24 horas. Isso é útil para usuários que precisam gerenciar uma expectativa de SLO na latência de HITL.
URL conhecido da bancada de trabalho do marcador
- Os rotuladores atribuídos a um único pool agora podem acessar a bancada de trabalho em um URL conhecido e não precisam procurar URLs criptografados enviados em notificações por e-mail (pelo sistema ou pelo gerente de rotulagem). Esse URL não funciona para rotuladores atribuídos a vários pools.
Configuração de zoom fixo
- O plug-in agora se lembra da configuração de zoom do rotulador (largura total x página inteira) para as próximas revisões de documentos na fila. Assim, não é necessário aumentar o zoom em todos os documentos.
HITL para o analisador de formulários
- A HITL agora é compatível com o analisador de formulários. Os usuários podem revisar e corrigir os pares de chave-valor extraídos pelo analisador de formulários, ativar o HITL no processador do analisador de formulários na plataforma DocAI e configurar os nomes das chaves (como mostrado na captura de tela abaixo) que eles querem filtrar para revisão do HITL. A saída da HITL é salva em arquivos JSON no bucket do Google Cloud Storage especificado pelo cliente após a conclusão da revisão humana.
- Capturas de tela da interface para configurar o HITL em analisadores de formulários
- UI para configurar a validação no nível da chave
- Interface do rotulador
Pipeline de auditoria/controle de qualidade
- O HITL agora permite uma segunda etapa de controle de qualidade ou auditoria e informa a acurácia das tarefas de revisão (e dos rotuladores). Uma equipe de controle de qualidade ou um auditor pode ser atribuído como um "rotulador especialista" a uma tarefa. A equipe de QA/auditor vai receber X por cento (digamos, de 1% a 100%, isso pode ser configurado pelo cliente) dos documentos revisados. O auditor pode corrigir a saída do revisor. O sistema rastreia as correções e atribui uma pontuação de acurácia (por exemplo, 90%) a cada documento auditado. A pontuação de acurácia agregada de uma tarefa ou rotulador é informada nos painéis de análise de tarefas e rotuladores, respectivamente. Confira instruções detalhadas sobre como configurar um pipeline de auditoria.
Designar um auditor
Precisão dos relatórios
Analisadores de IA para empréstimos (31 de julho)
- O HITL agora é compatível com alguns analisadores de IA de empréstimos, incluindo 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Paystubs, Banks Statements, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R
Filas padrão x Fast Track (2 de julho)
- Agora oferecemos suporte a duas filas de prioridade (em vez de uma) para cada processador, com base na urgência de cada documento.
- Envio: depois da previsão, os documentos extraídos podem ser avaliados quanto à urgência e enviados para duas filas (padrão x urgente/rápido) com base na urgência do documento. Por exemplo, as faturas com datas de vencimento urgentes podem ser enviadas para a fila de via rápida. A lógica que avalia a urgência pode ser inserida por uma função personalizada.
- Atribuição de tarefas: o gerente de rotulagem vê duas filas diferentes com prioridades diferentes, conforme mostrado na captura de tela abaixo, e pode atribuir o mesmo grupo de rotuladores às duas filas.
- Priorização de tarefas: os rotuladores atribuídos às duas tarefas sempre processam primeiro os documentos pendentes na fila rápida antes de processar a fila padrão.Ou seja, a priorização da fila é processada automaticamente pelo sistema.
- Chamada de API: defina o campo priority no ReviewDocument
- Captura de tela da UI (das tarefas na interface do Gerenciador de marcadores)
Filtros de validação para endpoint de HITL (24 de junho)
- Os filtros de validação (configurados no processador) que filtram os campos por pontuação de confiança para determinar os documentos que serão enfileirados para revisão humana agora também são aplicados aos documentos enviados ao endpoint HITL.
- Ao chamar a API
ReviewDocument
, defina o campo enable_schema_validation como "true". Se essa opção estiver definida e a validação decidir que o documento não precisa acionar a revisão humana, um erro CANCELLED será retornado.
API Cancel
É possível cancelar um documento enfileirado para processamento HITL invocando a API Cancel para um determinado ID de operação. [Um ID de operação é retornado para cada documento enviado ao HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de fatura (revisão de classificação)
- O Labeler Workbench permite revisar a classificação do tipo de fatura.
Relatório de tempo na fila (SLO de latência de HITL)
- Um relatório mostra quantos documentos estão na fila há mais de 18 e 24 horas. Isso é útil para usuários que precisam gerenciar uma expectativa de SLO na latência de HITL.
URL conhecido da bancada de trabalho do marcador
- Os rotuladores atribuídos a um único pool agora podem acessar a bancada de trabalho em um URL conhecido https://datacompute.corp.google.com/w/. Isso é útil caso você perca o e-mail com o URL enviado pelo sistema ou pelo Gerenciador de rotulagem. Esse URL não funciona para rotuladores atribuídos a vários pools.
Configuração de zoom fixo
- O plug-in agora lembra a configuração de zoom de um rotulador (largura total x página inteira) para as próximas revisões de documentos na fila. Assim, não é necessário aumentar o zoom em todos os documentos.