Notas da versão
Versão de dezembro de 2022
Ajustador de configuração HITL
A guia "Configuração" em "Human-In-The-Loop" agora está formatada como um par ordenado de etapas para facilitar e estruturar a experiência de configuração. Agora o usuário pode conferir etapas separadas para configurar as configurações relacionadas ao pool de especialistas e aos filtros para acionar o HITL e selecionar instruções e local de resultados para especialistas.
Versão de outubro de 2022
Painel de análise do solicitante de HITL
Agora, a seção "Human in the Loop" tem uma guia dedicada, chamada Analytics, que fornece ao usuário métricas e gráficos para analisar o status das tarefas de HITL por processador e fazer alterações conforme necessário.
No momento, há três métricas diferentes que o usuário pode conferir. Os dados podem ser agregados por um seletor de período que oferece ao usuário as seguintes opções:
Para cada período selecionado, o usuário pode conferir o seguinte:
- Estatísticas agregadas: uma visualização de resumo do número total de documentos que foram enviados à fila, do número total de documentos concluídos (ou seja, enviados e rejeitados) por especialistas e do tempo decorrido desde que o documento mais antigo foi adicionado à fila no período selecionado.
- Gráfico de atividade do human-in-the-loop: um gráfico que mostra os dados de séries temporais
de quando os documentos foram adicionados à fila (
enqueuedDocumentCount
) e quando os documentos foram concluídos por especialistas (completedDocumentCount
). - Taxa de acionamento do human-in-the-loop: um gráfico que mostra os dados de séries temporais da porcentagem de documentos enviados que acionaram a análise human-in-the-loop no período selecionado.
Versão de setembro de 2022
Observação: os clientes que usam o Document AI Workbench, os processadores de ordens de compra (PO), de faturas e de despesas têm acesso a um novo esquema que permite aos clientes rotular caixas de seleção (se definido no esquema) e representar com precisão entidades aninhadas, ou seja, a relação pai-filho na interface de revisão e anotação do HITL. À medida que mais processadores adaptarem o novo esquema, estas notas de lançamento serão atualizadas para refletir isso.
Entidade aninhada
- A interface da anotação agora oferece suporte ao rotulamento de entidades aninhadas. O painel esquerdo foi atualizado com uma nova aparência para linhas aninhadas que representam entidades aninhadas. O valor de "parent" é a concatenação de todos os "children".
- A seleção de entidades do painel esquerdo mostra rótulos principais e filhos.
- O menu de rótulos de entidade no documento também é atualizado para oferecer suporte ao rotulamento de entidades aninhadas.
- Clicar em um rótulo aninhado abre uma caixa de diálogo para atribuir a entidade mãe correta à entidade filha aninhada.
Caixa de seleção
- A interface de anotação oferece suporte a caixas de seleção de rotulagem. No painel à esquerda, a caixa de seleção pode ser editada na linha.
- A edição de caixas de seleção também está disponível na caixa de diálogo de edição de entidade.
Versão de agosto de 2022
Seletor de rótulo de entidade
- A entrada de rótulo de entidade é substituída por uma lista suspensa. Essa lista suspensa contém as opções de rótulo disponíveis ao adicionar uma nova entidade. Essa mudança ajuda a evitar que os colaboradores cometam erros de digitação e criem rótulos de entidades indesejados.
Formato de data ISO
- As datas normalizadas são mostradas no formato ISO 8601(AAAA-MM-DD).
Versão de julho de 2022
Botão de confirmação rápida
- Um botão "Confirmar" está disponível nas dicas de ferramentas de entidade para revisar e confirmar rapidamente um valor de entidade/rótulo. O botão "Editar" foi removido, já que os usuários podem clicar na dica de ferramenta da entidade diretamente para editar.
Versão de janeiro de 2022
Opções de rótulo de entidade
- As opções de seleção de rótulos de entidade agora são limitadas à lista de campos filtrados(definida na configuração do filtro HITL).
Campos ausentes
- Agora, os campos ausentes (ou seja, campos marcados como "Obrigatório" na configuração do filtro HITL, mas o processador não previu valores para os campos) são mostrados em uma cor vermelha distinta, facilitando a atualização do valor do campo pelo revisor.
Amostras completas aleatórias
- Agora oferecemos suporte à revisão completa (ou seja, todas as entidades no documento, não apenas os campos filtrados) de uma amostra aleatória (por exemplo, 2% do volume diário) de documentos. Isso é útil para monitorar a deriva do modelo e as análises sobre a precisão do processador em cada campo. Essas análises são coletadas e usadas para saber quando o treinamento avançado é necessário. Ele também serve como um conjunto de dados com informações empíricas marcadas para treinamento avançado de modelos.
- Os clientes podem ativar e definir a amostra aleatória [1 a 10%] com base no volume. Segmentar de 100 a 500 amostras por semana seria útil. Portanto, se o cliente processa 10.000 documentos por semana, isso pode ser definido como 500/10.000 = 5%.
Configuração simplificada do HITL para usuários iniciantes
- Simplificamos a configuração do HITL do BYOL para clientes que usam o HITL pela primeira vez. Assim, eles podem configurar rapidamente uma tarefa, atribuir especialistas e iniciar em uma única tela para testar antes de aumentar o volume de produção ou terceirizar a operação.
- Como mostrado na captura de tela abaixo, o usuário se torna o administrador padrão do pool e pode adicionar outros especialistas, que são atribuídos automaticamente à tarefa na mesma tela.
- Antes, o gerente atribuído recebia um link para o Console do Gerenciador por e-mail, onde ele adicionava especialistas e atribuía a tarefa a eles.
- Depois de enviar a tarefa, eles e outros especialistas designados podem acessar o app HITL para analisar os documentos.
- O usuário também pode enviar um documento de teste (um por vez) para a fila de tarefas.
Remover o divisor de linhas final
- Os separadores de linhas finais("'n'") são removidos em entity.mentionText.
Versão de dezembro de 2021
Ordenar as entidades de pontuação de baixa confiança para cima
- As entidades com pontuação de baixa confiança (ou seja, entidades abaixo do limite de confiança) agora são classificadas na parte de cima da página, permitindo que o especialista se concentre nelas. Isso aumenta a eficiência na rotulagem.
Instruções opcionais para tarefas BYOL
- As instruções em PDF que precisam ser enviadas para configurar uma tarefa HITL agora são opcionais. Isso simplifica os testes e os lançamentos internos rápidos, em que os especialistas não precisam de um guia de instruções.
Opção de ajuste à largura e à altura da página
- Botão para ajustar a página à largura ou à altura. Isso é útil quando os especialistas têm documentos de tamanhos variáveis (por exemplo, recibos) em uma tarefa.
Nome da tarefa mostrado na interface do especialista
- O nome da tarefa agora é mostrado na interface do especialista para fornecer mais contexto sobre a tarefa e o tipo de documento, o que é muito útil quando o especialista é atribuído a várias tarefas.
- Isso aparece em novos processadores criados após esta versão.
Caixa de pesquisa para especialistas
- Os especialistas podem pesquisar entidades/textos em documentos. Isso é útil principalmente para documentos grandes com várias páginas e aumenta a produtividade dos especialistas.
Versão de setembro de 2021
Alternar para mostrar todos os campos
- Os rotuladores podem precisar revisar e atualizar campos que não estão no conjunto de entidades filtrado para documentos específicos na fila. Você pode ativar a opção Mostrar todas as previsões para permitir que os rotuladores revisem os campos não filtrados.
HITL para o analisador de formulários
- O HITL agora oferece suporte ao Analisador de formulários, para que os usuários possam analisar e corrigir os pares de chave-valor extraídos por ele. O cliente pode ativar o HITL no processador do analisador de formulários na plataforma DocAI e configurar os nomes das chaves (conforme mostrado na captura de tela abaixo) que gostaria de filtrar para a análise do HITL. A saída do HITL é descartada como arquivos JSON no bucket do Google Cloud Storage especificado pelo cliente após a conclusão da análise.
- Eles podem especificar nomes de chaves alternativos separados por vírgulas, por exemplo, "cliente, nome do cliente, cliente, conta #, número da conta", para que o filtro do HITL capture documentos com todas as variações de nome da chave e os envie para análise do HITL.
Versão de agosto de 2021
Pipeline de auditoria/controle de qualidade
- O HITL agora permite uma segunda etapa de controle de qualidade ou auditoria e informa a precisão das tarefas de revisão (e dos rotuladores). Uma equipe de controle de qualidade ou um auditor pode ser atribuído como "responsável por rotular" em uma tarefa. A equipe de controle de qualidade/auditoria recebe X% (por exemplo, 1% a 100%, isso pode ser configurado pelo cliente) dos documentos analisados. O auditor pode corrigir a saída do revisor. O sistema rastreia as correções e atribui uma pontuação de precisão (por exemplo, 90%) a cada documento auditado. A pontuação de precisão agregada de uma tarefa ou rotulador é informada nos painéis de análise de tarefas e de rotulador, respectivamente.
- Confira instruções detalhadas sobre como configurar um pipeline de auditoria.
- Designação de um auditor
- Precisão dos relatórios
Analisadores de IA de empréstimos (15 de agosto)
- Agora, a HITL é compatível com alguns analisadores de IA de empréstimos, incluindo 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Paystubs, extratos bancários, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R.
Versão de julho de 2021
Filas padrão x urgentes (2 de julho)
- Agora oferecemos suporte a duas filas prioritárias (em vez de uma) para cada processador, com base na urgência de cada documento.
- Envio: após a previsão, os documentos extraídos podem ser avaliados quanto à urgência e enviados para duas filas (padrão x urgente/rápido) com base na urgência do documento. Por exemplo, as faturas com datas de vencimento urgentes podem ser enviadas para a fila de acesso rápido. No momento, a lógica que avalia a urgência está fora do HITL e pode ser uma função personalizada.
- Atribuição de tarefas: o gerenciador de rotulagem tem acesso a duas filas diferentes com prioridades diferentes, como mostrado na captura de tela abaixo, e pode atribuir o mesmo grupo de rotuladores a ambas as filas.
- Priorização de tarefas: os rotuladores atribuídos a ambas as tarefas sempre processam primeiro os documentos pendentes na fila de prioridade antes de processar a fila padrão.Ou seja, a priorização de filas é processada automaticamente pelo sistema.
- Chamada de API: definir o campo priority no ReviewDocument
- Captura de tela da UI (de tarefas na interface do Gerenciador de marcadores) -
Versão de junho de 2021
Filtros de validação para o endpoint HITL (24 de junho)
- Os filtros de validação (configurados no processador) que filtram os campos por pontuação de confiança para determinar os documentos que serão colocados na fila para revisão humana agora também são aplicados aos documentos enviados para o endpoint HITL.
- Ao chamar a API ReviewDocument, defina o campo enable_schema_validation como verdadeiro.
- Se esse valor for definido e a validação decidir que o documento não precisa acionar uma revisão humana, um erro CANCELADO será retornado.
API Cancel
O cliente pode cancelar um documento enfileirado para processamento de HITL invocando a API Cancel para um determinado ID de operação. Um ID de operação é retornado para cada documento enviado ao HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de fatura (revisão de classificação)
- O Labeler Workbench oferece suporte à revisão da classificação do tipo de fatura.
Relatório de tempo na fila (SLO de latência HITL)
- Um relatório mostra quantos documentos estão na fila há mais de 18 horas e 24 horas. Isso é útil para usuários que precisam gerenciar uma expectativa de SLO na latência da HITL.
URL conhecido para a bancada de trabalho do marcador
- Os rotuladores atribuídos a um único pool agora podem acessar a mesa de trabalho em um URL conhecido e não precisam procurar URLs criptografados enviados em notificações por e-mail (pelo sistema ou pelo gerente de rotulagem). Esse URL não funciona para rotuladores atribuídos a vários pools.
Configuração de zoom fixo
- Agora o plug-in lembra a configuração de zoom do usuário que rotula (largura total x página inteira) para as próximas revisões de documentos na fila, para que ele não precise dar zoom em todos os documentos.
HITL para o analisador de formulários
- O HITL agora oferece suporte ao Parser de formulários. Os usuários podem revisar e corrigir os pares de chave-valor extraídos pelo Analisador de formulários, ativar o HITL no processador do Analisador de formulários na plataforma DocAI e configurar os nomes das chaves (conforme mostrado na captura de tela abaixo) que gostariam de filtrar para a revisão do HITL. A saída do HITL é salva em arquivos JSON no bucket do Google Cloud Storage especificado pelo cliente após a conclusão da análise.
- Capturas de tela da interface para configurar o HITL nos analisadores de formulários
- Interface para configurar a validação no nível da chave
- Interface do marcador
Pipeline de auditoria/controle de qualidade
- O HITL agora ativa uma segunda etapa de controle de qualidade ou auditoria e informa a precisão das tarefas de revisão (e dos rotuladores). Uma equipe de controle de qualidade ou um auditor pode ser atribuído como "responsável por rotular" em uma tarefa. A equipe de controle de qualidade/auditor vai receber X% (por exemplo, 1% a 100%, isso é configurável pelo cliente) dos documentos analisados. O auditor pode corrigir a saída do revisor. O sistema rastreia as correções e atribui uma pontuação de precisão (por exemplo, 90%) a cada documento auditado. A pontuação de precisão agregada de uma tarefa ou rotulador é informada nos painéis de análise de tarefas e de rotuladores, respectivamente. Confira instruções detalhadas sobre como configurar um pipeline de auditoria.
Designação de um auditor
Precisão dos relatórios
Analisadores de Document AI para empréstimos (31 de julho)
- Agora, o HITL é aceito em alguns analisadores de IA de empréstimos, incluindo 1040, 1040 Schedule E, 1040 schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, Paystubs, Banks Statements, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R
Filas padrão x Fast Track (2 de julho)
- Agora oferecemos suporte a duas filas prioritárias (em vez de uma) para cada processador, com base na urgência de cada documento.
- Envio: após a previsão, os documentos extraídos podem ser avaliados quanto à urgência e enviados para duas filas (padrão x urgente/rápido) com base na urgência do documento. Por exemplo, as faturas com datas de vencimento urgentes podem ser enviadas para a fila de acesso rápido. A lógica que avalia a urgência pode ser inserida usando uma função personalizada.
- Atribuição de tarefas: o gerenciador de rotulagem tem acesso a duas filas diferentes com prioridades diferentes, como mostrado na captura de tela abaixo, e pode atribuir o mesmo grupo de rotuladores a ambas as filas.
- Priorização de tarefas: os rotuladores atribuídos a ambas as tarefas sempre processam primeiro os documentos pendentes na fila de prioridade antes de processar a fila padrão.Ou seja, a priorização de filas é processada automaticamente pelo sistema.
- Chamada de API: definir o campo priority no ReviewDocument
- Captura de tela da interface (de tarefas na IU do Gerenciador de marcadores)
Filtros de validação para o endpoint HITL (24 de junho)
- Os filtros de validação (configurados no processador) que filtram os campos por pontuação de confiança para determinar os documentos que serão colocados na fila para revisão humana agora também são aplicados aos documentos enviados para o endpoint HITL.
- Ao chamar a API
ReviewDocument
, defina o campo enable_schema_validation como verdadeiro. Se esse valor for definido e a validação decidir que o documento não precisa acionar uma revisão humana, um erro CANCELADO será retornado.
API Cancel
É possível cancelar um documento enfileirado para processamento de HITL invocando a API Cancel para um determinado ID de operação. [Um ID de operação é retornado para cada documento enviado ao HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo de fatura (revisão de classificação)
- O Labeler Workbench oferece suporte à revisão da classificação do tipo de fatura.
Relatório de tempo na fila (SLO de latência HITL)
- Um relatório mostra quantos documentos estão na fila há mais de 18 horas e 24 horas. Isso é útil para usuários que precisam gerenciar uma expectativa de SLO na latência da HITL.
URL conhecido para a bancada de trabalho do marcador
- Os rotuladores atribuídos a um único pool agora podem acessar a área de trabalho em um URL conhecido https://datacompute.corp.google.com/w/. Isso é útil caso você perca o e-mail com o URL enviado pelo sistema ou pelo Gerenciador de rotulagem. Esse URL não funciona para rotuladores atribuídos a vários pools.
Configuração de zoom fixo
- Agora, o plug-in lembra a configuração de zoom do usuário (largura total ou página inteira) para as próximas revisões de documentos na fila, para que ele não precise dar zoom em todos os documentos.