Guia de início rápido: concluir uma tarefa de revisão

Cada processador cria uma "tarefa HITL" que é atribuída a um pool de rotuladores humanos (chamado "pool de rotuladores") que analisam os documentos processados pelo processador. Depois de processados, esses documentos são colocados na fila da tarefa para análise de HITL pelo pool de rotuladores atribuído.

Antes de começar

Conclua o Guia de início rápido: configurar a revisão humana anterior antes de prosseguir.

Adicionar rotuladores

  1. Depois de configurar a revisão humana, você vai receber um e-mail semelhante a este:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Clique no link do e-mail (ou copie e cole no navegador) para acessar a página do Gerenciador:

  2. A tarefa criada pelo processador recém-criado tem o mesmo nome do processador (por exemplo, "Faturas do departamento A") e é listada na guia "Tarefas".

  3. Clique na guia "Marcadores".

  4. Clique em "Adicionar rotulador" e adicione pelo menos um rotulador (e-mail). Um gerente pode ser um identificador, então você pode se adicionar.

  5. Para um pool de rotuladores recém-criado, a tarefa precisa ser atribuída ao rotulador individual explicitamente na guia "Atribuições". Ou seja, adicionar o pool de rotuladores não atribui automaticamente a tarefa a esses novos rotuladores. Se o pool de rotuladores já tiver provisionado rotuladores, o pool será atribuído automaticamente à tarefa.

Postar um documento inicial para análise

  1. Envie um documento para extração pelo processador criado. Consulte os Guias de instruções conforme necessário. Atualmente, as chamadas on-line (síncronas) e em lote (assíncronas) oferecem suporte ao roteamento de revisão humana para processadores com suporte.

    Para fins de teste, use uma extração ruim conhecida para acionar a revisão humana com a pontuação de confiança abaixo do limite ou defina o limite como 100%. Os limites de documentos geralmente são de 5 páginas e 20 MB no máximo, mas verifique os limites específicos do processador.

    Há uma API para acompanhar cada documento encaminhado para revisão humana. Como parte da resposta dos processadores, há uma string humanReviewOperation que é o ID da operação (nome do job) do documento na revisão humana. Essa operação de longa duração (também chamada de LRO) pode ser consultada para verificar o status.

    É possível consultar o status de um documento encaminhado para revisão humana com o método projects.locations.operations.get.

  2. É possível forçar a revisão humana de um documento com o método reviewDocument (específico do processador):

    Para usar o método reviewDocument, é necessário marcar a caixa de seleção Human Review ENABLED. O uso dessa API não vai substituir as configurações.

    Siga o guia Solicitar revisão humana para usar esse método.

Analisar o documento

  1. Se o documento acionar o processo de revisão humana, mas não houver rotuladores no grupo, o administrador vai receber um e-mail.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Esses links são para que o gerente de rotulagem aloque o trabalho de rotulagem.

  1. Se os rotuladores não estiverem inscritos no grupo de rotulagem e forem adicionados recentemente, o gerente de rotulagem vai precisar enviar um e-mail semelhante com instruções para os novos rotuladores.

Etapas do rotulador

Procedimento de rotulagem

  1. E-mail do rotulador

    Se um identificador já estiver inscrito em um grupo de rotulagem na etapa 2e, o sistema vai fazer a alocação automática, e ele vai receber um e-mail como este:

    imagem

    O link neste e-mail é o mecanismo para que o rotulador selecionado faça o trabalho de rotulagem no documento.

  2. Ações de rotulagem:

    Quando um rotulador clica no link para fazer a rotulagem, ele encontra a interface do usuário de revisão humana de IA interativa mostrada abaixo. As linhas destacadas (em amarelo) indicam as linhas que estão falhando na validação (ou seja, estão abaixo do limite de pontuação de confiança configurado) e precisam ser analisadas.

    imagem

  3. Revisão Passando o cursor sobre um campo de texto reconhecido, o texto reconhecido e (em uma fonte menor abaixo dele) o nome do campo (esquema) são mostrados. A linha também é destacada no painel à esquerda.

    O usuário pode aumentar/diminuir o zoom com os ícones de lupa no canto superior esquerdo da barra de ferramentas.

    imagem

  4. Mudar campo

    Ao clicar no campo, você pode editá-lo:

    Você pode mudar o valor ou o rótulo no painel à esquerda. Em seguida, clique em Aplicar.

    OU, clicando em um dos ícones de redimensionamento no canto da imagem do documento, você pode redimensionar a caixa delimitadora ao redor do texto do documento:

    Como mostrado, se um texto diferente for selecionado, ele vai mudar o texto no valor do campo no painel à esquerda. Você pode editar esse texto se necessário. Em seguida, clique em Aplicar.

    Revise todas as páginas usando o controle de página no canto superior direito.

Depois de fazer todas as mudanças necessárias, clique em ENVIAR (no canto inferior esquerdo). O JSON do resultado será salvo na pasta "Results location".

Se não for possível rotular o documento de forma satisfatória, clique em REJECT (no canto inferior esquerdo) e selecione um motivo para recusar o documento: - Selecione um motivo e clique em Reject document.

Os operadores de rotulagem também podem clicar nos seguintes ícones no canto superior direito:

  • Análises: mostra quantos documentos foram analisados (respostas) e o tempo total.
  • Notificações: para mostrar as notificações recebidas.
  • Mais (três pontos): para Pular o documento, Encontrar respostas ou enviar Feedback (se ativado).
  • Alternar a barra de título (setas diagonais): oculta (ou mostra) a barra de título do DataCompute para ter mais espaço.

Gerenciador de rotulagem

Revisar o documento do Cloud Storage

Se você quiser verificar o documento, há duas opções:

  • Opção 1:

    1. Localizar o Cloud Storage no local configurado anteriormente
    2. Extrair e fazer o download dos documentos

  • Opção 2:

    1. Lembrar o URI para recuperar o documento da resposta da previsão
    2. Chamar o URI para recuperar o documento analisado

A seguir