IU do Gerenciador de marcadores e da bancada de trabalho do marcador

Cuidado: o human-in-the-loop do Document AI foi descontinuado e não vai estar mais disponível no Google Cloud após 16 de janeiro de 2025. Novos clientes não estão na lista de permissões. Se você quiser usar o HITL, mas não encontrar a opção disponível, entre em contato com sua Equipe de Contas do Google.

Para implementar uma solução de revisão e correção humana que atenda aos seus requisitos, recomendamos trabalhar com um parceiro certificado do Google Cloud , como Devoteam, Searce ou Quantiphi. Consulte Descontinuações para conferir mais detalhes.

Interface do gerenciador

A interface do Gerenciador permite que os gerentes¹ administrem o trabalho dos marcadores em tarefas². Os administradores podem usar essa interface para adicionar ou remover rotuladores, atribuir ou cancelar a atribuição de tarefas e monitorar o progresso das tarefas e as análises sobre o desempenho de cada rotulador.

À esquerda, há uma lista de todos os Google Cloud pools de etiquetadores ativados do projeto³ que o usuário gerencia. O número à direita do nome do pool de etiquetadoras é o número de etiquetadoras nesse pool. À direita, está o conteúdo principal da interface, que consiste em quatro guias:

• Tarefas
• Etiquetadoras
• Atribuições

Tarefas

A tabela de tarefas é uma visualização de todas as tarefas no projeto Google Cloud do pool de rotuladores. Ele contém algumas estatísticas básicas sobre a tarefa, além de permitir a pausa da tarefa e rotas rápidas para atribuir classificadores às tarefas.

Filtros

Acima da grade de dados, há um conjunto de controles de filtro para determinar quais tarefas são mostradas na grade de dados.

• Pesquisar tarefas por nome: filtra os resultados com o nome digitado. Inclui a funcionalidade de preenchimento automático.
• Em andamento: se marcada, os resultados vão incluir todas as tarefas que não estão pausadas, concluídas ou não atribuídas. Essa opção fica ativada por padrão.
• Pausada: se marcada, os resultados vão incluir todas as tarefas pausadas.
• Concluída: se marcada, os resultados vão incluir todas as tarefas concluídas, ou seja, que não têm perguntas disponíveis, seja porque nenhuma pergunta foi enfileirada ou porque todas as perguntas enfileiradas foram respondidas.
• Não atribuída: se marcada, os resultados vão incluir todas as tarefas que não têm rotulistas atribuídos.

Se nenhum filtro for selecionado, isso será um erro, e a página vai pedir para o administrador fazer algumas seleções de filtro. Se nenhuma das caixas de seleção estiver marcada, as tarefas que corresponderem à condição da caixa de seleção serão excluídas a menos que a tarefa corresponda a uma das condições da caixa marcada. Por exemplo, se uma tarefa estiver pausada e não atribuída, ela será mostrada se a caixa de seleção "Pausad" ou "Não atribuída" estiver marcada (ou ambas). Esse resultado não vai aparecer se as caixas de seleção "Em pausa" e "Não atribuída" não estiverem marcadas.

Grade de dados

• A primeira coluna contém uma caixa de seleção para cada linha. Se o administrador selecionar uma ou mais dessas caixas de seleção e clicar no botão Gerenciar atribuição acima da tabela, ele será direcionado para a página "Atribuições", com as tarefas selecionadas já preenchidas no filtro "Tarefas".
• A coluna "Tarefa" mostra o nome da tarefa. Esse nome é definido pela pessoa que cria a tarefa e é legível por humanos (como "Classificação de currículo"), ao contrário de um identificador interno (como "cloud_data_67523fe89343").
• A coluna "Objetivo" contém o nome do objetivo, que descreve o tipo de tarefa (classificação de imagens, classificação de texto etc.).
• A coluna "Última fila" contém a data em que a pergunta mais recente foi incluída na fila (vazia se nenhuma pergunta foi incluída na tarefa).
• A coluna "Atribuída" mostra o número de pessoas que estão atribuídas à tarefa. Ele também oferece acesso a uma caixa de diálogo em que o administrador pode cancelar a atribuição de rotulistas. O gerente não pode fazer a atribuição nessa caixa de diálogo. Para isso, ele precisa usar a página "Atribuição".
• A coluna "Perguntas disponíveis/na fila" mostra a proporção entre o número de perguntas na tarefa que estão disponíveis para os colaboradores e o número total de perguntas na fila.
• A coluna "Progresso" mostra uma exibição gráfica e baseada em porcentagem da proporção acima. Ele também mostra se a tarefa está pausada (não exibindo perguntas), como na linha de baixo da tabela na captura de tela acima.
• A coluna "Ações" contém um menu com algumas ações adicionais a serem realizadas na tarefa:
  • Pausar: disponível apenas se a tarefa não estiver pausada.
  • Retomar: disponível apenas se a tarefa estiver pausada.
  • Atribuição: fornece um atalho para a página "Atribuição", com a tarefa inicialmente selecionada nos filtros.

Acima da tabela de dados, há um controle de paginação, com o qual o administrador pode decidir mostrar mais resultados por página e navegar entre as páginas de resultados.

Rotuladores

A tabela de identificadores é uma visualização de todos os identificadores no pool. Ele contém algumas estatísticas básicas sobre o Labeler e uma maneira de atribuir rapidamente o Labeler a tarefas.

Filtros

Acima da grade de dados, há uma caixa de filtro que filtra os resultados para aqueles com os e-mails inseridos. Vários e-mails podem ser separados por vírgulas.

Adicionar etiquetadora

O botão Adicionar abre uma caixa de diálogo em que o administrador pode adicionar um ou mais rotuladores ao conjunto. É possível inserir vários endereços de e-mail separados por vírgulas. Os códigos de idioma (por exemplo, "en", "de") também podem ser inseridos, separados por vírgulas. A mesma pessoa (e-mail) pode aparecer em vários grupos de rotulador e ter atribuições diferentes em cada um deles.

A caixa de diálogo vai mostrar um resumo dos identificadores que foram ou não adicionados. Uma marca de seleção significa que o etiquetador foi adicionado. Já o X vermelho indica que não foi possível adicionar o etiquetador, por exemplo, porque ele já existe no pool.

Grade de dados

• A primeira coluna contém uma caixa de seleção para cada linha. Se o administrador selecionar uma ou mais dessas caixas de seleção e clicar no botão Gerenciar atribuição acima da tabela, ele será direcionado à página "Atribuições", com os rotuladores selecionados já preenchidos no filtro "Rotuladores".
• A coluna "E-mail" mostra o endereço de e-mail do responsável pela rotulagem.
• A coluna "Tarefas atribuídas" mostra o número de tarefas atribuídas ao identificador. Ele também oferece acesso a uma caixa de diálogo em que o administrador pode cancelar a atribuição do identificador de rótulos de uma ou mais tarefas. O administrador não pode fazer a atribuição nesta caixa de diálogo. Para atribuir uma tarefa, o gerente precisa usar a página "Atribuição".
• A coluna "Idiomas" mostra com quais idiomas o Labeler está associado. Esses valores podem afetar quais perguntas podem ser alugadas por um rotulador, dependendo da configuração da pergunta quando ela foi enfileirada.
• A coluna "Ações" contém um menu com algumas ações adicionais a serem realizadas na tarefa:
  • Atividade: fornece um atalho para a página "Atividade", com o identificador de rótulos selecionado inicialmente nos filtros.
  • Excluir: remove o etiquetador do pool atual.

Acima da tabela de dados, há um controle de paginação, com o qual o administrador pode decidir mostrar mais resultados por página e navegar entre as páginas de resultados.

Atividades

Na página de atribuições, os gerentes podem gerenciar as atribuições de tarefas para os rotuladores no conjunto de rotuladores.

Filtros

O conteúdo da grade de atribuições é determinado por dois conjuntos de critérios de filtro: os filtros do identificador, que determinam o que aparece no eixo Y, e os filtros de tarefa, que determinam o que aparece no eixo X.

Filtros do etiquetador

• Seletor de tarefas: usando esse campo, o gerente pode selecionar uma ou mais tarefas. O conjunto de rotuladores exibido na grade inclui todos os rotuladores atribuídos a qualquer uma dessas tarefas.
• Filtro de e-mails: usando esse campo, o administrador pode especificar um ou mais endereços de e-mail separados por vírgulas. O conjunto de rotulistas exibido na grade inclui todos os rotulistas com qualquer um desses endereços de e-mail.

É possível usar um ou ambos esses filtros, mas pelo menos um deles precisa ser usado.

Filtros de tarefas

• Seletor de tarefas: usando esse campo, o gerente pode selecionar uma ou mais tarefas. O conjunto de tarefas exibido na grade vai incluir todas as tarefas selecionadas.
• Outros filtros:
  • Todas as tarefas pausadas: se essa opção estiver marcada, as tarefas mostradas também vão incluir as que estão pausadas.
  • Todas as tarefas concluídas: se essa opção estiver marcada, as tarefas exibidas também vão incluir as que foram concluídas (não têm perguntas disponíveis para trabalhar).
  • Todas as tarefas não atribuídas: se essa opção estiver marcada, as tarefas exibidas também vão incluir as que não foram atribuídas a nenhum rotulador.
  • Todas as tarefas em andamento: se essa opção estiver marcada, as tarefas exibidas também vão incluir as que estiverem "em andamento" (não pausadas, concluídas ou não atribuídas).

É possível usar qualquer combinação desses filtros, mas pelo menos um deles precisa ser usado. Esses filtros são independentes. As opções escolhidas no filtro "Identificadores" não afetam as opções escolhidas no filtro "Tarefas" e vice-versa.

Grade de atividades

A grade mostra os resultados dos critérios de filtro selecionados. Os identificadores de rótulos constituem o eixo Y, e as tarefas constituem o eixo X. Para cada célula, o gerente pode marcar a caixa de seleção para atribuir o rotulador correspondente à tarefa correspondente ou desmarcar a caixa de seleção para remover a atribuição do rotulador da tarefa correspondente.

Há também alguns atalhos disponíveis nos menus de cada cabeçalho de linha e de coluna. Para abrir o menu, clique no botão com três pontos verticais. Por exemplo, se o administrador abrir o menu em uma célula de cabeçalho do Labeler, ele poderá atribuir ou remover esse Labeler de todas as tarefas de uma só vez. O administrador também pode ocultar a linha ou coluna com a opção "Remover" do menu ou conferir as tarefas atribuídas a um rotulador/os rotuladores atribuídos à tarefa. Ao preencher as linhas e colunas, o administrador pode remover um identificador ou uma tarefa específica da grade de atribuição usando o atalho disponível. Isso não afeta o status de atribuição das tarefas ou dos identificadores removidos. As tarefas ou rotuladores removidos podem ser mostrados novamente na grade usando os respectivos filtros na parte de cima. Somente as tarefas e os rotuladores presentes na grade de atividades serão usados para modificar a atividade após a confirmação das mudanças.

Depois que as mudanças nas atribuições forem feitas, o botão Commit changes na parte de cima da página será ativado. O botão Descartar mudanças também estará disponível. Clicar nele vai redefinir todas as mudanças de atividade não confirmadas.

Quando o botão Confirmar alterações é clicado, o gerente recebe uma lista de todas as mudanças que serão feitas nas atribuições. Depois que o administrador analisa as mudanças, ele pode abortar ou confirmar as alterações. Se eles abortarem as mudanças, vão voltar à página "Tarefas" para continuar editando as atividades. Se as mudanças forem confirmadas, as atividades serão confirmadas e o usuário vai voltar para a página "Atividades".

Até que o administrador clique em "Confirmar" na página da lista de mudanças, as alterações feitas na grade não serão salvas.

Bancada de trabalho do marcador

O ambiente de trabalho do Labeler é a interface que ele usa para rotular as perguntas. As perguntas que eles recebem dependem dos pools de workers em que participam, que são atribuídos pelos gerentes.

Como receber perguntas

Quando o painel é carregado, ele tenta automaticamente receber perguntas para que o Labeler as rotule. Isso pode falhar por alguns motivos:

• O rotulador não é atribuído a nenhuma tarefa no pool de rotuladores atual. O workbench usa um pool de rotuladores por vez. Talvez haja perguntas disponíveis para o rotulador em outro pool.
• O rotulador foi atribuído a uma ou mais tarefas, mas nenhuma delas tem perguntas disponíveis para esse rotulador. Isso pode acontecer por vários motivos:
  • Nenhuma pergunta é enfileirada
  • Todas as perguntas foram replicadas
  • Todas as perguntas com réplicas restantes foram alugadas para outros rotulistas que estão trabalhando nelas no momento
  • Todas as perguntas disponíveis têm idiomas associados que o Labeler não tem.
  • O usuário que rotulou já respondeu a todas as perguntas disponíveis. Essas perguntas ainda podem estar disponíveis para outros rotulistas até que a replicação seja atendida.
  • O identificador de rótulos não pode responder às perguntas disponíveis porque enviou respostas a instâncias anteriores delas. Essas perguntas ainda podem estar disponíveis para outros usuários.

Depois que a mesa de trabalho é carregada, o Labeler pode ficar sem perguntas. Quando isso acontece, um botão aparece para permitir que o Labeler tente receber as perguntas novamente (sujeito às mesmas falhas potenciais acima).

Como trabalhar com perguntas

Quando o rotulador recebe uma pergunta, ela aparece na mesa de trabalho. A aparência específica depende da pergunta na fila e da interface que a tarefa está configurada para usar.

O workbench vai iniciar um timer até que a atividade de perguntas expire. Quando o timer terminar, a pergunta vai expirar e ser removida da mesa de trabalho para ser atribuída a outros avaliadores e manter a fila em andamento.

Quando o colaborador que rotula enviar a resposta à pergunta, o painel de controle vai carregar automaticamente a próxima pergunta disponível. Caso contrário, o Labeler vai precisar solicitar mais perguntas com o botão Get More Questions, mostrado acima.

Status do envio

Há alguns lugares no workbench em que um marcador pode conferir o status dos envios de respostas: se o envio foi concluído, falhou ou ainda está em andamento.

Caixa de diálogo de notificações

Esta caixa de diálogo mostra o status das respostas enviadas pelo colaborador:

• O ícone e o número à esquerda (o relógio laranja) representam as respostas que ainda estão sendo enviadas.
• O ícone do meio (triângulo vermelho) representa as respostas que não foram enviadas. A falha no envio pode ser devido a um erro no servidor ou a um problema com a conexão de Internet do cliente.
• O ícone à direita representa as respostas que foram enviadas.

A contagem não é mantida no navegador. Se você fechar o workbench e abrir novamente(ou atualizar a página), os contadores serão redefinidos para 0.

Mais ferramentas

Há outras ferramentas disponíveis em um menu aberto pelo botão no final da barra de ferramentas principal.

As opções são:

• Pular: pula a pergunta atual se a tarefa tiver essa opção ativada. Isso geralmente é usado se a pergunta exibida na interface estiver corrompida, mas os gerentes individuais podem dar instruções ao Labeler sobre quando pular uma pergunta. Uma omissão é contada como uma resposta, salva com metadados adicionais indicando que ela foi omitida e por quê.
• Encontrar respostas: vai para a página "Respostas", que permite que o usuário que rotulou as respostas a qualquer pergunta procurando o ID da pergunta. O marcador só pode acessar as próprias respostas, enquanto um administrador no grupo de marcadores pode acessar todas as respostas.

Fila de perguntas

Há também uma fila de perguntas para as quais o etiquetador enviou respostas:

Nesse caso, a primeira resposta foi enviada, mas a próxima não. A próxima resposta foi enviada, e a quarta bolha representa a pergunta carregada no momento e o tempo restante. O balão final mostra quantas perguntas podem ser alugadas para o rotulador. Isso ajuda o colaborador a saber quando está quase sem perguntas para rotular e pode informar o gerente.

Um rotulador pode voltar a uma pergunta anterior clicando na bolha correspondente. Se a pergunta não tiver expirado, o usuário poderá mudar a resposta e enviar novamente. Apenas a resposta mais recente será armazenada e vai substituir qualquer resposta anterior. Algumas tarefas podem ter instruções para não usar essa funcionalidade se o envio da resposta for final.

Barra de ferramentas de ferramentas adicionais

Há uma barra de ferramentas disponível com outras ferramentas para a bancada. Ela fica oculta por padrão, mas pode ser expandida se necessário.

Há três botões disponíveis aqui:

• Tela cheia: faz com que o plug-in seja aberto no modo de tela cheia. Isso vai mostrar apenas a área de trabalho e ocultar a interface do navegador, bem como as barras de ferramentas do sistema operacional. O Labeler pode sair desse modo pressionando Esc ou clicando no mesmo botão novamente.
• Recarregar: atualiza o plug-in que está visível no momento. Isso é melhor do que atualizar a página no navegador na maioria dos casos, já que a atualização pode limpar alguns estados, como o tempo gasto e as respostas enviadas. Além disso, não há garantia de que o usuário vai receber a mesma pergunta se atualizar a página.
• Informações da pergunta: mostra algumas informações sobre a pergunta visível no momento, como IDs e nome do plug-in. Essas informações podem ser úteis ao relatar problemas com uma pergunta específica, dependendo das instruções do gerenciador de tarefas.

Página de análise

A página do Google Analytics mostra ao colaborador as contribuições recentes.

Na parte de cima, há um gráfico das taxas de contribuição. Abaixo, estão as mesmas informações exibidas em formato tabular. O Labeler pode selecionar entre alguns períodos predefinidos para visualizar os dados. Para acessar a página de Análises, clique no botão "Análises" na barra de ferramentas.

Criar espaço para o plug-in

Há alguns controles disponíveis para ajustar o espaço disponível para o plug-in.

O botão de cima (as setas diagonais) alterna a visibilidade da barra do Google One, a barra logo acima que contém o seletor de Contas do Google. O botão na parte de baixo (seta para baixo) alterna a visibilidade da barra de ferramentas de ferramentas adicionais. Quando combinado com o modo de tela cheia, a ocultação das duas barras de ferramentas dá ao plug-in quase toda a tela.

---

1. Um gerente de um pool de marcadores é um usuário com permissão para adicionar ou remover marcadores e alterar as tarefas atribuídas a eles. ↩

2. Uma tarefa é uma coleção de perguntas que pode ser atribuída a um ou mais rotuladores de um pool de rotuladores. ↩

3. Um pool de rotuladores é uma coleção de rotuladores gerenciados por um ou mais administradores. Os rotuladores de um pool podem ser atribuídos para trabalhar em tarefas ativadas para esse pool. ↩