IU do Gerenciador de marcadores e da bancada de trabalho do marcador

Cuidado: o human-in-the-loop do Document AI foi descontinuado e não vai estar mais disponível no Google Cloud após 16 de janeiro de 2025. Novos clientes não estão na lista de permissões. Se você quiser usar o HITL, mas não encontrar a opção disponível, entre em contato com sua Equipe de Contas do Google.

Para implementar uma solução de correção e revisão humana que atenda aos seus requisitos, recomendamos trabalhar com um parceiro certificado do Google Cloud , como Devoteam, Searce ou Quantiphi. Consulte Descontinuações para mais detalhes.

Interface do gerente

A interface do gerente permite que os gerentes¹ administrem o trabalho dos rotuladores em tarefas². Os administradores podem usar essa UI para adicionar ou remover rotuladores, atribuir ou cancelar a atribuição de tarefas e monitorar o progresso das tarefas e as análises sobre a performance de cada rotulador.

À esquerda, há uma lista de todos os Google Cloud pools de rotuladores ativados no projeto³ que o usuário gerencia. O número à direita do nome do pool de rotuladores é a quantidade de rotuladores nesse pool. À direita, está o conteúdo principal da UI, que consiste em quatro guias:

• Tarefas
• Rotuladores
• Atividades

Tarefas

A tabela de tarefas é uma visualização de todas as tarefas no projeto Google Cloud do pool do rotulador. Ele contém algumas estatísticas básicas sobre a tarefa, além de permitir pausar a tarefa e rotas rápidas para atribuir rotuladores a ela.

Filtros

Acima da grade de dados, há um conjunto de controles de filtro para determinar quais tarefas são mostradas na grade.

• Pesquisar tarefas por nome: filtra os resultados para aqueles com o nome inserido. Inclui a funcionalidade de preenchimento automático.
• Em andamento: se marcada, os resultados vão incluir todas as tarefas que não estão pausadas, concluídas ou sem atribuição. Essa opção fica ativada por padrão.
• Pausadas: se marcada, os resultados vão incluir todas as tarefas pausadas.
• Concluídas: se marcada, os resultados vão incluir todas as tarefas concluídas, ou seja, que não têm perguntas disponíveis (porque nenhuma pergunta foi enfileirada ainda ou porque todas as perguntas enfileiradas foram respondidas).
• Não atribuídas: se marcada, os resultados vão incluir todas as tarefas que não têm rotuladores atribuídos.

Se nenhum filtro for selecionado, isso será um erro, e a página vai pedir que o gerente faça algumas seleções. Se alguma das caixas de seleção estiver desmarcada, as tarefas que corresponderem à condição dessa caixa serão excluídas a menos que a tarefa corresponda a uma das condições da caixa marcada. Por exemplo, se uma tarefa estiver pausada e sem atribuição, ela será mostrada se a caixa de seleção "Pausada" ou "Sem atribuição" estiver marcada (ou ambas). Esse resultado não vai aparecer se nenhuma das caixas de seleção "Pausado" e "Não atribuído" estiver marcada.

A grade de dados

• A primeira coluna contém uma caixa de seleção para cada linha. Se o gerente marcar uma ou mais dessas caixas de seleção e clicar no botão Gerenciar atribuição acima da tabela, ele será direcionado à página "Atividades", com as tarefas selecionadas já preenchidas no filtro "Tarefas".
• A coluna "Tarefa" mostra o nome da tarefa. Ele é definido pela pessoa que cria a tarefa e é um nome legível por humanos (como "Classificação de currículos") em vez de um identificador interno (como "cloud_data_67523fe89343").
• A coluna "Objetivo" contém o nome do objetivo, que descreve o tipo de tarefa (classificação de imagens, classificação de texto etc.).
• A coluna "Última inclusão na fila" contém a data em que a pergunta mais recente foi incluída na fila (vazia se nenhuma pergunta tiver sido incluída na fila da tarefa ainda).
• A coluna "Atribuído" mostra o número de rotuladores atribuídos à tarefa. Ele também dá acesso a uma caixa de diálogo em que o gerente pode remover a atribuição de rotuladores. O gerente não pode fazer atribuições nessa caixa de diálogo. Para isso, ele precisa usar a página "Atribuição".
• A coluna "Perguntas disponíveis/em fila" mostra a proporção entre o número de perguntas na tarefa que estão disponíveis para serem trabalhadas pelos rotuladores e o número total de perguntas atualmente em fila na tarefa.
• A coluna "Progresso" mostra uma exibição gráfica e baseada em porcentagem da proporção acima. Ela também mostra se a tarefa está pausada (não veiculando perguntas), como visto na linha de baixo da tabela na captura de tela acima.
• A coluna "Ações" contém um menu com algumas ações adicionais para realizar na tarefa:
  • Pausar: disponível apenas se a tarefa não estiver pausada. Isso vai pausar a tarefa.
  • Retomar: disponível apenas se a tarefa estiver pausada. Retoma a tarefa.
  • Atribuição: oferece um atalho para a página "Atribuição", com a tarefa inicialmente selecionada nos filtros.

Acima da tabela de dados, há um controle de paginação. Com ele, o gerente pode decidir mostrar mais resultados por página e navegar entre as páginas de resultados.

Rotuladores

A tabela de rotuladores é uma visualização de todos os rotuladores no pool. Ele contém algumas estatísticas básicas sobre o rotulador, além de uma maneira de atribuir rapidamente o rotulador a tarefas.

Filtros

Acima da grade de dados, há uma caixa de filtro que restringe os resultados aos e-mails inseridos. Vários e-mails podem ser separados por vírgulas.

Adicionar rotulador

O botão Adicionar abre uma caixa de diálogo em que o gerente pode adicionar um ou mais rotuladores ao pool. É possível inserir vários endereços de e-mail separados por vírgulas. Também é possível inserir códigos de idioma (por exemplo, "en", "de") separados por vírgulas. A mesma pessoa (e-mail) pode aparecer em vários pools de rotuladores e ter atribuições diferentes em cada um deles.

A caixa de diálogo vai mostrar um resumo dos rotuladores que foram ou não adicionados. Uma marca de seleção significa que o rotulador foi adicionado com sucesso, enquanto o X vermelho significa que não foi possível adicionar o rotulador (por exemplo, porque ele já existe no pool).

Grade de dados

• A primeira coluna contém uma caixa de seleção para cada linha. Se o gerente marcar uma ou mais dessas caixas de seleção e clicar no botão Gerenciar atribuição acima da tabela, ele será direcionado à página "Atividades", com os rotuladores selecionados já preenchidos no filtro "Rotuladores".
• A coluna "E-mail" mostra o endereço de e-mail do rotulador.
• A coluna "Tarefas atribuídas" mostra o número de tarefas atribuídas ao rotulador. Ele também dá acesso a uma caixa de diálogo em que o gerente pode remover a atribuição do rotulador de uma ou mais tarefas. O gerente não pode fazer atribuições nessa caixa de diálogo. Para atribuir uma tarefa, o gerente precisa usar a página "Atribuição".
• A coluna "Idiomas" mostra com quais idiomas o rotulador está associado. Esses valores podem afetar quais perguntas um rotulador pode alugar, dependendo da configuração da pergunta quando ela foi enfileirada.
• A coluna "Ações" contém um menu com algumas ações adicionais para realizar na tarefa:
  • Atribuição: fornece um atalho para a página "Atribuição", com o rotulador inicialmente selecionado nos filtros.
  • Excluir: remove o rotulador do pool atual.

Acima da tabela de dados, há um controle de paginação. Com ele, o gerente pode decidir mostrar mais resultados por página e navegar entre as páginas de resultados.

Tarefas

Na página "Atribuições", os gerentes podem gerenciar as atribuições de tarefas para os rotuladores no pool de rotuladores.

Filtros

O conteúdo da grade de atribuições é determinado por dois conjuntos de critérios de filtro: os filtros do rotulador, que determinam o que aparece no eixo Y, e os filtros de tarefa, que determinam o que aparece no eixo X.

Filtros de rotuladores

• Seletor de tarefas: usando esse campo, o gerente pode selecionar uma ou mais tarefas. O conjunto de rotuladores exibido na grade inclui todos os rotuladores atribuídos a qualquer uma dessas tarefas.
• Filtro de e-mails: usando esse campo, o gerente pode especificar um ou mais endereços de e-mail, separados por vírgulas. O conjunto de rotuladores exibido na grade inclui todos os rotuladores com qualquer um desses endereços de e-mail.

É possível usar um ou os dois filtros, mas pelo menos um deles é obrigatório.

Filtros de tarefas

• Seletor de tarefas: usando esse campo, o gerente pode selecionar uma ou mais tarefas. O conjunto de tarefas exibido na grade inclui todas as tarefas selecionadas.
• Outros filtros:
  • Todas as tarefas pausadas: se essa opção estiver marcada, as tarefas mostradas também vão incluir as que estão pausadas.
  • Todas as tarefas concluídas: se essa opção estiver marcada, as tarefas exibidas também vão incluir qualquer tarefa concluída (sem perguntas disponíveis para trabalhar).
  • Todas as tarefas não atribuídas: se essa opção estiver marcada, as tarefas exibidas também vão incluir aquelas que não estão atribuídas a nenhum rotulador.
  • Todas as tarefas em andamento: se essa opção estiver marcada, as tarefas exibidas também incluirão qualquer tarefa que esteja "em andamento" (não pausada, concluída ou não atribuída).

É possível usar qualquer combinação desses filtros, mas pelo menos um deles é obrigatório. Esses filtros são independentes entre si. As opções escolhidas no filtro "Rotuladores" não têm efeito nas opções escolhidas no filtro "Tarefas", e vice-versa.

Grade de atividades

A grade mostra os resultados dos critérios de filtro selecionados. Os rotuladores constituem o eixo Y, e as tarefas constituem o eixo X. Para cada célula, o gerente pode marcar a caixa de seleção para atribuir o rotulador correspondente à tarefa correspondente ou desmarcar a caixa de seleção para remover a atribuição do rotulador correspondente à tarefa correspondente.

Também há alguns atalhos disponíveis nos menus de cada cabeçalho de linha e célula de cabeçalho de coluna. Para abrir o menu, clique no botão com os três pontos verticais. Por exemplo, se o gerente abrir o menu em uma célula de cabeçalho do rotulador, ele poderá atribuir ou remover a atribuição desse rotulador de todas as tarefas de uma só vez. O administrador também pode ocultar a linha ou coluna com a opção "Remover" do menu ou ver as tarefas a que um rotulador está atribuído no momento/os rotuladores atribuídos à tarefa. Ao preencher as linhas e colunas, o gerente pode remover um rotulador ou uma tarefa específica da grade de atribuição usando o atalho disponível. Isso não vai afetar o status de atribuição da tarefa ou dos rotuladores removidos. As tarefas ou rotuladores removidos podem ser mostrados novamente na grade usando os filtros respectivos na parte de cima. Somente as tarefas e os rotuladores presentes na grade de atividades serão usados para modificar a atividade depois de confirmar as mudanças.

Depois que as mudanças forem feitas, o botão Confirmar mudanças na parte de cima da página será ativado. O botão Descartar mudanças também vai estar disponível. Clique nele para redefinir todas as mudanças não confirmadas.

Quando o botão Confirmar mudanças é clicado, o gerente recebe uma lista de todas as mudanças que serão feitas nas atribuições. Depois que o gerente analisa as mudanças, ele pode abortar ou confirmar as alterações. Se eles cancelarem as mudanças, vão voltar para a página "Atividades" e continuar editando. Se eles confirmarem as mudanças, as atividades serão confirmadas e a página "Atividades" será aberta novamente.

Até que o gerente clique em "Confirmar" na página da lista de mudanças, as alterações feitas na grade não serão salvas.

Bancada de trabalho do rotulador

O ambiente de trabalho do rotulador é a interface usada para rotular as perguntas. As perguntas que eles recebem dependem dos pools de trabalhadores de que fazem parte, que são atribuídos pelos gerentes.

Receber perguntas

Quando o ambiente de trabalho é carregado, ele tenta automaticamente receber perguntas para o rotulador rotular. Isso pode falhar por alguns motivos:

• O rotulador não está atribuído a nenhuma tarefa no pool de rotuladores atual (o ambiente de trabalho usa um pool de rotuladores por vez). Talvez haja perguntas disponíveis para o rotulador em outro pool de rotuladores.
• O rotulador está atribuído a uma ou mais tarefas, mas nenhuma delas tem perguntas disponíveis para esse rotulador específico. Isso pode acontecer por vários motivos:
  • Nenhuma pergunta está na fila
  • Todas as perguntas foram replicadas
  • Todas as perguntas com replicações restantes foram alugadas para outros rotuladores que estão trabalhando nelas no momento.
  • Todas as perguntas disponíveis têm idiomas associados que o rotulador não tem.
  • O rotulador já respondeu a todas as perguntas disponíveis. Essas perguntas ainda podem estar disponíveis para outros rotuladores até que a replicação seja concluída.
  • O rotulador não pode responder às perguntas disponíveis porque enviou respostas a instâncias anteriores delas. Essas perguntas ainda podem estar disponíveis para outros rotuladores.

Depois que o ambiente de trabalho é carregado, o rotulador pode ficar sem perguntas. Quando isso acontecer, um botão vai aparecer para que o rotulador tente receber perguntas novamente (sujeito às mesmas possíveis falhas acima).

Trabalhar com perguntas

Quando o rotulador tiver uma pergunta atribuída a ele, ela vai aparecer na bancada de trabalho. A aparência específica depende da pergunta enfileirada e da UI que a tarefa está configurada para usar.

O ambiente de trabalho vai iniciar um timer até que a atribuição da pergunta expire. Quando o timer terminar, a pergunta vai expirar e será removida da bancada para ser atribuída a outros avaliadores e manter a fila funcionando.

Quando o rotulador envia a resposta para a pergunta, a bancada de trabalho carrega automaticamente a próxima pergunta disponível. Caso contrário, o rotulador terá que pedir mais perguntas com o botão Receber mais perguntas, mostrado acima.

Status do envio

Há alguns lugares na bancada de trabalho em que um rotulador pode conferir o status dos envios de respostas: se o envio foi concluído, falhou ou ainda está em andamento.

Caixa de diálogo de notificações

Essa caixa de diálogo mostra o status das respostas enviadas pelo rotulador:

• O ícone e o número à esquerda (o relógio laranja) representam as respostas que ainda estão em processo de envio.
• O ícone do meio (o triângulo vermelho) representa as respostas que não foram enviadas. A falha no envio pode ser causada por um erro no servidor ou um problema na conexão de Internet do cliente.
• O ícone à direita representa as respostas enviadas com sucesso.

A contagem não é mantida no navegador. Se você fechar a bancada e abrir de novo(ou atualizar a página), os contadores serão redefinidos para 0.

Mais ferramentas

Há outras ferramentas disponíveis em um menu aberto pelo botão no final da barra de ferramentas principal.

As opções são:

• Pular: pula a pergunta atual, se a tarefa tiver a opção de pular ativada. Isso geralmente é usado se a pergunta mostrada na UI estiver quebrada, mas os gerentes individuais podem dar instruções ao rotulador sobre quando pular uma pergunta. Pular é contado como uma resposta e salvo com metadados extras indicando que a pergunta foi pulada e por quê.
• Encontrar respostas: vai para a página "Respostas", que permite que o rotulador veja as respostas para qualquer pergunta pesquisando o ID dela. O rotulador só pode ver as próprias respostas, enquanto um gerente no pool de rotuladores pode ver todas as respostas.

Fila de perguntas

Há também uma fila de perguntas para as quais o rotulador enviou respostas:

Nesse caso, a primeira resposta foi enviada com sucesso, mas a próxima não. A próxima resposta foi enviada com sucesso, e a quarta bolha representa a pergunta carregada no momento e o tempo restante. A bolha final mostra quantas perguntas podem ser alugadas para o rotulador. Isso ajuda o rotulador a saber quando está quase sem perguntas para rotular e a informar o gerente.

Um rotulador pode voltar a uma pergunta anterior clicando na bolha correspondente. Se a pergunta não tiver expirado, o rotulador poderá mudar a resposta e enviá-la novamente. Apenas a resposta mais recente será armazenada, substituindo qualquer resposta anterior. Algumas tarefas podem ser instruídas a não usar essa funcionalidade se o envio da resposta for final.

Barra de ferramentas de ferramentas extras

Há uma barra de ferramentas disponível com outras ferramentas para a bancada de trabalho. Ele fica oculto por padrão, mas pode ser expandido se necessário.

Há três botões disponíveis:

• Tela cheia: faz com que o plug-in seja aberto no modo de tela cheia. Isso vai mostrar apenas a bancada e ocultar a UI do navegador, além de todas as barras de ferramentas do sistema operacional. Para sair desse modo, pressione Esc ou clique no mesmo botão novamente.
• Recarregar: atualiza o plug-in visível no momento. Isso é melhor do que recarregar a página do navegador na maioria dos casos, já que recarregar a página pode limpar algum estado, como tempo gasto e respostas enviadas. Além disso, não há garantia de que o rotulador receba a mesma pergunta novamente se recarregar a página.
• Informações da pergunta: mostra algumas informações sobre a pergunta visível no momento, como IDs e nome do plug-in. Essas informações podem ser úteis ao denunciar problemas com uma pergunta específica, dependendo das instruções do gerenciador de tarefas.

Página do Google Analytics

A página do Google Analytics mostra as contribuições recentes do rotulador.

Na parte de cima, há um gráfico das taxas de contribuição. Abaixo, as mesmas informações são mostradas em formato tabular. O rotulador pode selecionar alguns períodos predefinidos para ver os dados. Para acessar a página "Analytics", clique no botão "Analytics" na barra de ferramentas.

Criar espaço para o plug-in

Há alguns controles disponíveis para ajustar a quantidade de espaço disponível para o plug-in.

O botão de cima (as setas diagonais) ativa ou desativa a visibilidade da barra do Google, que fica logo acima e contém o seletor de contas do Google. O botão de baixo (a seta para baixo) alterna a visibilidade da barra de ferramentas de ferramentas adicionais. Quando combinado com o modo de tela cheia, alternar as duas barras de ferramentas para ficarem ocultas dá ao plug-in quase toda a tela.

---

1. Um gerente de um pool de rotuladores é um usuário com permissão para adicionar ou remover rotuladores e mudar as tarefas atribuídas a eles. ↩

2. Uma tarefa é um conjunto de perguntas que podem ser atribuídas a um ou mais rotuladores de um pool de rotuladores. ↩

3. Um pool de rotuladores é um conjunto de rotuladores gerenciados por um ou mais gerentes. Os rotuladores de um pool podem ser atribuídos para trabalhar em tarefas ativadas para esse pool. ↩