IU del Administrador de etiquetado y Labeler Workbench

Precaución: Document AI con interacción humana está obsoleto y dejará de estar disponible en Google Cloud después del 16 de enero de 2025. Los clientes nuevos no se incluyen en la lista de entidades permitidas. Si quieres usar (HITL), pero no ves la opción disponible, comunícate con el equipo de Cuentas de Google.

Para implementar una solución de corrección y revisión humana que cumpla con tus requisitos, te recomendamos trabajar con un Google Cloud socio certificado, como Devoteam, Searce o Quantiphi. Consulta Bajas para obtener más detalles.

IU del administrador

La IU del administrador permite a los administradores¹ administrar el trabajo de los etiquetadores en las tareas². Los administradores pueden usar esta IU para agregar o quitar etiquetadores, asignar o anular la asignación de tareas, y supervisar el progreso de las tareas y las estadísticas sobre el rendimiento de cada etiquetador.

A la izquierda, se muestra una lista de todos los Google Cloud grupos de etiquetadores habilitados para el proyecto³ de los que el usuario es administrador. El número que se encuentra a la derecha del nombre del grupo de etiquetadores indica la cantidad de etiquetadores que hay en ese grupo. A la derecha, se encuentra el contenido principal de la IU, que consta de cuatro pestañas:

• Tareas
• Etiquetadores
• Tareas

Tasks

La tabla de tareas es una vista de todas las tareas del proyecto Google Cloud del grupo de etiquetadores. Contiene algunas estadísticas básicas sobre la tarea, además de permitir pausarla y proporcionar rutas rápidas para asignar etiquetadores a las tareas.

Filtros

Sobre la cuadrícula de datos, hay un conjunto de controles de filtro para determinar qué tareas se muestran en la cuadrícula de datos.

• Buscar tareas por nombre: Filtra los resultados para mostrar solo aquellos que coinciden con el nombre ingresado. Incluye la función de autocompletar.
• En curso: Si se marca esta opción, los resultados incluirán todas las tareas que no estén pausadas, completadas o sin asignar. Esta opción está habilitada de forma predeterminada.
• En pausa: Si se marca esta opción, los resultados incluirán todas las tareas en pausa.
• Completadas: Si se marca esta opción, los resultados incluirán todas las tareas completadas, es decir, las que no tienen preguntas disponibles (ya sea porque aún no se pusieron en cola preguntas o porque se respondieron todas las preguntas en cola).
• Sin asignar: Si se marca esta opción, los resultados incluirán todas las tareas a las que no se les asignaron etiquetadores.

Si no se selecciona ningún filtro, se producirá un error y la página le indicará al administrador que seleccione algunos filtros. Si alguna de las casillas de verificación no está marcada, se excluirán las tareas que coincidan con la condición de esa casilla a menos que la tarea coincida con una de las condiciones de la casilla marcada. Por ejemplo, si una tarea está en pausa y no está asignada, se mostrará si se selecciona la casilla de verificación En pausa o la casilla de verificación Sin asignar (o ambas). Este resultado no se mostrará si no se selecciona la casilla de verificación Pausado ni la casilla de verificación Sin asignar.

La cuadrícula de datos

• La primera columna contiene una casilla de verificación para cada fila. Si el administrador selecciona una o más de estas casillas de verificación y, luego, hace clic en el botón Administrar asignación que se encuentra sobre la tabla, se lo dirigirá a la página Assignments, con las tareas seleccionadas ya completadas en el filtro Tasks.
• En la columna Task, se muestra el nombre de la tarea. La establece la persona que crea la tarea y es un nombre legible por humanos (como "Clasificación de currículums") en lugar de un identificador interno (como "cloud_data_67523fe89343").
• La columna Objetivo contiene el nombre del objetivo, que describe el tipo de tarea (clasificación de imágenes, clasificación de texto, etcétera).
• La columna "Última en cola" contiene la fecha en la que se puso en cola la pregunta más reciente (está vacía si aún no se pusieron en cola preguntas para la tarea).
• En la columna Asignado, se muestra la cantidad de etiquetadores que están asignados actualmente a la tarea. También proporciona acceso a un diálogo desde el que el administrador puede anular la asignación de etiquetadores. El administrador no puede asignar desde este diálogo. Para hacerlo, debe usar la página de Assignment.
• En la columna Questions Available/Enqueued, se muestra la proporción entre la cantidad de preguntas de la tarea que están disponibles para que los etiquetadores trabajen en ellas y la cantidad total de preguntas que se encuentran en la cola de la tarea.
• En la columna Progreso, se muestra una representación gráfica y basada en porcentajes de la proporción anterior. También muestra si la tarea está en pausa (no publica ninguna pregunta), como se ve en la fila inferior de la tabla en la captura de pantalla anterior.
• La columna Acciones contiene un menú con algunas acciones adicionales que se pueden realizar en la tarea:
  • Pausar: Solo está disponible si la tarea no está pausada. Esta opción pausará la tarea.
  • Reanudar: Solo está disponible si la tarea está en pausa. Se reanudará la tarea.
  • Tarea: Proporciona un acceso directo a la página Tarea, con la tarea seleccionada inicialmente en los filtros.

Sobre la tabla de datos, hay un control de paginación con el que el administrador puede decidir mostrar más resultados por página y navegar entre las páginas de resultados.

Etiquetadores

La tabla de etiquetadores es una vista de todos los etiquetadores del grupo de etiquetadores. Contiene algunas estadísticas básicas sobre el etiquetador, así como una forma de asignarlo rápidamente a las tareas.

Filtros

Sobre la cuadrícula de datos, hay un cuadro de filtro que filtra los resultados para mostrar solo aquellos que coinciden con las direcciones de correo electrónico ingresadas. Puedes separar varias direcciones de correo electrónico con comas.

Agregar etiquetador

El botón Agregar abrirá un diálogo desde el que el administrador podrá agregar uno o más etiquetadores al grupo. Se pueden ingresar varias direcciones de correo electrónico separadas por comas. También se pueden ingresar códigos de idioma (por ejemplo, "en", "de") separados por comas. La misma persona (correo electrónico) puede aparecer en varios grupos de etiquetadores y tener diferentes asignaciones en cada grupo.

En el diálogo, se mostrará un resumen de los etiquetadores que se agregaron o no. Una marca de verificación significa que se agregó correctamente el etiquetador, mientras que la X roja significa que no se pudo agregar (por ejemplo, porque ya existe en el grupo).

Cuadrícula de datos

• La primera columna contiene una casilla de verificación para cada fila. Si el administrador selecciona una o más de estas casillas de verificación y, luego, hace clic en el botón Administrar asignación que se encuentra sobre la tabla, se lo dirigirá a la página Assignments, con los etiquetadores seleccionados ya completados en el filtro Labelers.
• En la columna Email, se muestra la dirección de correo electrónico del etiquetador.
• En la columna Tasks assigned, se muestra la cantidad de tareas a las que se asignó el etiquetador. También proporciona acceso a un diálogo desde el que el administrador puede anular la asignación del etiquetador a una o más tareas. El administrador no puede asignar desde este diálogo. Para asignar una tarea, el administrador debe usar la página de asignación.
• En la columna Languages, se muestran los idiomas con los que se asocia el etiquetador. Estos valores pueden afectar las preguntas que se pueden arrendar a un etiquetador, según la configuración de la pregunta cuando se puso en cola.
• La columna Acciones contiene un menú con algunas acciones adicionales que se pueden realizar en la tarea:
  • Asignación: Proporciona un acceso directo a la página Asignación, con el etiquetador seleccionado inicialmente en los filtros.
  • Borrar: Quita el etiquetador del grupo de etiquetadores actual.

Sobre la tabla de datos, hay un control de paginación con el que el administrador puede decidir mostrar más resultados por página y navegar entre las páginas de resultados.

Tareas

La página de asignaciones permite a los administradores administrar las asignaciones de tareas para los etiquetadores del grupo de etiquetadores.

Filtros

El contenido de la cuadrícula de tareas se determina según dos conjuntos de criterios de filtro: los filtros de etiquetador, que determinan lo que aparece en el eje Y, y los filtros de tarea, que determinan lo que aparece en el eje X.

Filtros de etiquetadores

• Selector de tareas: Con este campo, el administrador puede seleccionar una o más tareas. El conjunto de etiquetadores que se muestra en la cuadrícula incluirá a todos los etiquetadores que estén asignados a cualquiera de esas tareas.
• Filtro de correos electrónicos: Con este campo, el administrador puede especificar una o más direcciones de correo electrónico, separadas por comas. El conjunto de etiquetadores que se muestra en la cuadrícula incluirá a todos los etiquetadores con cualquiera de esas direcciones de correo electrónico.

Se puede usar uno o ambos filtros, pero se debe usar al menos uno.

Filtros de tareas

• Selector de tareas: Con este campo, el administrador puede seleccionar una o más tareas. El conjunto de tareas que se muestra en la cuadrícula incluirá todas las tareas seleccionadas.
• Filtros adicionales:
  • Todas las tareas pausadas: Si esta opción está marcada, las tareas que se muestran también incluirán las tareas pausadas.
  • Todas las tareas completadas: Si esta opción está marcada, las tareas que se muestran también incluirán cualquier tarea que se haya completado (no tiene preguntas disponibles para trabajar).
  • Todas las tareas sin asignar: Si esta opción está marcada, las tareas que se muestran también incluirán las que no estén asignadas a ningún etiquetador.
  • Todas las tareas en curso: Si esta opción está marcada, las tareas que se muestren también incluirán las que estén "en curso" (no pausadas, completadas ni sin asignar).

Se puede usar cualquier combinación de estos filtros, pero se debe usar al menos uno. Estos filtros son independientes entre sí; las opciones elegidas en el filtro de etiquetadores no tienen ningún efecto en las opciones elegidas en el filtro de tareas, y viceversa.

Cuadrícula de tareas

La cuadrícula muestra los resultados de los criterios de filtro seleccionados. Los etiquetadores constituyen el eje Y, y las tareas constituyen el eje X. Para cada celda, el administrador puede marcar la casilla de verificación para asignar el etiquetador correspondiente a la tarea correspondiente o desmarcar la casilla de verificación para quitar la asignación del etiquetador correspondiente de la tarea correspondiente.

También hay algunos atajos disponibles en los menús de cada celda de encabezado de fila y de columna (para abrir el menú, haz clic en el botón con los tres puntos verticales). Por ejemplo, si el administrador abre el menú en una celda de encabezado de etiquetador, puede asignar o quitar la asignación de ese etiquetador de todas las tareas a la vez. El administrador también puede ocultar la fila o la columna con la opción de menú Quitar, o bien ver las tareas a las que se asignó un etiquetador o los etiquetadores que se asignaron a la tarea. Una vez que se completan las filas y las columnas, el administrador puede optar por quitar un etiquetador o una tarea específicos de la cuadrícula de asignación con el acceso directo disponible. Esto no afectará el estado de asignación de la tarea ni de los etiquetadores que se quitaron. Las tareas o los etiquetadores quitados se pueden volver a mostrar en la cuadrícula con los filtros correspondientes en la parte superior. Solo se usarán las tareas y los etiquetadores presentes en la cuadrícula de asignación para modificar la asignación después de confirmar los cambios.

Después de que se realicen los cambios en las asignaciones, se habilitará el botón Confirmar cambios en la parte superior de la página. También estará disponible el botón Descartar cambios, que restablecerá los cambios de asignación no confirmados.

Cuando se hace clic en el botón Confirmar cambios, se le mostrará al administrador una lista de todos los cambios que se realizarán en las asignaciones. Después de que el administrador revisa los cambios, puede anularlos o confirmarlos. Si abortan los cambios, volverán a la página Assignments para seguir editando las tareas. Si confirma los cambios, se confirmarán las tareas y se lo redireccionará a la página Tareas.

Hasta que el administrador no haga clic en Confirmar en la página de la lista de cambios, no se guardarán los cambios que haya realizado en la cuadrícula.

Labeler Workbench

El banco de trabajo del etiquetador es la interfaz que usa el etiquetador para etiquetar las preguntas. Las preguntas que reciben dependen de los grupos de trabajadores de los que forman parte, que son asignados por los administradores.

Cómo recibir preguntas

Cuando se cargue el banco de trabajo, se intentará automáticamente obtener preguntas para que el etiquetador las etiquete. Esto puede fallar por varios motivos:

• El etiquetador no está asignado a ninguna tarea en el grupo de etiquetadores actual (el banco de trabajo usa un grupo de etiquetadores a la vez). Es posible que haya preguntas disponibles para el etiquetador en otro grupo de etiquetadores.
• El etiquetador se asigna a una o más tareas, pero ninguna de las tareas tiene preguntas disponibles para ese etiquetador en particular. Esto puede deberse a varios motivos:
  • No hay preguntas en la cola
  • Todas las preguntas cumplieron con la replicación
  • Todas las preguntas con replicaciones restantes se asignaron a otros etiquetadores que estaban trabajando en ellas en ese momento.
  • Todas las preguntas disponibles tienen idiomas asociados que el etiquetador no tiene.
  • El etiquetador ya respondió todas las preguntas disponibles. Es posible que estas preguntas sigan disponibles para otros etiquetadores hasta que se cumpla la replicación.
  • El etiquetador no puede responder las preguntas disponibles porque envió respuestas a instancias anteriores de estas preguntas. Es posible que estas preguntas sigan estando disponibles para otros etiquetadores.

Después de que se cargue el banco de trabajo, es posible que el etiquetador se quede sin preguntas. Cuando esto suceda, aparecerá un botón que permitirá que el etiquetador intente obtener preguntas nuevamente (sujeto a los mismos posibles errores que se mencionaron anteriormente).

Trabaja en las preguntas

Cuando el etiquetador tenga una pregunta arrendada, esta aparecerá en el banco de trabajo. La apariencia específica depende de la pregunta en cola y de la IU que se configuró para usar la tarea.

El banco de trabajo iniciará un temporizador hasta que venza la asignación de la pregunta. Una vez que finalice el temporizador, la pregunta vencerá y se quitará del banco de trabajo para asignarse a otros evaluadores y mantener la cola activa.

Cuando el etiquetador envía su respuesta a la pregunta, el banco de trabajo cargará automáticamente la siguiente pregunta disponible. De lo contrario, el etiquetador deberá solicitar más preguntas con el botón Get More Questions que se muestra arriba.

Estado de la muestra

En el banco de trabajo, hay algunos lugares en los que un etiquetador puede ver el estado de sus envíos de respuestas: si el envío se realizó correctamente, si falló o si aún está en curso.

Diálogo de notificaciones

En este diálogo, se muestra el estado de las respuestas que envió el etiquetador:

• El ícono y el número de la izquierda (el reloj naranja) representan las respuestas que aún están en proceso de envío.
• El ícono del medio (el triángulo rojo) representa las respuestas que no se pudieron enviar. La falla en el envío puede deberse a un error del servidor de algún tipo o a un problema con la conexión a Internet del cliente.
• El ícono de la derecha representa las respuestas que se enviaron correctamente.

Ten en cuenta que el recuento no persiste en el navegador. Si cierras el banco de trabajo y lo vuelves a abrir(o actualizas la página), se restablecerán los contadores a 0.

Más herramientas

Hay algunas herramientas adicionales disponibles en un menú que se abre desde el botón al final de la barra de herramientas principal.

Las opciones son las siguientes:

• Omitir: Omite la pregunta actual si la tarea tiene habilitada la opción para omitir. Por lo general, se usa si la pregunta que se muestra en la IU no funciona, pero los administradores individuales pueden dar instrucciones al etiquetador sobre cuándo omitir una pregunta. Ten en cuenta que se cuenta una omisión como una respuesta, que se guarda con metadatos adicionales que indican que se omitió y por qué.
• Find Answers: Dirige a la página Answers, que permite al etiquetador ver sus respuestas a cualquier pregunta buscando el ID de la pregunta. El etiquetador solo puede ver sus propias respuestas, mientras que un administrador del grupo de etiquetadores puede ver todas las respuestas.

Cola de preguntas

También hay una fila de preguntas para las que el etiquetador envió respuestas:

En este caso, la primera respuesta se envió correctamente, pero la siguiente no se pudo enviar. La siguiente respuesta se envió correctamente, y la cuarta burbuja representa la pregunta cargada actualmente y el tiempo restante. La burbuja final indica la cantidad de preguntas que se podrían arrendar al etiquetador. Esto ayuda al etiquetador a saber cuándo está por quedarse sin preguntas para etiquetar y puede informar a su administrador.

Un etiquetador puede volver a una pregunta anterior haciendo clic en la burbuja correspondiente. Si la pregunta no venció, el etiquetador puede cambiar su respuesta y volver a enviarla. Solo se almacenará la respuesta más reciente, que reemplazará cualquier respuesta anterior. Ten en cuenta que es posible que se indique que no se use esta función en algunas tareas si el envío de la respuesta es definitivo.

Barra de herramientas de herramientas adicionales

Hay una barra de herramientas disponible que contiene herramientas adicionales para el banco de trabajo. Está oculto de forma predeterminada, pero se puede expandir si es necesario.

Aquí hay tres botones disponibles:

• Pantalla completa: Hace que el complemento se abra en modo de pantalla completa. Solo se mostrará el banco de trabajo y se ocultará la IU del navegador, así como las barras de herramientas del sistema operativo. El etiquetador puede salir de este modo presionando Esc o haciendo clic en el mismo botón nuevamente.
• Volver a cargar: Actualiza el complemento visible actualmente. En la mayoría de los casos, esto es mejor que volver a cargar la página desde el navegador, ya que volver a cargarla puede borrar parte del estado, como el tiempo dedicado y las respuestas enviadas, y no se garantiza que el etiquetador vuelva a recibir la misma pregunta si vuelve a cargar la página.
• Información de la pregunta: Muestra información sobre la pregunta que se ve actualmente, como los IDs de las preguntas y el nombre del complemento. Tener en cuenta esta información puede ser útil cuando informes problemas con una pregunta específica, según las instrucciones del administrador de tareas.

Página de Analytics

En la página Analytics, se muestra al etiquetador una vista de sus contribuciones recientes.

En la parte superior, se muestra un gráfico de las tasas de contribución. Debajo, se muestra la misma información en formato de tabla. El etiquetador puede seleccionar entre algunos períodos predefinidos para ver los datos. Para acceder a la página de Analytics, haz clic en el botón Analytics de la barra de herramientas.

Cómo dejar espacio para el complemento

Hay algunos controles disponibles para ajustar la cantidad de espacio que tiene disponible el complemento.

El botón superior (las flechas diagonales) activa o desactiva la visibilidad de la barra de One Google, la barra que se encuentra justo arriba y que contiene el selector de cuentas de Google. El botón inferior (la flecha hacia abajo) activa o desactiva la visibilidad de la barra de herramientas adicional. Cuando se combina con el modo de pantalla completa, ocultar ambas barras de herramientas le dará al complemento casi toda la pantalla.

---

1. El administrador de un grupo de etiquetadores es un usuario con permiso para agregar o quitar etiquetadores, y para cambiar las tareas que se les asignan. ↩

2. Una tarea es una colección de preguntas que se pueden asignar a uno o más etiquetadores de un grupo de etiquetadores. ↩

3. Un grupo de etiquetadores es un conjunto de etiquetadores administrados por uno o más administradores. Se pueden asignar etiquetadores de un grupo para que trabajen en las tareas habilitadas para ese grupo. ↩