IU del Administrador de etiquetado y Labeler Workbench

Precaución: La interacción humana de Document AI está obsoleta y dejará de estar disponible en Google Cloud después del 16 de enero de 2025. Los clientes nuevos no se incluyen en la lista de entidades permitidas. Si quieres usar (HITL), pero no ves la opción disponible, comunícate con el equipo de Cuentas de Google.

Para implementar una solución de corrección y revisión humana que cumpla con tus requisitos, te recomendamos trabajar con un Google Cloud socio certificado, como Devoteam, Searce o Quantiphi. Consulta Bajas para obtener más detalles.

IU del administrador

La IU del Administrador permite a los administradores¹ administrar el trabajo de los etiquetadores en Tasks². Los administradores pueden usar esta IU para agregar o quitar etiquetadores, asignar o anular tareas, y supervisar el progreso de las tareas y las estadísticas sobre el rendimiento de cada etiquetador.

A la izquierda, se muestra una lista de todos los Google Cloud grupos de etiquetadores habilitados para el proyecto³ de los que el usuario es administrador. El número que aparece a la derecha del nombre del grupo de etiquetadores es la cantidad de etiquetadores en ese grupo. A la derecha, se encuentra el contenido principal de la IU, que consta de cuatro pestañas:

• Tareas
• Etiquetadores
• Tareas

Tasks

La tabla de tareas es una vista de todas las tareas del Google Cloud proyecto del grupo de etiquetadores. Contiene algunas estadísticas básicas sobre la tarea, además de brindar la posibilidad de pausarla y rutas rápidas para asignar etiquetadores a las tareas.

Filtros

Sobre la cuadrícula de datos, hay un conjunto de controles de filtro para determinar qué tareas se muestran en ella.

• Buscar tareas por nombre: Filtra los resultados para mostrar solo aquellos con el nombre ingresado. Incluye la función de autocompletar.
• En curso: Si se marca esta opción, los resultados incluirán todas las tareas que no estén pausadas, completadas ni sin asignar. Esta opción está habilitada de forma predeterminada.
• Detener: Si se marca esta opción, los resultados incluirán todas las tareas detenidas.
• Completada: Si se marca esta opción, los resultados incluirán todas las tareas completadas, es decir, que no tienen preguntas disponibles (ya sea porque aún no se agregaron preguntas a la fila o porque se respondieron todas las preguntas de la fila).
• Sin asignar: Si se marca esta opción, los resultados incluirán todas las tareas que no tengan asignados etiquetadores.

Si no se selecciona ningún filtro, se mostrará un error y la página le indicará al administrador que realice algunas selecciones de filtros. Si no se marca ninguna de las casillas de verificación, se excluirán las tareas que coincidan con la condición de esa casilla a menos que la tarea coincida con una de las condiciones de la casilla marcada. Por ejemplo, si una tarea está pausada y no asignada, se mostrará si se selecciona la casilla de verificación Pausada o la casilla de verificación No asignada (o ambas). Este resultado no se mostrará si no se seleccionan las casillas de verificación Pausada ni Sin asignar.

La cuadrícula de datos

• La primera columna contiene una casilla de verificación para cada fila. Si el administrador selecciona una o más de estas casillas de verificación y, luego, hace clic en el botón Administrar tarea que se encuentra sobre la tabla, se lo dirigirá a la página Tareas, con las tareas seleccionadas ya propagadas en el filtro Tareas.
• La columna Tarea muestra el nombre de la tarea. La persona que crea la tarea establece este valor, que es un nombre legible por humanos (como "Clasificación de currículum"), en lugar de un identificador interno (como "cloud_data_67523fe89343").
• La columna Objetivo contiene el nombre del objetivo, que describe el tipo de tarea (clasificación de imágenes, clasificación de texto, etc.).
• La columna "Última en cola" contiene la fecha en la que se puso en cola la pregunta más reciente (está vacía si aún no se agregaron preguntas a la tarea).
• En la columna Asignado, se muestra la cantidad de etiquetadores que están asignados a la tarea. También proporciona acceso a un diálogo desde el que el administrador puede anular la asignación de etiquetadores. El administrador no puede asignar tareas desde este diálogo. Para ello, debe usar la página Tareas.
• La columna Preguntas disponibles/en cola muestra la proporción entre la cantidad de preguntas de la tarea que están disponibles para que los etiquetadores las trabajen y la cantidad total de preguntas que están en cola en la tarea.
• La columna Progreso muestra una representación gráfica y porcentual de la proporción anterior. También muestra si la tarea está pausada (no publica ninguna pregunta), como se ve en la fila inferior de la tabla en la captura de pantalla anterior.
• La columna Acciones contiene un menú con algunas acciones adicionales que se pueden realizar en la tarea:
  • Pausar: Solo está disponible si la tarea no está pausada. Detendrá la tarea.
  • Reanudar: Solo está disponible si la tarea está detenida. Esta acción la reanudará.
  • Tarea: Proporciona un acceso directo a la página Tarea, con la tarea seleccionada inicialmente en los filtros.

Sobre la tabla de datos, hay un control de paginación con el que el administrador puede decidir mostrar más resultados por página y navegar entre las páginas de resultados.

Etiquetadores

La tabla de etiquetadores es una vista de todos los etiquetadores del grupo de etiquetadores. Contiene algunas estadísticas básicas sobre el etiquetador, así como una forma de asignarlo rápidamente a Tasks.

Filtros

Sobre la cuadrícula de datos, hay un cuadro de filtro que filtra los resultados para mostrar solo aquellos que tengan los correos electrónicos ingresados. Puedes separar los distintos correos electrónicos con comas.

Cómo agregar un etiquetador

El botón Agregar abrirá un diálogo desde el que el administrador podrá agregar uno o más etiquetadores al grupo. Puedes ingresar varias direcciones de correo electrónico separadas por comas. También se pueden ingresar códigos de idioma (por ejemplo, "es", "de"), separados por comas. La misma persona (correo electrónico) puede aparecer en varios grupos de etiquetadores y tener tareas diferentes en cada uno.

En el diálogo, se mostrará un resumen de los etiquetadores que se agregaron o no. Una marca de verificación indica que el etiquetador se agregó correctamente, mientras que la X roja significa que no se pudo agregar (por ejemplo, porque ya existe en el grupo).

Cuadrícula de datos

• La primera columna contiene una casilla de verificación para cada fila. Si el administrador selecciona una o más de estas casillas de verificación y, luego, hace clic en el botón Administrar tareas que se encuentra sobre la tabla, se lo dirigirá a la página Tareas, con los etiquetadores seleccionados ya propagados en el filtro Etiquetadores.
• La columna Email muestra la dirección de correo electrónico del etiquetador.
• La columna Tasks assigned muestra la cantidad de tareas a las que se asignó el etiquetador. También proporciona acceso a un diálogo desde el que el administrador puede anular la asignación del etiquetador de una o más tareas. El administrador no puede asignar desde este diálogo. Para asignar una tarea, el administrador debe usar la página Tarea.
• En la columna Idiomas, se muestran los idiomas con los que está asociado el etiquetador. Estos valores pueden afectar a qué preguntas se puede arrendar un etiquetador, según la configuración de la pregunta cuando se puso en cola.
• La columna Acciones contiene un menú con algunas acciones adicionales que se pueden realizar en la tarea:
  • Tarea: Proporciona un acceso directo a la página Tarea, con el etiquetador seleccionado inicialmente en los filtros.
  • Borrar: Quita el etiquetador del grupo de etiquetadores actual.

Sobre la tabla de datos, hay un control de paginación con el que el administrador puede decidir mostrar más resultados por página y navegar entre las páginas de resultados.

Tareas

La página Tareas permite a los administradores administrar las tareas de los etiquetadores en el grupo de etiquetadores.

Filtros

El contenido de la cuadrícula de tareas se determina mediante dos conjuntos de criterios de filtro: los filtros de etiquetador, que determinan lo que aparece en el eje Y, y los filtros de tareas, que determinan lo que aparece en el eje X.

Filtros de etiquetado

• Selector de tareas: Con este campo, el administrador puede seleccionar una o más tareas. El conjunto de etiquetadores que se muestra en la cuadrícula incluirá a todos los etiquetadores asignados a cualquiera de esas tareas.
• Filtro de correos electrónicos: Con este campo, el administrador puede especificar una o más direcciones de correo electrónico, separadas por comas. El conjunto de etiquetadores que se muestra en la cuadrícula incluirá a todos los etiquetadores con cualquiera de esas direcciones de correo electrónico.

Se puede usar uno o ambos filtros, pero se debe usar al menos uno.

Filtros de tareas

• Selector de tareas: Con este campo, el administrador puede seleccionar una o más tareas. El conjunto de tareas que se muestra en la cuadrícula incluirá todas las tareas seleccionadas.
• Filtros adicionales:
  • Todas las tareas pausadas: Si marcas esta opción, las tareas que se muestren también incluirán las tareas que estén pausadas.
  • Todas las tareas completadas: Si esta opción está marcada, las tareas que se muestren también incluirán las tareas completadas (que no tengan preguntas disponibles para trabajar).
  • Todas las tareas sin asignar: Si esta opción está marcada, las tareas que se muestren también incluirán las que no estén asignadas a ningún etiquetador.
  • Todas las tareas en curso: Si esta opción está marcada, las tareas que se muestren también incluirán las tareas que estén "en curso" (no pausadas, completadas ni sin asignar).

Se puede usar cualquier combinación de estos filtros, pero se debe usar al menos uno. Estos filtros son independientes entre sí; las opciones que se eligen en el filtro Etiquetadores no tienen ningún efecto en las opciones que se eligen en el filtro Tareas, y viceversa.

Cuadrícula de tareas

La cuadrícula muestra los resultados de los criterios de filtro seleccionados. Los etiquetadores constituyen el eje Y, y las tareas constituyen el eje X. Para cada celda, el administrador puede marcar la casilla de verificación para asignar el etiquetador correspondiente a la tarea correspondiente o desmarcarla para anular la asignación del etiquetador correspondiente a la tarea correspondiente.

También hay algunas combinaciones de teclas disponibles en los menús de cada encabezado de fila y celda de encabezado de columna (para abrir el menú, haz clic en el botón con los tres puntos verticales). Por ejemplo, si el administrador abre el menú en una celda de encabezado de etiquetador, puede asignar o desasignar ese etiquetador de todas las tareas a la vez. El administrador también puede ocultar la fila o la columna con la opción del menú Quitar, o ver las tareas a las que se asignó un etiquetador o los etiquetadores que se asignaron a la tarea. Cuando se completan las filas y columnas, el administrador puede quitar un etiquetador o una tarea en particular de la cuadrícula de tareas con el atajo disponible. Esto no afectará el estado de la tarea de la tarea o los etiquetadores que se quitaron. Las tareas o etiquetadores quitados se pueden volver a mostrar en la cuadrícula con los respectivos filtros que se encuentran en la parte superior. Solo se usarán las tareas y los etiquetadores presentes en la cuadrícula de tareas para modificar la tarea después de confirmar los cambios.

Una vez que se realicen los cambios en las tareas, se habilitará el botón Confirmar cambios en la parte superior de la página. También estará disponible el botón Descartar cambios. Si haces clic en él, se restablecerán los cambios de la tarea que no se hayan confirmado.

Cuando se haga clic en el botón Confirmar cambios, se le mostrará al administrador una lista de todos los cambios que se realizarán en las tareas. Después de que el administrador revise los cambios, podrá abortarlos o confirmarlos. Si cancela los cambios, se lo redireccionará a la página Tareas para que continúe editándolas. Si confirma los cambios, se guardarán las tareas y se lo redireccionará a la página Tareas.

Los cambios que realice en la cuadrícula no se guardarán hasta que el administrador haga clic en Confirmar en la página de la lista de cambios.

Labeler Workbench

La mesa de trabajo del etiquetador es la interfaz que usa el etiquetador para etiquetar las preguntas. Las preguntas que reciben dependen de los grupos de trabajadores de los que forman parte, que son asignados por los administradores.

Cómo recibir preguntas

Cuando se cargue la mesa de trabajo, intentará obtener preguntas para que el etiquetador las etiquete automáticamente. Esto puede fallar por algunos motivos:

• El etiquetador no está asignado a ninguna tarea en el grupo de etiquetadores actual (la mesa de trabajo usa un grupo de etiquetadores a la vez). Es posible que haya preguntas disponibles para el etiquetador en otro grupo de etiquetadores.
• El etiquetador está asignado a una o más tareas, pero ninguna de ellas tiene preguntas disponibles para ese etiquetador en particular. Esto puede deberse a varios motivos:
  • No hay preguntas en cola
  • Todas las preguntas cumplieron con la replicación
  • Todas las preguntas con réplicas restantes se alquilaron a otros etiquetadores que están trabajando en ellas en ese momento.
  • Todas las preguntas disponibles tienen idiomas asociados que el etiquetador no tiene.
  • El etiquetador ya respondió todas las preguntas disponibles. Es posible que estas preguntas sigan disponibles para otros etiquetadores hasta que se complete la replicación.
  • Se bloqueó al etiquetador para que no responda las preguntas disponibles porque envió respuestas a instancias anteriores de estas preguntas. Es posible que estas preguntas aún estén disponibles para otros etiquetadores.

Después de cargar la mesa de trabajo, es posible que se agoten las preguntas del etiquetador. Cuando esto suceda, aparecerá un botón que le permitirá al etiquetador volver a intentar obtener preguntas (sujeto a los mismos posibles errores que se mencionaron anteriormente).

Cómo trabajar en preguntas

Cuando el etiquetador tenga una pregunta arrendada, esta aparecerá en la mesa de trabajo. El aspecto específico depende de la pregunta en cola y de la IU que la tarea está configurada para usar.

La mesa de trabajo iniciará un temporizador hasta que venza la tarea de la pregunta. Una vez que finalice el temporizador, la pregunta vencerá y se quitará de la mesa de trabajo para asignarla a otros calificadores y mantener la cola en funcionamiento.

Cuando el etiquetador envíe su respuesta a la pregunta, la mesa de trabajo cargará automáticamente la siguiente pregunta disponible. De lo contrario, el etiquetador deberá solicitar más preguntas con el botón Get More Questions, que se muestra arriba.

Estado de la muestra

Hay algunos lugares en la mesa de trabajo en los que un etiquetador puede ver el estado de sus envíos de respuestas: si se realizaron correctamente, si fallaron o si aún están en curso.

Diálogo de notificaciones

En este diálogo, se muestra el estado de las respuestas que envió el etiquetador:

• El ícono y el número de la izquierda (el reloj naranja) representan las respuestas que aún están en proceso de envío.
• El ícono del medio (el triángulo rojo) representa las respuestas que no se pudieron enviar. La falla de envío puede deberse a un error del servidor o a un problema con la conexión a Internet del cliente.
• El ícono de la derecha representa las respuestas que se enviaron correctamente.

Ten en cuenta que el recuento no persiste en el navegador. Si cierras la mesa de trabajo y la vuelves a abrir(o actualizas la página), se restablecerán los contadores a 0.

Más herramientas

Hay algunas herramientas adicionales disponibles en un menú que se abre desde el botón al final de la barra de herramientas principal.

Las opciones son las siguientes:

• Omitir: Omite la pregunta actual si la tarea tiene habilitada la omisión. Por lo general, se usa si la pregunta tal como se muestra en la IU está dañada, pero los administradores individuales pueden darle instrucciones al etiquetador sobre cuándo omitir una pregunta. Ten en cuenta que una omisión se cuenta como una respuesta y se guarda con metadatos adicionales que indican que se omitió y por qué.
• Buscar respuestas: Te dirige a la página Respuestas, que permite que el etiquetador vea sus respuestas a cualquier pregunta buscando el ID de la pregunta. El etiquetador solo puede ver sus propias respuestas, mientras que un administrador del grupo de etiquetadores puede ver todas las respuestas.

Cola de preguntas

También hay una fila de preguntas para las que el etiquetador envió respuestas:

En este caso, la primera respuesta se envió correctamente, pero no se pudo enviar la siguiente. La siguiente respuesta se envió correctamente y la cuarta burbuja representa la pregunta cargada actualmente y el tiempo restante. La burbuja final muestra un recuento de cuántas preguntas se podrían arrendar al etiquetador. Esto ayuda al etiquetador a saber cuándo se le acabarán las preguntas para etiquetar y puede informar a su administrador.

Para volver a una pregunta anterior, el etiquetador debe hacer clic en la burbuja correspondiente. Si la pregunta no venció, el etiquetador puede cambiar su respuesta y volver a enviarla. Solo se almacenará la respuesta más reciente, que reemplazará cualquier respuesta anterior. Ten en cuenta que es posible que se te indique que no uses esta función en algunas tareas si el envío de respuestas es definitivo.

Barra de herramientas de herramientas adicionales

Hay una barra de herramientas disponible que contiene herramientas adicionales para la mesa de trabajo. Está oculto de forma predeterminada, pero se puede expandir si es necesario.

Aquí hay tres botones disponibles:

• Fullscreen: Hace que el complemento se abra en modo de pantalla completa. De esta forma, solo se mostrará la mesa de trabajo y se ocultará la IU del navegador, así como las barras de herramientas del sistema operativo. Para salir de este modo, el etiquetador puede presionar Esc o volver a hacer clic en el mismo botón.
• Reload: Actualiza el complemento que se muestra actualmente. Esto es mejor que volver a cargar la página desde el navegador en la mayoría de los casos, ya que esta acción puede borrar algunos estados, como el tiempo dedicado y las respuestas enviadas, y no se garantiza que el etiquetador vuelva a recibir la misma pregunta si vuelve a cargar la página.
• Información de la pregunta: Muestra información sobre la pregunta visible actualmente, como los IDs de la pregunta y el nombre del complemento. Es posible que esta información sea útil cuando informes problemas con una pregunta específica, según las instrucciones del administrador de tareas.

Página de estadísticas

En la página Analytics, el etiquetador puede ver sus contribuciones recientes.

En la parte superior, hay un gráfico de las tasas de contribución. Debajo, se muestra la misma información en forma de tabla. El etiquetador puede seleccionar entre algunos períodos predefinidos para ver los datos. Para acceder a la página de estadísticas, haz clic en el botón de Analytics en la barra de herramientas.

Cómo crear espacio para el complemento

Hay algunos controles disponibles para ajustar la cantidad de espacio que tiene disponible el complemento.

El botón de la parte superior (las flechas diagonales) activa o desactiva la visibilidad de la barra de Google One, la barra que se encuentra justo encima y que contiene el selector de Cuentas de Google. El botón de la parte inferior (la flecha hacia abajo) activa o desactiva la visibilidad de la barra de herramientas de herramientas adicionales. Cuando se combina con el modo de pantalla completa, si se ocultan ambas barras de herramientas, el complemento ocupará casi toda la pantalla.

---

1. El administrador de un grupo de etiquetadores es un usuario con permiso para agregar o quitar etiquetadores y cambiar las tareas a las que se les asignan. ↩

2. Una tarea es una colección de preguntas que se pueden asignar a uno o más etiquetadores de un grupo de etiquetadores. ↩

3. Un grupo de etiquetadores es una colección de etiquetadores que administran uno o más administradores. Los etiquetadores de un grupo se pueden asignar para trabajar en las tareas habilitadas para ese grupo. ↩