UI de Gestor de etiquetas y herramienta de etiquetador

Advertencia: La función de revisión humana de Document AI está obsoleta y dejará de estar disponible el Google Cloud 16 de enero del 2025. Los clientes nuevos no están en la lista de permitidos. Si quieres usar la verificación humana en el bucle (HITL), pero no ves la opción disponible, ponte en contacto con tu equipo de cuentas de Google.

Para implementar una solución de revisión y corrección humana que cumpla tus requisitos, te recomendamos que trabajes con un partner certificado como Devoteam, Searce o Quantiphi. Google Cloud Consulta Desactivaciones para obtener más información.

Interfaz de administrador

La interfaz de usuario de Gestor permite a los gestores¹ administrar el trabajo de los etiquetadores en las tareas². Los administradores pueden usar esta interfaz de usuario para añadir o quitar etiquetadores, asignar o desasignar tareas y monitorizar el progreso de las tareas y las analíticas sobre el rendimiento de cada etiquetador.

A la izquierda, se muestra una lista de todos los Google Cloud grupos de etiquetadores habilitados en el proyecto³ de los que el usuario es administrador. El número que aparece a la derecha del nombre del grupo de etiquetadores es el número de etiquetadores que hay en ese grupo. A la derecha se encuentra el contenido principal de la interfaz de usuario, que consta de cuatro pestañas:

• Tasks
• Etiquetadores
• Tareas

Tasks

La tabla de tareas es una vista de todas las tareas del proyecto del grupo de etiquetadores Google Cloud . Contiene algunas estadísticas básicas sobre la tarea, así como la opción de pausarla y rutas rápidas para asignar etiquetadores a las tareas.

Filtros

Encima de la cuadrícula de datos hay un conjunto de controles de filtro para determinar qué tareas se muestran en la cuadrícula de datos.

• Buscar tareas por nombre: filtra los resultados para mostrar solo las tareas que tienen el nombre introducido. Incluye la función de autocompletar.
• En curso: si se marca esta opción, los resultados incluirán todas las tareas que no estén en pausa, completadas o sin asignar. Esta opción está habilitada de forma predeterminada.
• En pausa: si se marca esta opción, los resultados incluirán todas las tareas en pausa.
• Completadas: si se marca esta opción, los resultados incluirán todas las tareas completadas, es decir, las que no tengan preguntas disponibles (ya sea porque aún no se ha puesto ninguna en cola o porque se han respondido todas las que estaban en cola).
• Sin asignar: si se marca esta opción, los resultados incluirán todas las tareas a las que no se les haya asignado ningún etiquetador.

Si no se selecciona ningún filtro, se producirá un error y la página indicará al administrador que seleccione algunos filtros. Si alguna de las casillas no está marcada, las tareas que cumplan la condición de esa casilla se excluirán a menos que cumplan la condición de una de las casillas marcadas. Por ejemplo, si una tarea está pausada y sin asignar, se mostrará si se selecciona la casilla Pausada o la casilla Sin asignar (o ambas). Este resultado no se mostrará si no se selecciona la casilla Pausado ni la casilla Sin asignar.

La cuadrícula de datos

• La primera columna contiene una casilla por cada fila. Si el gestor selecciona una o varias de estas casillas y, a continuación, hace clic en el botón Gestionar asignación situado encima de la tabla, se le dirigirá a la página Asignaciones, donde las tareas seleccionadas ya estarán en el filtro Tareas.
• En la columna Tarea se muestra el nombre de la tarea. La persona que crea la tarea asigna este nombre, que es legible (por ejemplo, "Clasificación de currículums"), a diferencia de un identificador interno (como "cloud_data_67523fe89343").
• La columna Objetivo contiene el nombre del objetivo, que describe el tipo de tarea (clasificación de imágenes, clasificación de texto, etc.).
• La columna "Última en cola" contiene la fecha en la que se puso en cola la pregunta más reciente (está vacía si aún no se ha puesto ninguna pregunta en cola para la tarea).
• En la columna Asignado se muestra el número de etiquetadores que tienen asignada la tarea. También proporciona acceso a un cuadro de diálogo desde el que el administrador puede desasignar etiquetadores. El administrador no puede asignar roles desde este cuadro de diálogo. Para hacerlo, debe usar la página Asignación.
• En la columna Preguntas disponibles/en cola se muestra la proporción entre el número de preguntas de la tarea que pueden responder los etiquetadores y el número total de preguntas que hay en cola en la tarea.
• En la columna "Progreso" se muestra un gráfico y un porcentaje de la proporción anterior. También muestra si la tarea está en pausa (no se muestra ninguna pregunta), como se ve en la fila inferior de la tabla de la captura de pantalla anterior.
• La columna Acciones contiene un menú con algunas acciones adicionales que se pueden llevar a cabo en la tarea:
  • Pausar: solo está disponible si la tarea no está pausada. Pausará la tarea.
  • Reanudar: solo está disponible si la tarea está pausada. Reanudará la tarea.
  • Tarea: proporciona un acceso directo a la página Tarea, con la tarea seleccionada inicialmente en los filtros.

Encima de la tabla de datos hay un control de paginación con el que el administrador puede decidir mostrar más resultados por página y desplazarse por las páginas de resultados.

Etiquetadores

La tabla de etiquetadores es una vista de todos los etiquetadores del grupo de etiquetadores. Contiene algunas estadísticas básicas sobre el etiquetador, así como una forma de asignarlo rápidamente a las tareas.

Filtros

Encima de la cuadrícula de datos hay un cuadro de filtro que muestra los resultados que coinciden con los correos introducidos. Si quieres incluir varios correos, sepáralos con comas.

Añadir etiquetador

El botón Añadir abrirá un cuadro de diálogo desde el que el administrador podrá añadir uno o varios etiquetadores al grupo. Puede introducir varias direcciones de correo electrónico separadas por comas. También se pueden introducir códigos de idioma (por ejemplo, "en" o "de") separados por comas. Una misma persona (correo electrónico) puede aparecer en varios grupos de etiquetadores y tener asignaciones diferentes en cada grupo.

En el cuadro de diálogo se mostrará un resumen de los etiquetadores que se han añadido o no. Una marca de verificación significa que se ha añadido correctamente, mientras que una X roja indica que no se ha podido añadir (por ejemplo, porque ya existe en el grupo).

Cuadrícula de datos

• La primera columna contiene una casilla por cada fila. Si el administrador selecciona una o varias de estas casillas y, a continuación, hace clic en el botón Gestionar asignación situado encima de la tabla, se le dirigirá a la página Asignaciones, donde los etiquetadores seleccionados ya estarán en el filtro Etiquetadores.
• En la columna Correo se muestra la dirección de correo del etiquetador.
• En la columna Tareas asignadas se muestra el número de tareas que se han asignado al etiquetador. También proporciona acceso a un cuadro de diálogo desde el que el administrador puede desasignar el rol de etiquetador de una o varias tareas. El administrador no puede asignar desde este cuadro de diálogo. Para asignar una tarea, el gestor debe usar la página de asignación.
• En la columna "Idiomas" se muestra con qué idiomas está asociado el etiquetador. Estos valores pueden afectar a las preguntas que se pueden asignar a un etiquetador, en función de la configuración de la pregunta cuando se puso en cola.
• La columna Acciones contiene un menú con algunas acciones adicionales que se pueden llevar a cabo en la tarea:
  • Asignación: proporciona un acceso directo a la página Asignación, con el etiquetador seleccionado inicialmente en los filtros.
  • Eliminar: quita el etiquetador del grupo de etiquetadores actual.

Encima de la tabla de datos hay un control de paginación con el que el administrador puede decidir mostrar más resultados por página y desplazarse por las páginas de resultados.

Tareas

La página de asignaciones permite a los administradores gestionar las asignaciones de tareas a los etiquetadores del grupo de etiquetadores.

Filtros

El contenido de la cuadrícula de tareas se determina mediante dos conjuntos de criterios de filtro: los filtros de etiquetador, que determinan qué se muestra en el eje Y, y los filtros de tarea, que determinan qué se muestra en el eje X.

Filtros de etiquetador

• Selector de tareas: el gestor puede seleccionar una o varias tareas en este campo. El conjunto de etiquetadores que se muestra en la cuadrícula incluirá a todos los etiquetadores asignados a cualquiera de esas tareas.
• Filtro de correos: en este campo, el administrador puede especificar una o varias direcciones de correo electrónico separadas por comas. El conjunto de etiquetadores que se muestra en la cuadrícula incluirá todos los etiquetadores que tengan alguna de esas direcciones de correo.

Puedes usar uno de estos filtros o ambos, pero debes usar al menos uno.

Filtros de tareas

• Selector de tareas: el gestor puede seleccionar una o varias tareas en este campo. El conjunto de tareas que se muestra en la cuadrícula incluirá todas las tareas seleccionadas.
• Filtros adicionales:
  • Todas las tareas pausadas: si esta opción está marcada, las tareas mostradas también incluirán las que estén pausadas.
  • Todas las tareas completadas: si esta opción está marcada, las tareas que se muestren también incluirán las que estén completadas (es decir, las que no tengan preguntas disponibles).
  • Todas las tareas sin asignar: si esta opción está marcada, las tareas mostradas también incluirán las que no estén asignadas a ningún etiquetador.
  • Todas las tareas en curso: si esta opción está marcada, las tareas mostradas también incluirán las que estén en curso (no pausadas, completadas ni sin asignar).

Se puede usar cualquier combinación de estos filtros, pero debe usarse al menos uno. Estos filtros son independientes entre sí: las opciones elegidas en el filtro Etiquetadores no afectan a las opciones elegidas en el filtro Tareas, y viceversa.

Cuadrícula de tareas

En la cuadrícula se muestran los resultados de los criterios de filtro seleccionados. Los etiquetadores constituyen el eje Y y las tareas, el eje X. En cada celda, el gestor puede marcar la casilla para asignar el etiquetador correspondiente a la tarea correspondiente o desmarcarla para quitarle la tarea.

También hay algunas combinaciones de teclas disponibles en los menús de cada encabezado de fila y de columna (para abrir el menú, haz clic en el botón con los tres puntos verticales). Por ejemplo, si el administrador abre el menú en una celda de encabezado de Etiquetador, puede asignar o quitar la asignación de ese Etiquetador a todas las tareas a la vez. El administrador también puede ocultar la fila o la columna con la opción de menú Quitar, o ver las tareas a las que se ha asignado un etiquetador o los etiquetadores que se han asignado a la tarea. Una vez que se hayan rellenado las filas y las columnas, el administrador puede quitar una etiqueta o una tarea concretas de la cuadrícula de asignación mediante la combinación de teclas disponible. Esto no afectará al estado de asignación de la tarea ni de los etiquetadores eliminados. Las tareas o los etiquetadores eliminados se pueden volver a mostrar en la cuadrícula mediante los filtros correspondientes de la parte superior. Solo se usarán las tareas y los etiquetadores que aparezcan en la cuadrícula de la tarea para modificarla después de confirmar los cambios.

Una vez que se hayan realizado los cambios en las asignaciones, se habilitará el botón Confirmar cambios situado en la parte superior de la página. También estará disponible el botón Descartar cambios. Si haces clic en él, se restablecerán los cambios de asignación que no se hayan confirmado.

Cuando se haga clic en el botón Confirmar cambios, se mostrará al administrador una lista con todos los cambios que se harán en las asignaciones. Una vez que el administrador haya revisado los cambios, podrá cancelarlos o confirmarlos. Si cancelan los cambios, volverán a la página Tareas para seguir editándolas. Si confirman los cambios, las tareas se confirmarán y volverán a la página Tareas.

Hasta que el administrador no haga clic en Confirmar en la página de lista de cambios, los cambios que haya hecho en la cuadrícula no se guardarán.

Herramienta de etiquetador

La herramienta de etiquetador es la interfaz que usa el etiquetador para etiquetar las preguntas. Las preguntas que reciben dependen de los grupos de trabajadores a los que pertenezcan, que son asignados por los administradores.

Recibir preguntas

Cuando se cargue el banco de trabajo, intentará obtener automáticamente las preguntas para que el etiquetador las etiquete. Esto puede fallar por varios motivos:

• El etiquetador no está asignado a ninguna tarea del grupo de etiquetadores actual (el banco de trabajo usa un grupo de etiquetadores a la vez). Puede que haya preguntas disponibles para el etiquetador en otro grupo de etiquetadores.
• El etiquetador se ha asignado a una o varias tareas, pero ninguna de ellas tiene preguntas disponibles para ese etiquetador en concreto. Esto puede deberse a varios motivos:
  • No hay preguntas en la cola
  • Se ha replicado todo el contenido de las preguntas
  • Todas las preguntas con réplicas pendientes se han asignado a otros etiquetadores que están trabajando en ellas en ese momento
  • Todas las preguntas disponibles tienen idiomas asociados que el etiquetador no tiene.
  • El etiquetador ya ha respondido a todas las preguntas disponibles. Estas preguntas pueden seguir estando disponibles para otros etiquetadores hasta que se complete la replicación.
  • El etiquetador no puede responder a las preguntas disponibles porque ya ha enviado respuestas a instancias anteriores de estas preguntas. Es posible que estas preguntas sigan estando disponibles para otros etiquetadores.

Una vez que se haya cargado el espacio de trabajo, es posible que el etiquetador se quede sin preguntas. Cuando esto ocurra, aparecerá un botón que permitirá al etiquetador volver a intentar obtener las preguntas (sujeto a los mismos posibles errores que se han descrito anteriormente).

Trabajar con preguntas

Cuando el etiquetador tenga una pregunta alquilada, aparecerá en el espacio de trabajo. El aspecto específico depende de la pregunta en cola y de la interfaz de usuario que se haya configurado para la tarea.

El espacio de trabajo iniciará un temporizador hasta que caduque la asignación de la pregunta. Cuando el temporizador haya terminado, la pregunta caducará y se eliminará del banco de trabajo para asignarse a otros evaluadores y mantener la cola.

Cuando el etiquetador haya enviado su respuesta a la pregunta, el espacio de trabajo cargará automáticamente la siguiente pregunta disponible. De lo contrario, el etiquetador tendrá que solicitar más preguntas con el botón Obtener más preguntas, que se muestra arriba.

Estado del envío

En el banco de trabajo, hay dos lugares en los que un etiquetador puede ver el estado de sus envíos de respuestas: si se han enviado correctamente, si han fallado o si aún están en curso.

Cuadro de diálogo de notificaciones

En este cuadro de diálogo se muestra el estado de las respuestas que ha enviado el etiquetador:

• El icono y el número de la izquierda (el reloj naranja) representan las respuestas que aún están en proceso de envío.
• El icono del centro (el triángulo rojo) representa las respuestas que no se han podido enviar. El error al enviar la solicitud puede deberse a un error del servidor o a un problema con la conexión a Internet del cliente.
• El icono de la derecha representa las respuestas que se han enviado correctamente.

Ten en cuenta que el recuento no se mantiene en el navegador. Si cierras el espacio de trabajo y lo vuelves a abrir(o actualizas la página), los contadores se restablecerán a 0.

Más herramientas

Hay algunas herramientas adicionales disponibles en un menú que se abre desde el botón situado al final de la barra de herramientas principal.

Las opciones disponibles son:

• Saltar: salta la pregunta actual si la tarea tiene habilitada la opción de saltar. Por lo general, se usa si la pregunta que se muestra en la interfaz de usuario no funciona correctamente, pero los distintos gestores pueden dar instrucciones a los etiquetadores sobre cuándo saltarse una pregunta. Ten en cuenta que saltar una pregunta se considera una respuesta, que se guarda con metadatos adicionales que indican que se ha saltado y por qué.
• Buscar respuestas: va a la página Respuestas, que permite al etiquetador ver sus respuestas a cualquier pregunta buscando el ID de la pregunta. El etiquetador solo puede ver sus propias respuestas, mientras que un gestor del grupo de etiquetadores puede ver todas las respuestas.

Cola de preguntas

También hay una cola de preguntas para las que el etiquetador ha enviado respuestas:

En este caso, la primera respuesta se envió correctamente, pero la siguiente no se pudo enviar. La siguiente respuesta se ha enviado correctamente y la cuarta burbuja representa la pregunta cargada y el tiempo restante. La última burbuja indica cuántas preguntas se pueden alquilar al etiquetador. De esta forma, el etiquetador sabe cuándo está a punto de quedarse sin preguntas que etiquetar y puede informar a su gestor.

Un etiquetador puede volver a una pregunta anterior haciendo clic en la burbuja correspondiente. Si la pregunta no ha caducado, el etiquetador puede cambiar su respuesta y enviarla de nuevo. Solo se almacenará la última respuesta, que sobrescribirá cualquier respuesta anterior. Ten en cuenta que, en algunas tareas, se te puede indicar que no uses esta función si la respuesta que envías es definitiva.

Barra de herramientas adicionales

Hay una barra de herramientas disponible que contiene herramientas adicionales para el banco de trabajo. Está oculta de forma predeterminada, pero se puede mostrar si es necesario.

Aquí tienes tres botones:

• Pantalla completa: abre el complemento en modo de pantalla completa. Solo se mostrará el espacio de trabajo y se ocultará la interfaz de usuario del navegador, así como las barras de herramientas del sistema operativo. El etiquetador puede salir de este modo pulsando Esc o haciendo clic de nuevo en el mismo botón.
• Volver a cargar: actualiza el complemento que se está viendo. En la mayoría de los casos, es mejor que recargar la página desde el navegador, ya que, al recargarla, se puede borrar información, como el tiempo empleado y las respuestas enviadas, y no se garantiza que el etiquetador vuelva a recibir la misma pregunta.
• Información de la pregunta: muestra información sobre la pregunta que se está viendo, como los IDs de la pregunta y el nombre del complemento. Tener en cuenta esta información puede ser útil a la hora de informar de problemas con una pregunta específica, en función de las instrucciones del administrador de tareas.

Página de estadísticas

En la página Analytics, el etiquetador puede ver sus últimas contribuciones.

En la parte superior, se muestra un gráfico de las tasas de contribución. Debajo se muestra la misma información en formato tabular. El etiquetador puede seleccionar entre varios intervalos de tiempo predefinidos para ver los datos. Para acceder a la página Estadísticas, haz clic en el botón Estadísticas de la barra de herramientas.

Dejar espacio para el complemento

Hay un par de controles disponibles para ajustar la cantidad de espacio que tiene disponible el complemento.

El botón superior (las flechas diagonales) activa o desactiva la visibilidad de la barra de Google, que se encuentra justo encima y contiene el selector de cuentas de Google. El botón inferior (la flecha hacia abajo) activa o desactiva la visibilidad de la barra de herramientas adicional. Si se combina con el modo Pantalla completa, al ocultar ambas barras de herramientas, el complemento ocupará casi toda la pantalla.

---

1. Un gestor de un grupo de etiquetadores es un usuario que tiene permiso para añadir o quitar etiquetadores y para cambiar las tareas que se les asignan. ↩

2. Una tarea es un conjunto de preguntas que se pueden asignar a uno o varios etiquetadores de un grupo de etiquetadores. ↩

3. Un grupo de etiquetadores es un conjunto de etiquetadores gestionados por uno o varios administradores. Los etiquetadores de un grupo se pueden asignar para que trabajen en las tareas habilitadas para ese grupo. ↩