Guía de inicio rápido: completar una tarea de revisión

Cada procesador crea una tarea de intervención humana (HITL) que se asigna a un grupo de etiquetadores humanos (llamado "grupo de etiquetadores") que revisan los documentos procesados por el procesador. Una vez procesados, estos documentos se ponen en cola en la tarea para que el grupo de etiquetadores asignado los revise con intervención humana.

Antes de empezar

Completa la guía de inicio rápido anterior sobre cómo configurar la revisión humana antes de continuar.

Añadir etiquetadores

  1. Después de configurar la revisión humana, deberías recibir un correo similar al siguiente:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Haz clic en el enlace del correo (o cópialo y pégalo en tu navegador) para ir a la página Administrador:

  2. La tarea creada por el procesador recién creado tiene el mismo nombre que el procesador (por ejemplo, "Facturas del departamento A") y se muestra en la pestaña Tareas.

  3. Haga clic en la pestaña Etiquetadores.

  4. Haz clic en Añadir etiquetador y añade al menos un etiquetador (correo electrónico). Un administrador puede ser etiquetador, por lo que puedes añadirte a ti mismo.

  5. En el caso de los grupos de etiquetadores recién creados, la tarea debe asignarse explícitamente a cada etiquetador en la pestaña Assignments (Asignaciones). Es decir, añadir el grupo de etiquetadores no asigna automáticamente la tarea a estos nuevos etiquetadores. Si el grupo de etiquetadores ya ha aprovisionado etiquetadores, se asignará automáticamente a la tarea.

Publicar un documento inicial para revisarlo

  1. Envía un documento para extraer información a través del procesador creado. Consulta las guías prácticas según sea necesario. Actualmente, tanto las llamadas online (sincronizadas) como las llamadas por lotes (asincrónicas) admiten el enrutamiento de la revisión humana para los procesadores compatibles.

    Para hacer pruebas, puedes usar una extracción de baja calidad conocida para activar la revisión humana porque la puntuación de confianza está por debajo del umbral o puedes definir el umbral en el 100%. Los límites de los documentos suelen ser de 5 páginas y 20 MB como máximo, pero consulta los límites específicos de cada procesador.

    Hay una API para monitorizar cada documento que se envía a la revisión humana. Como parte de la respuesta de los procesadores, hay una humanReviewOperationcadena que es el ID de operación (nombre del trabajo) del documento en Revisión humana. Se puede consultar el estado de esta operación de larga duración (también denominada "LRO").

    Puedes consultar el estado de un documento que se ha enviado a revisión humana con el método projects.locations.operations.get.

  2. Puedes forzar que un documento se revise por personas con el método reviewDocument (ten en cuenta que es específico del procesador):

    Para usar el método reviewDocument, debe marcar la casilla Revisión humana ACTIVADA. El uso de esta API no anulará los ajustes de configuración.

    Para usar este método, sigue la guía Solicitar revisión humana.

Revisa el documento

  1. Si el documento activa el proceso de revisión humana, pero no hay etiquetadores en el grupo, el gestor recibirá un correo.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Estos enlaces sirven para que el gestor de etiquetado asigne el trabajo de etiquetado.

  1. Si los etiquetadores no están registrados en el grupo de etiquetado y se han añadido recientemente, el gestor de etiquetado debe enviar un correo similar con instrucciones a los etiquetadores añadidos.

Pasos del etiquetador

Procedimiento de etiquetado

  1. Correo del etiquetador

    Si un etiquetador ya está registrado en un grupo de etiquetado en el paso 2e, el sistema lo asignará automáticamente y recibirá un correo como este:

    imagen

    El enlace de este correo es el mecanismo que permite al etiquetador seleccionado etiquetar el documento.

  2. Acciones de etiquetado:

    Cuando un etiquetador haga clic en el enlace para etiquetar, verá la interfaz de usuario de revisión humana de IA interactiva que se muestra a continuación. Las filas resaltadas en amarillo son las que no superan la validación (es decir, están por debajo del umbral de puntuación de confianza configurado) y deben revisarse.

    imagen

  3. Revisar Si colocas el cursor sobre un campo de texto reconocido, se mostrará el texto reconocido y (con una fuente más pequeña debajo) el nombre del campo (esquema). La fila también se resaltará en el panel de la izquierda.

    El usuario puede ampliar o reducir la imagen con los iconos de lupa situados en la parte superior izquierda de la barra de herramientas.

    imagen

  4. Cambiar campo

    Si haces clic (con el botón izquierdo) en el campo, puedes editarlo:

    Puedes cambiar el valor o la etiqueta en el panel de la izquierda. A continuación, haz clic en Aplicar.

    O BIEN, puedes cambiar el tamaño del cuadro delimitador que rodea el texto del documento haciendo clic en uno de los iconos de las esquinas para cambiar el tamaño de la imagen del documento:

    Como se muestra, si se selecciona otro texto, se cambiará el texto del campo Valor del panel de la izquierda. Después, puedes editar el texto si es necesario. A continuación, haz clic en Aplicar.

    Revisa todas las páginas con el control de página situado en la esquina superior derecha.

Cuando haya hecho todos los cambios necesarios en las etiquetas, haga clic en ENVIAR (en la parte inferior izquierda). El archivo JSON de resultados se guardará en la carpeta "Ubicación de los resultados".

Si el documento no se puede etiquetar correctamente, puede hacer clic en RECHAZAR (en la parte inferior izquierda) y, a continuación, seleccionar un motivo para rechazar el documento: - Seleccione un motivo y, a continuación, haga clic en Rechazar documento.

Los etiquetadores también pueden hacer clic en los siguientes iconos de la esquina superior derecha:

  • Analíticas: para mostrar cuántos documentos han revisado (Respuestas) y el tiempo total.
  • Notificaciones: para mostrar las notificaciones que han recibido.
  • Más (3 puntos): para saltar el documento, buscar respuestas o enviar comentarios (si está habilitado).
  • Alternar barra de título (flechas diagonales): oculta (o muestra) la barra de título de DataCompute para tener más espacio.

Gestor de etiquetado

Revisar un documento de Cloud Storage

Si quieres consultar el documento, tienes dos opciones:

  • Opción 1:

    1. Localizar Cloud Storage desde la ubicación configurada anteriormente
    2. Recuperar y descargar los documentos

  • Opción 2:

    1. Recuerda el URI para recuperar el documento de la respuesta de Prediction.
    2. URI de llamada para recuperar el documento revisado

Siguientes pasos