Guía de inicio rápido: Completa una tarea de revisión

Cada procesador crea una "tarea de HITL" que se asigna a un grupo de etiquetadores manuales (llamado "grupo de etiquetadores") que revisan los documentos que procesa el procesador. Una vez procesados, estos documentos se ponen en cola en la tarea para que el grupo de etiquetadores asignado los revise.

Antes de comenzar

Completa la guía de inicio rápido anterior: Configura la revisión manual antes de continuar.

Agrega etiquetadores

  1. Después de configurar la revisión manual, debería recibir un correo electrónico similar al siguiente:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Haz clic en el vínculo del correo electrónico (o córtalo y pégalo en tu navegador) para navegar a la página del administrador:

  2. La tarea creada por el procesador recién creado tiene el mismo nombre que el procesador (por ejemplo, "Facturas del departamento A") y aparece en la pestaña Tasks.

  3. Haz clic en la pestaña Etiquetadores.

  4. Haz clic en Agregar etiquetador y agrega al menos un etiquetador (correo electrónico). Un administrador puede ser un etiquetador, por lo que puedes agregarte.

  5. En el caso de un grupo de etiquetadores creado recientemente, la tarea se debe asignar al etiquetador individual de forma explícita en la pestaña Tareas. Es decir, agregar el grupo de etiquetadores no asigna automáticamente la tarea a estos nuevos etiquetadores. Si el grupo de etiquetadores ya aprovisionó etiquetadores, el grupo se asignará automáticamente a la tarea.

Publica un documento inicial para su revisión

  1. Envía un documento para extraerlo a través del procesador creado. Consulta las Guías prácticas según sea necesario. Actualmente, las llamadas en línea (síncronas) y por lotes (asíncronas) admiten el enrutamiento de revisión manual para los procesadores compatibles.

    Para fines de prueba, puedes usar una extracción conocida como de baja calidad para activar la revisión manual, ya que la puntuación de confianza está por debajo del umbral, o bien puedes establecer el umbral en 100%. Los límites de documentos suelen ser de 5 páginas y 20 MB como máximo, pero consulta los límites específicos del procesador.

    Hay una API para hacer un seguimiento de cada documento que se envía a la revisión manual. Como parte de la respuesta de los procesadores, hay una cadena humanReviewOperation que es el ID de operación (nombre del trabajo) del documento dentro de la revisión humana. Se puede consultar el estado de esta operación de larga duración (también conocida como LRO).

    Puedes consultar el estado de un documento que se envió a la revisión manual con el método projects.locations.operations.get.

  2. Puedes forzar que un documento se revise de forma manual con el método reviewDocument (ten en cuenta que es específico del procesador):

    Para usar el método reviewDocument, debes seleccionar la casilla de verificación Human Review ENABLED. El uso de esta API no anulará la configuración.

    Para usar este método, puedes seguir la guía Cómo solicitar una revisión manual.

Revisa el documento

  1. Si el documento activa el proceso de revisión manual, pero no hay etiquetadores en el grupo, el administrador recibirá un correo electrónico.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Estos vínculos son para que el administrador de etiquetado asigne el trabajo de etiquetado.

  1. Si los etiquetadores no están inscritos en el grupo de etiquetado y se agregaron recientemente, el administrador de etiquetado debe enviar un correo electrónico similar con instrucciones a los etiquetadores agregados.

Pasos del etiquetador

Procedimiento del etiquetador

  1. Correo electrónico del etiquetador

    Si un etiquetador ya está inscrito en un grupo de etiquetado en el paso 2e, el sistema lo asignará automáticamente y recibirá un correo electrónico como este:

    imagen

    El vínculo que se incluye en este correo electrónico es el mecanismo que el etiquetador seleccionado debe usar para etiquetar el documento.

  2. Acciones de etiquetado:

    Cuando un etiquetador haga clic en el vínculo para realizar el etiquetado, verá la interfaz de usuario de revisión humana interactiva de IA que se muestra a continuación. Las filas destacadas (en amarillo) indican las filas que no cumplen con la validación (es decir, están por debajo del umbral de puntuación de confianza configurado) y deben revisarse.

    imagen

  3. Revisión Cuando colocas el cursor sobre un campo de texto reconocido, se muestra el texto reconocido y (en una fuente más pequeña debajo de él) el nombre del campo (esquema). La fila también se destaca en el panel izquierdo.

    El usuario puede acercar o alejar la imagen con los íconos de lupa que se encuentran en la parte superior izquierda de la barra de herramientas.

    imagen

  4. Cambiar campo

    Haz clic (con el botón izquierdo) en el campo para editarlo:

    Puedes cambiar el valor o la etiqueta en el panel izquierdo. Luego, haz clic en Aplicar.

    O bien, haz clic en uno de los íconos de esquina para cambiar el tamaño de la imagen del documento y, luego, cambia el tamaño del cuadro de límite alrededor del texto del documento:

    Como se muestra, si se selecciona un texto diferente, se cambiará el texto en el valor del campo en el panel izquierdo. Luego, si es necesario, puedes editar este texto. Luego, haz clic en Aplicar.

    Asegúrate de revisar todas las páginas con el control de páginas que se encuentra en la esquina superior derecha.

Después de realizar todos los cambios necesarios en las etiquetas, haz clic en ENVIAR (en la parte inferior izquierda). El JSON del resultado se guardará en la carpeta "Ubicación de los resultados".

Si no se puede etiquetar el documento de forma satisfactoria, puedes hacer clic en REJECT (en la parte inferior izquierda) y, luego, seleccionar un motivo para rechazarlo: - Selecciona un motivo y, luego, haz clic en Reject document.

Los etiquetadores también pueden hacer clic en los siguientes íconos de la esquina superior derecha:

  • Estadísticas: Para mostrar cuántos documentos revisaron (Respuestas) y su tiempo total.
  • Notificaciones: Para mostrar las notificaciones que recibió.
  • Más (3 puntos): Para omitir el documento, encontrar respuestas o enviar comentarios (si está habilitado).
  • Activar o desactivar la barra del título (flechas diagonales): Oculta (o muestra) la barra del título de DataCompute para tener más espacio.

Administrador de etiquetado

Revisa un documento desde Cloud Storage

Si quieres revisar el documento, tienes dos opciones:

  • Opción 1:

    1. Cómo ubicar Cloud Storage desde la ubicación configurada anteriormente
    2. Recupera y descarga los documentos

  • Opción 2:

    1. Recuerda el URI para recuperar el documento de la respuesta de la predicción
    2. Llama al URI para recuperar el documento revisado

¿Qué sigue?