Guide de démarrage rapide: Effectuer une tâche d'examen

Chaque outil de traitement crée une "tâche HITL" qui est attribuée à un pool d'étiqueteurs manuels (appelé "pool d'étiqueteurs") qui examinent les documents traités par l'outil de traitement. Une fois traités, ces documents sont mis en file d'attente dans la tâche d'examen HITL par le pool d'étiquetteurs attribué.

Avant de commencer

Avant de continuer, suivez le guide de démarrage rapide: Configurer l'examen manuel précédent.

Ajouter des libellés

  1. Après avoir configuré l'examen manuel, vous devriez recevoir un e-mail semblable à celui-ci :
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Cliquez sur le lien figurant dans l'e-mail (ou effectuez un copier-coller dans votre navigateur) pour accéder à la page "Gestionnaire" :

  2. La tâche créée par le nouvel outil de traitement porte le même nom que l'outil de traitement (par exemple, "Factures du service A") et s'affiche dans l'onglet "Tâches".

  3. Cliquez sur l'onglet "Étiqueteurs".

  4. Cliquez sur "Ajouter un libellé", puis ajoutez au moins un libellé (adresse e-mail). Un administrateur peut être un libelléur. Vous pouvez donc vous ajouter.

  5. Pour un pool de libelleurs nouvellement créé, la tâche doit être attribuée explicitement à un libelleur individuel dans l'onglet "Devoirs". Autrement dit, l'ajout du pool d'étiqueteurs n'attribue pas automatiquement la tâche à ces nouveaux étiqueteurs. Si le pool d'étiqueteurs a déjà provisionné des étiqueteurs, il est automatiquement attribué à la tâche.

Publier un document initial pour examen

  1. Envoyez un document à extraire via le processeur créé. Si nécessaire, consultez les guides pratiques. Les appels en ligne (synchrones) et par lot (asynchrones) sont actuellement compatibles avec le routage d'examen manuel pour les processeurs compatibles.

    À des fins de test, vous pouvez utiliser une extraction de mauvaise qualité connue pour déclencher l'examen manuel lorsque le score de confiance est inférieur au seuil, ou vous pouvez définir le seuil sur 100%. Les limites de documents sont généralement de cinq pages et de 20 Mo maximum, mais vérifiez les limites spécifiques du processeur.

    Une API permet de suivre chaque document acheminé vers un examen manuel. Dans la réponse des processeurs, une chaîne humanReviewOperation correspond à l'ID d'opération (nom de la tâche) du document dans l'examen manuel. Vous pouvez interroger l'état de cette opération de longue durée (également appelée LRO).

    Vous pouvez interroger l'état d'un document acheminé vers un examen manuel à l'aide de la méthode projects.locations.operations.get.

  2. Vous pouvez forcer l'examen manuel d'un document à l'aide de la méthode reviewDocument (notez qu'elle est spécifique au processeur):

    Pour utiliser la méthode reviewDocument, vous devez cocher la case Examen manuel ACTIVÉ. L'utilisation de cette API ne remplace pas les paramètres de configuration.

    Pour utiliser cette méthode, suivez le guide Demander un examen manuel.

Consulter le document

  1. Si le document déclenche le processus d'examen manuel, mais qu'aucun étiqueteur n'est disponible dans le pool, le responsable reçoit un e-mail.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Ces liens permettent au gestionnaire d'étiquetage d'allouer des tâches d'étiquetage.

  1. Si les utilisateurs ne sont pas inscrits au groupe de libellé et qu'ils viennent d'être ajoutés, le responsable du libellé doit leur envoyer un e-mail similaire avec des instructions.

Étapes de l'étiquetage

Procédure d'étiquetage

  1. Adresse e-mail de l'étiqueteur

    Si un libellé est déjà inscrit à un groupe de libellé à l'étape 2e, le système l'allouera automatiquement et lui enverra un e-mail semblable à celui-ci:

    image

    Le lien de cet e-mail permet à l'étiqueteur sélectionné d'effectuer l'étiquetage du document.

  2. Actions d'étiquetage:

    Lorsqu'un étiqueteur clique sur le lien pour effectuer l'étiquetage, l'interface utilisateur de l'examen humain interactif par IA s'affiche, comme indiqué ci-dessous. Les lignes en surbrillance (en jaune) indiquent celles qui ne respectent pas la validation (c'est-à-dire qu'elles sont inférieures au seuil de score de confiance configuré) et qui doivent être examinées.

    image

  3. Vérification Lorsque vous pointez le curseur sur un champ de texte reconnu, le texte reconnu et le nom du champ (schéma) (en police plus petite en dessous) s'affichent. La ligne est également mise en surbrillance dans le panneau de gauche.

    L'utilisateur peut faire un zoom avant/arrière à l'aide des icônes de loupe en haut à gauche de la barre d'outils.

    image

  4. Champ modifié

    Vous pouvez modifier le champ en cliquant dessus (à gauche) :

    Vous pouvez modifier la valeur ou le libellé dans le panneau de gauche. Cliquez ensuite sur Appliquer.

    Vous pouvez également redimensionner le cadre de délimitation autour du texte du document en cliquant sur l'une des icônes de redimensionnement en haut ou en bas de l'image du document:

    Comme indiqué, si vous sélectionnez un autre texte, il remplacera celui de la valeur du champ dans le panneau de gauche. Vous pouvez ensuite modifier ce texte si nécessaire. Cliquez ensuite sur Appliquer.

    Veillez à examiner toutes les pages à l'aide du contrôle de la page en haut à droite.

Une fois toutes les modifications de libellé nécessaires effectuées, cliquez sur ENVOYER (en bas à gauche). Le fichier JSON de résultats sera enregistré dans le dossier "Emplacement des résultats".

Si vous ne parvenez pas à étiqueter le document de manière satisfaisante, vous pouvez cliquer sur REFUSER (en bas à gauche), puis sélectionner un motif de refus : - Sélectionnez un motif, puis cliquez sur Refuser le document.

Les libellés peuvent également cliquer sur les icônes suivantes en haut à droite:

  • Données analytiques : pour afficher le nombre de documents qu'ils ont examinés (réponses) et leur temps total.
  • Notifications : permet d'afficher les notifications reçues.
  • Plus (trois points) : pour ignorer le document, trouver des réponses ou envoyer des commentaires (si cette option est activée).
  • Activer/Désactiver la barre de titre (flèches en diagonale) : cette option permet d'afficher ou de masquer la barre de titre de DataCompute pour gagner de l'espace.

Gestionnaire de libellés

Examiner un document à partir de Cloud Storage

Si vous souhaitez vérifier le document, deux options s'offrent à vous:

  • Option 1 :

    1. Localiser Cloud Storage à partir de l'emplacement précédemment configuré
    2. Récupérer et télécharger les documents

  • Option 2 :

    1. Mémoriser l'URI pour récupérer le document à partir de la réponse de prédiction
    2. URI d'appel pour récupérer le document examiné

Étape suivante