Interface utilisateur du gestionnaire de libellés et workbench de l'étiqueteur

Attention : Document AI human-in-the-loop (avec intervention humaine) est obsolète et ne sera plus disponible sur Google Cloud après le 16 janvier 2025. Les nouveaux clients ne sont pas ajoutés à la liste d'autorisation. Si vous souhaitez utiliser le mode HITL, mais que l'option n'est pas disponible, contactez l'équipe chargée de votre compte Google.

Pour implémenter une solution de révision et de correction manuelles répondant à vos besoins, nous vous recommandons de collaborer avec un partenaire Google Cloud certifié comme Devoteam, Searce ou Quantiphi. Pour en savoir plus, consultez Abandons.

Interface utilisateur du responsable

L'interface utilisateur du gestionnaire permet aux gestionnaires¹ d'administrer le travail des étiqueteurs sur les tâches². Les administrateurs peuvent utiliser cette UI pour ajouter ou supprimer des annotateurs, attribuer ou annuler des tâches, et surveiller la progression des tâches et les données analytiques sur les performances de chaque annotateur.

À gauche se trouve la liste de tous les pools de labellisation ³ activés pour le projet dont l'utilisateur est responsable. Google Cloud Le nombre à droite du nom du pool de labelliseurs correspond au nombre de labelliseurs dans ce pool. À droite se trouve le contenu principal de l'UI, qui se compose de quatre onglets :

• Tasks
• Annotateurs
• Devoirs

Tasks

Le tableau des tâches est une vue de toutes les tâches du projet Google Cloud du pool de personnes chargées d'annoter. Il contient des statistiques de base sur la tâche, ainsi que la possibilité de la mettre en veille et des raccourcis pour attribuer des annotateurs aux tâches.

Filtres

Au-dessus de la grille de données se trouve un ensemble de commandes de filtrage permettant de déterminer les tâches qui s'affichent dans la grille de données.

• Rechercher des tâches par nom : filtre les résultats pour n'afficher que ceux dont le nom correspond à celui saisi. Inclut la fonctionnalité de saisie semi-automatique.
•  En cours : si cette option est cochée, les résultats incluront toutes les tâches qui ne sont pas mises en veille, terminées ni non attribuées. Cette option est activée par défaut.
•  Suspendues : si cette option est cochée, les résultats incluront toutes les tâches suspendues.
•  Terminées : si cette option est cochée, les résultats incluront toutes les tâches terminées, c'est-à-dire celles pour lesquelles aucune question n'est disponible (soit parce qu'aucune question n'a encore été mise en file d'attente, soit parce que toutes les questions mises en file d'attente ont été répondues).
•  Non attribuées : si cette case est cochée, les résultats incluront toutes les tâches auxquelles aucun annotateur n'a été attribué.

Si aucun filtre n'est sélectionné, une erreur s'affiche et la page demande au responsable de sélectionner des filtres. Si l'une des cases à cocher n'est pas cochée, les tâches qui correspondent à la condition de cette case seront exclues sauf si la tâche correspond à l'une des conditions de la case cochée. Par exemple, si une tâche est à la fois mise en veille et non attribuée, elle s'affichera si la case "Mise en veille" est cochée, ou si la case "Non attribuée" est cochée (ou les deux). Ce résultat ne s'affiche pas si les cases "Suspendu" et "Non attribué" ne sont pas cochées.

Grille de données

• La première colonne contient une case à cocher pour chaque ligne. Si le responsable coche une ou plusieurs de ces cases, puis clique sur le bouton Gérer l'attribution au-dessus du tableau, il est redirigé vers la page "Devoirs", avec les tâches sélectionnées déjà renseignées dans le filtre "Tâches".
• La colonne "Tâche" affiche le nom de la tâche. Il est défini par la personne qui crée la tâche et correspond à un nom lisible (comme "Classification des CV") par opposition à un identifiant interne (comme "cloud_data_67523fe89343").
• La colonne "Objectif" contient le nom de l'objectif, qui décrit le type de tâche (classification d'images, classification de texte, etc.).
• La colonne "Dernière mise en file d'attente" contient la date à laquelle la dernière question a été mise en file d'attente (elle est vide si aucune question n'a encore été mise en file d'attente pour la tâche).
• La colonne "Assigné" indique le nombre d'annotateurs actuellement attribués à la tâche. Il permet également d'accéder à une boîte de dialogue à partir de laquelle le responsable peut supprimer l'attribution des tâches aux annotateurs. L'administrateur ne peut pas attribuer de cours depuis cette boîte de dialogue. Pour ce faire, il doit utiliser la page "Attribution".
• La colonne "Questions disponibles/en file d'attente" affiche le ratio entre le nombre de questions de la tâche sur lesquelles les annotateurs peuvent actuellement travailler et le nombre total de questions actuellement en file d'attente dans la tâche.
• La colonne "Progression" affiche une représentation graphique et en pourcentage du ratio ci-dessus. Il indique également si la tâche est suspendue (aucune question n'est diffusée), comme le montre la dernière ligne du tableau dans la capture d'écran ci-dessus.
• La colonne "Actions" contient un menu proposant d'autres actions à effectuer sur la tâche :
  • Suspendre : cette option n'est disponible que si la tâche n'est pas actuellement suspendue. Elle permet de suspendre la tâche.
  • Reprendre : cette option n'est disponible que si la tâche est actuellement suspendue. Elle permet de la reprendre.
  • Devoir : ce lien permet d'accéder directement à la page "Devoir", avec la tâche initialement sélectionnée dans les filtres.

Au-dessus du tableau de données se trouve un contrôle de pagination, qui permet au responsable de choisir d'afficher plus de résultats par page et de naviguer entre les pages de résultats.

Étiqueteurs

Le tableau des annotateurs est une vue de tous les annotateurs du pool d'annotateurs. Il contient des statistiques de base sur l'outil d'étiquetage et permet d'attribuer rapidement l'outil d'étiquetage à des tâches.

Filtres

Au-dessus de la grille de données se trouve une zone de filtre qui permet de filtrer les résultats pour n'afficher que ceux associés aux adresses e-mail saisies. Vous pouvez séparer plusieurs adresses e-mail par des virgules.

Ajouter un étiqueteur

Le bouton Ajouter ouvre une boîte de dialogue à partir de laquelle le responsable peut ajouter un ou plusieurs annotateurs au pool. Vous pouvez saisir plusieurs adresses e-mail, séparées par une virgule. Vous pouvez également saisir des codes de langue (par exemple, "fr", "de") séparés par des virgules. La même personne (adresse e-mail) peut apparaître dans plusieurs pools de personnes chargées d'annoter les données et avoir des tâches différentes dans chaque pool.

La boîte de dialogue affiche un récapitulatif des annotateurs qui ont été ajoutés ou non. Une coche signifie que le responsable de l'étiquetage a été ajouté, tandis qu'une croix rouge signifie qu'il n'a pas pu l'être (par exemple, parce qu'il existe déjà dans le pool).

Grille de données

• La première colonne contient une case à cocher pour chaque ligne. Si le responsable coche une ou plusieurs de ces cases, puis clique sur le bouton Gérer l'attribution au-dessus du tableau, il est redirigé vers la page "Attributions", avec les annotateurs sélectionnés déjà renseignés dans le filtre "Annotateurs".
• La colonne "E-mail" affiche l'adresse e-mail de l'annotateur.
• La colonne "Tâches attribuées" indique le nombre de tâches attribuées au responsable du libellé. Il permet également d'accéder à une boîte de dialogue à partir de laquelle le responsable peut désattribuer le libellé à une ou plusieurs tâches. Le responsable ne peut pas attribuer de tâches à partir de cette boîte de dialogue. Pour attribuer une tâche, le responsable doit utiliser la page "Attribution".
• La colonne "Langues" indique les langues auxquelles l'étiqueteur est associé. Ces valeurs peuvent avoir une incidence sur les questions qu'un annotateur peut se voir attribuer, en fonction de la configuration de la question lorsqu'elle a été mise en file d'attente.
• La colonne "Actions" contient un menu proposant d'autres actions à effectuer sur la tâche :
  • Attribution : fournit un raccourci vers la page "Attribution", avec l'annotateur initialement sélectionné dans les filtres.
  • Supprimer : supprime le responsable du libellé du pool de responsables actuel.

Au-dessus du tableau de données se trouve un contrôle de pagination, qui permet au responsable de choisir d'afficher plus de résultats par page et de naviguer entre les pages de résultats.

Devoirs

La page "Attributions" permet aux responsables de gérer les attributions de tâches aux annotateurs du pool d'annotateurs.

Filtres

Le contenu de la grille des tâches est déterminé par deux ensembles de critères de filtrage : les filtres de l'annotateur, qui déterminent ce qui s'affiche sur l'axe Y, et les filtres des tâches, qui déterminent ce qui s'affiche sur l'axe X.

Filtres pour les annotateurs

• Sélecteur de tâches : à l'aide de ce champ, le responsable peut sélectionner une ou plusieurs tâches. L'ensemble des annotateurs affichés dans la grille inclut tous ceux qui sont attribués à l'une de ces tâches.
• Filtre "E-mails" : à l'aide de ce champ, le responsable peut spécifier une ou plusieurs adresses e-mail, séparées par des virgules. L'ensemble des annotateurs affichés dans la grille inclut tous les annotateurs associés à l'une de ces adresses e-mail.

Vous pouvez utiliser l'un ou l'autre de ces filtres, ou les deux, mais vous devez en utiliser au moins un.

Filtres de tâches

• Sélecteur de tâches : à l'aide de ce champ, le responsable peut sélectionner une ou plusieurs tâches. L'ensemble des tâches affichées dans la grille inclut toutes les tâches sélectionnées.
• Filtres supplémentaires :
  • Toutes les tâches suspendues : si cette option est cochée, les tâches affichées incluent également toutes les tâches suspendues.
  • Toutes les tâches terminées : si cette option est cochée, les tâches affichées incluent également toutes les tâches terminées (pour lesquelles aucune question n'est disponible).
  • Toutes les tâches non attribuées : si cette option est cochée, les tâches affichées incluront également toutes les tâches qui ne sont attribuées à aucun étiqueteur.
  • Toutes les tâches en cours : si cette option est cochée, les tâches affichées incluront également toutes les tâches "en cours" (non suspendues, terminées ni non attribuées).

Vous pouvez utiliser n'importe quelle combinaison de ces filtres, mais vous devez en utiliser au moins un. Ces filtres sont indépendants les uns des autres. Les options choisies dans le filtre "Annotateurs" n'ont aucun effet sur celles choisies dans le filtre "Tâches", et inversement.

Grille des devoirs

La grille affiche les résultats des critères de filtrage sélectionnés. Les annotateurs constituent l'axe Y et les tâches constituent l'axe X. Pour chaque cellule, le responsable peut cocher la case pour attribuer le taggeur correspondant à la tâche correspondante, ou la décocher pour retirer le taggeur correspondant de la tâche correspondante.

Des raccourcis sont également disponibles dans les menus de chaque en-tête de ligne et de colonne (le menu s'ouvre en cliquant sur le bouton à trois points verticaux). Par exemple, si le responsable ouvre le menu dans une cellule d'en-tête de l'étiqueteur, il peut attribuer ou supprimer l'étiqueteur de toutes les tâches à la fois. Le responsable peut également masquer la ligne ou la colonne à l'aide de l'option de menu "Supprimer", ou afficher les tâches auxquelles un annotateur est actuellement attribué/les annotateurs actuellement attribués à la tâche. Une fois les lignes et les colonnes remplies, le responsable peut choisir de supprimer un annotateur ou une tâche spécifique de la grille d'attribution à l'aide du raccourci disponible. Cela n'aura aucune incidence sur l'état d'attribution de la tâche ou des annotateurs supprimés. Vous pouvez afficher à nouveau les tâches ou les annotateurs supprimés dans la grille à l'aide des filtres correspondants en haut de la page. Seules les tâches et les annotateurs présents dans la grille des devoirs seront utilisés pour modifier le devoir après l'application des modifications.

Une fois les modifications apportées aux devoirs, le bouton Valider les modifications en haut de la page est activé. Le bouton Supprimer les modifications sera également disponible. Si vous cliquez dessus, toutes les modifications non validées apportées aux devoirs seront réinitialisées.

Lorsque le responsable clique sur le bouton Appliquer les modifications, une liste de toutes les modifications qui seront apportées aux devoirs s'affiche. Une fois que le responsable a examiné les modifications, il peut les annuler ou les valider. S'il annule les modifications, il est redirigé vers la page "Devoirs" pour continuer à modifier les devoirs. S'il valide les modifications, les devoirs sont validés et il est redirigé vers la page "Devoirs".

Tant que le responsable n'a pas cliqué sur "Valider" sur la page de la liste des modifications, les modifications qu'il a apportées dans la grille ne sont pas enregistrées.

Workbench de l'étiqueteur

L'atelier de l'étiqueteur est l'interface utilisée par l'étiqueteur pour étiqueter les questions. Les questions qu'ils reçoivent dépendent du ou des pools de nœuds de calcul auxquels ils appartiennent, qui sont attribués par les responsables.

Recevoir des questions

Lorsque l'atelier est chargé, il tente automatiquement d'obtenir des questions à libeller pour le libellé. Plusieurs raisons peuvent expliquer cet échec :

• L'étiqueteur n'est attribué à aucune tâche dans le pool d'étiqueteurs actuel (l'atelier n'utilise qu'un seul pool d'étiqueteurs à la fois). Il est possible que des questions soient disponibles pour l'étiqueteur dans un autre pool d'étiqueteurs.
• L'annotateur est attribué à une ou plusieurs tâches, mais aucune d'elles ne comporte actuellement de questions disponibles pour cet annotateur. Cela peut être dû à plusieurs raisons :
  • Aucune question n'est en file d'attente
  • Toutes les questions ont été répliquées
  • Toutes les questions pour lesquelles il reste des réplications ont été attribuées à d'autres annotateurs qui y travaillent actuellement.
  • Toutes les questions disponibles sont associées à des langues que le correcteur ne possède pas.
  • L'annotateur a déjà répondu à toutes les questions qui lui étaient proposées. Ces questions peuvent rester disponibles pour les autres annotateurs jusqu'à ce que la réplication soit effectuée.
  • L'annotateur ne peut pas répondre aux questions disponibles, car il a déjà répondu à des instances précédentes de ces questions. Ces questions pourront toujours être disponibles pour d'autres annotateurs.

Une fois l'atelier chargé, il est possible que l'outil d'annotation n'ait plus de questions. Dans ce cas, un bouton s'affiche pour permettre au responsable de l'étiquetage de réessayer d'obtenir des questions (avec les mêmes risques d'échec que ci-dessus).

Travailler sur les questions

Lorsqu'une question est attribuée à un annotateur, elle apparaît dans l'atelier. L'apparence spécifique dépend de la question mise en file d'attente et de l'UI que la tâche est configurée pour utiliser.

L'atelier démarre un minuteur jusqu'à l'expiration de l'attribution de la question. Une fois le minuteur écoulé, la question expire et est supprimée de l'atelier afin d'être attribuée à d'autres évaluateurs et de maintenir la file d'attente.

Une fois que le labellisateur a répondu à la question, l'atelier charge automatiquement la question suivante disponible. Sinon, le responsable du libellé devra demander d'autres questions à l'aide du bouton Obtenir plus de questions, illustré ci-dessus.

État d'envoi

Dans l'atelier, un annotateur peut consulter l'état de ses réponses (réussite, échec ou en cours) à deux endroits.

Boîte de dialogue des notifications

Cette boîte de dialogue affiche l'état des réponses que le responsable de l'étiquetage a envoyées :

• L'icône et le nombre à gauche (l'horloge orange) représentent les réponses qui sont encore en cours d'envoi.
• L'icône du milieu (le triangle rouge) représente les réponses qui n'ont pas pu être envoyées. L'échec de l'envoi peut être dû à une erreur de serveur ou à un problème de connexion Internet du client.
• L'icône de droite représente les réponses qui ont été envoyées avec succès.

Notez que le nombre n'est pas conservé dans le navigateur. Si vous fermez l'atelier et que vous l'ouvrez à nouveau(ou si vous actualisez la page), les compteurs sont réinitialisés sur 0.

Plus d'outils

D'autres outils sont disponibles dans un menu qui s'ouvre à partir du bouton  à la fin de la barre d'outils principale.

Vous disposez des options suivantes :

• Passer : permet de passer la question actuelle, si l'option "Passer" est activée pour la tâche. Cette option est généralement utilisée si la question telle qu'elle s'affiche dans l'UI est incorrecte, mais les responsables individuels peuvent donner des instructions aux annotateurs sur le moment où ils doivent ignorer une question. Notez qu'une réponse ignorée est comptabilisée comme une réponse et enregistrée avec des métadonnées supplémentaires indiquant qu'elle a été ignorée et pourquoi.
• Trouver des réponses : redirige l'utilisateur vers la page "Réponses", qui lui permet de consulter ses réponses à n'importe quelle question en recherchant l'ID de la question. Les contributeurs ne peuvent voir que leurs propres réponses, tandis que les responsables du pool de contributeurs peuvent voir toutes les réponses.

File d'attente des questions

Une file d'attente des questions auxquelles l'annotateur a répondu est également disponible :

Dans ce cas, la première réponse a bien été envoyée, mais la suivante n'a pas pu l'être. La réponse suivante a été envoyée avec succès. La quatrième bulle représente la question actuellement chargée et le temps restant. La dernière bulle indique le nombre de questions qui peuvent être louées au Labeler. Cela permet à l'annotateur de savoir quand il est sur le point de manquer de questions à annoter et d'en informer son responsable.

Un annotateur peut revenir à une question précédente en cliquant sur la bulle correspondante. Si la question n'a pas expiré, le labeler peut modifier sa réponse et la renvoyer. Seule la dernière réponse sera stockée. Elle remplacera toute réponse précédente. Notez que pour certaines tâches, il peut vous être demandé de ne pas utiliser cette fonctionnalité si l'envoi de la réponse est définitif.

Barre d'outils "Outils supplémentaires"

Une barre d'outils contenant des outils supplémentaires pour l'atelier est disponible. Il est masqué par défaut, mais vous pouvez le développer si nécessaire.

Trois boutons sont disponibles :

• Plein écran : ouvre le plug-in en mode plein écran. Seul l'atelier sera affiché, et l'interface utilisateur du navigateur ainsi que les barres d'outils du système d'exploitation seront masquées. L'annotateur peut quitter ce mode en appuyant sur Esc ou en cliquant à nouveau sur le même bouton.
• Recharger : actualise le plug-in actuellement visible. Dans la plupart des cas, cette méthode est préférable à l'actualisation de la page à partir du navigateur, car l'actualisation de la page peut effacer certains états, tels que le temps passé et les réponses envoyées. De plus, il n'est pas garanti que l'utilisateur reçoive à nouveau la même question s'il actualise la page.
• Informations sur la question : affiche des informations sur la question actuellement visible, comme les ID de question et le nom du plug-in. Ces informations peuvent être utiles pour signaler des problèmes liés à une question spécifique, en fonction des instructions du gestionnaire de tâches.

Page "Analytics"

La page "Analytics" permet au contributeur de voir ses contributions récentes.

En haut de l'écran se trouve un graphique des taux de contribution. En dessous, les mêmes informations sont affichées sous forme de tableau. L'annotateur peut sélectionner l'une des plages horaires prédéfinies pour afficher les données. Pour accéder à la page "Analytics", cliquez sur le bouton "Analytics" dans la barre d'outils.

Faire de la place pour le plug-in

Plusieurs options vous permettent d'ajuster l'espace disponible pour le plug-in.

Le bouton supérieur (les flèches diagonales) permet d'afficher ou de masquer la barre One Google, c'est-à-dire la barre située juste au-dessus, qui contient le sélecteur de compte Google. Le bouton inférieur (flèche vers le bas) permet d'afficher ou de masquer la barre d'outils supplémentaires. En mode plein écran, si vous masquez les deux barres d'outils, le plug-in occupera presque tout l'écran.

---

1. Un responsable d'un pool de personnes chargées du libellé est un utilisateur autorisé à ajouter ou supprimer des personnes chargées du libellé, et à modifier les tâches qui leur sont attribuées. ↩

2. Une tâche est un ensemble de questions qui peuvent être attribuées à un ou plusieurs étiqueteurs d'un pool d'étiqueteurs. ↩

3. Un pool d'étiqueteurs est un ensemble d'étiqueteurs gérés par un ou plusieurs responsables. Les étiqueteurs d'un pool peuvent être affectés à des tâches activées pour ce pool. ↩