Interface utilisateur du gestionnaire de libellés et workbench de l'étiqueteur

Attention: Document AI human-in-the-loop (avec intervention humaine) est obsolète et ne sera plus disponible sur Google Cloud après le 16 janvier 2025. Les nouveaux clients ne sont pas ajoutés à la liste d'autorisation. Si vous souhaitez utiliser le mode HITL, mais que l'option n'est pas disponible, contactez l'équipe chargée de votre compte Google.

Pour mettre en œuvre une solution de révision et de correction manuelles répondant à vos besoins, nous vous recommandons de collaborer avec un Google Cloud partenaire certifié comme Devoteam, Searce ou Quantiphi. Pour en savoir plus, consultez la page Abandons.

Interface utilisateur du gestionnaire

L'interface utilisateur du gestionnaire permet aux gestionnaires¹ d'administrer le travail des étiqueteurs sur les tâches². Les administrateurs peuvent utiliser cette interface utilisateur pour ajouter ou supprimer des libelleurs, attribuer ou désattribuer des tâches, et suivre la progression des tâches et les données analytiques sur les performances de chaque libelleur.

Sur la gauche se trouve la liste de tous les Google Cloud pools de libelléurs activés pour le projet³ dont l'utilisateur est administrateur. Le nombre à droite du nom du pool d'annotateurs correspond au nombre d'annotateurs dans ce pool. À droite se trouve le contenu principal de l'UI, qui se compose de quatre onglets:

• Tasks
• Étiqueteurs
• Devoirs

Tâches

Le tableau des tâches affiche toutes les tâches du projet Google Cloud du pool de libelleurs. Il contient des statistiques de base sur la tâche, ainsi que la possibilité de la mettre en pause et des raccourcis pour attribuer des libelleurs aux tâches.

Filtres

Au-dessus de la grille de données se trouve un ensemble de commandes de filtrage permettant de déterminer les tâches à afficher dans la grille de données.

• Rechercher des tâches par nom: filtre les résultats en fonction du nom saisi. Inclut la fonctionnalité de saisie semi-automatique.
• En cours: si cette option est sélectionnée, les résultats incluront toutes les tâches qui ne sont pas mises en veille, terminées ou non attribuées. Cette option est activée par défaut.
•  Suspendues: si cette case est cochée, les résultats incluront toutes les tâches suspendues.
• Terminées: si cette case est cochée, les résultats incluront toutes les tâches terminées, c'est-à-dire celles pour lesquelles aucune question n'est disponible (que ce soit parce qu'aucune question n'a encore été mise en file d'attente ou parce que toutes les questions mises en file d'attente ont été répondues).
• Sans libellé: si cette case est cochée, les résultats incluront toutes les tâches auxquelles aucun libellé n'est attribué.

Si aucun filtre n'est sélectionné, une erreur s'affiche et la page demande au gestionnaire de sélectionner des filtres. Si l'une des cases n'est pas cochée, les tâches qui correspondent à la condition de cette case sont exclues sauf si la tâche correspond à l'une des conditions de la case cochée. Par exemple, si une tâche est à la fois mise en veille et non attribuée, elle s'affiche si la case "Mise en veille" ou "Non attribuée" est cochée (ou les deux). Ce résultat ne s'affiche pas si aucune des cases "Suspendu" ou "Non attribué" n'est cochée.

Grille de données

• La première colonne contient une case à cocher pour chaque ligne. Si le responsable sélectionne une ou plusieurs de ces cases, puis clique sur le bouton Gérer l'attribution au-dessus du tableau, il est redirigé vers la page "Attributions", où les tâches sélectionnées sont déjà renseignées dans le filtre "Tâches".
• La colonne "Tâche" affiche le nom de la tâche. Il est défini par la personne qui crée la tâche. Il s'agit d'un nom lisible (par exemple, "Classification de CV") et non d'un identifiant interne (par exemple, "cloud_data_67523fe89343").
• La colonne "Objectif" contient le nom de l'objectif, qui décrit le type de tâche (classification d'images, classification de texte, etc.).
• La colonne "Dernière mise en file d'attente" indique la date à laquelle la question la plus récente a été mise en file d'attente (vide si aucune question n'a encore été mise en file d'attente pour la tâche).
• La colonne "Attribué" indique le nombre de libelleurs actuellement affectés à la tâche. Il permet également d'accéder à une boîte de dialogue à partir de laquelle le gestionnaire peut annuler l'attribution d'étiquetteurs. L'administrateur ne peut pas attribuer de devoir à partir de cette boîte de dialogue. Pour ce faire, il doit utiliser la page "Devoir".
• La colonne "Questions disponibles/En file d'attente" indique le ratio entre le nombre de questions de la tâche qui sont actuellement disponibles pour les labelliseurs et le nombre total de questions actuellement en file d'attente dans la tâche.
• La colonne "Progress" (Progression) affiche le ratio ci-dessus sous forme graphique et sous forme de pourcentage. Il indique également si la tâche est mise en pause (aucune question n'est diffusée), comme indiqué dans la ligne inférieure du tableau de la capture d'écran ci-dessus.
• La colonne "Actions" contient un menu d'actions supplémentaires à effectuer sur la tâche :
  • Suspendre: disponible uniquement si la tâche n'est pas actuellement suspendue. Cette option suspend la tâche.
  • Resume (Reprise) : disponible uniquement si la tâche est actuellement mise en pause. Cette option permet de la reprendre.
  • Devoir: il s'agit d'un raccourci vers la page "Devoir", avec la tâche initialement sélectionnée dans les filtres.

Au-dessus du tableau de données se trouve un contrôle de pagination, qui permet au gestionnaire d'afficher plus de résultats par page et de passer d'une page de résultats à l'autre.

Étiqueteurs

Le tableau des labelneurs affiche tous les labelneurs du pool de labelneurs. Il contient des statistiques de base sur le libelléur, ainsi qu'un moyen d'attribuer rapidement le libelléur à des tâches.

Filtres

Au-dessus de la grille de données se trouve une zone de filtre qui permet de filtrer les résultats en fonction de l'adresse e-mail saisie. Vous pouvez séparer plusieurs adresses e-mail par une virgule.

Ajouter un étiqueteur

Le bouton Ajouter ouvre une boîte de dialogue à partir de laquelle le gestionnaire peut ajouter un ou plusieurs libelleurs au pool. Vous pouvez saisir plusieurs adresses e-mail, séparées par une virgule. Vous pouvez également saisir des codes de langue (par exemple, "en", "de") séparés par des virgules. La même personne (adresse e-mail) peut apparaître dans plusieurs pools de libelleurs et avoir des tâches différentes dans chaque pool.

La boîte de dialogue affiche un récapitulatif des libelleurs qui ont été ajoutés ou non. Une coche signifie que l'outil de libellé a bien été ajouté, tandis qu'une croix rouge signifie qu'il n'a pas pu être ajouté (par exemple, s'il existe déjà dans le pool).

Grille de données

• La première colonne contient une case à cocher pour chaque ligne. Si le gestionnaire sélectionne une ou plusieurs de ces cases, puis clique sur le bouton Gérer l'attribution au-dessus du tableau, il est redirigé vers la page "Attributions", où les annotateurs sélectionnés sont déjà renseignés dans le filtre "Annotateurs".
• La colonne "Adresse e-mail" affiche l'adresse e-mail de l'outil de libellé.
• La colonne "Tâches attribuées" indique le nombre de tâches attribuées à l'outil de libellé. Il permet également d'accéder à une boîte de dialogue à partir de laquelle le gestionnaire peut dissocier l'outil de libellé d'une ou de plusieurs tâches. Le gestionnaire ne peut pas attribuer de rôle à partir de cette boîte de dialogue. Pour attribuer une tâche, le responsable doit utiliser la page "Devoir".
• La colonne "Langues" indique les langues auxquelles l'outil de libellé est associé. Ces valeurs peuvent avoir une incidence sur les questions qu'un libellé peut louer, en fonction de la configuration de la question au moment de son envoi dans la file d'attente.
• La colonne "Actions" contient un menu d'actions supplémentaires à effectuer sur la tâche :
  • Devoir: raccourci vers la page "Devoir", avec le libelléur sélectionné dans les filtres.
  • Supprimer: supprime l'outil de libellé du pool actuel.

Au-dessus du tableau de données se trouve un contrôle de pagination, qui permet au gestionnaire d'afficher plus de résultats par page et de passer d'une page de résultats à l'autre.

Devoirs

La page "Attributions" permet aux gestionnaires de gérer les attributions de tâches aux annoteurs du pool d'annoteurs.

Filtres

Le contenu de la grille des devoirs est déterminé par deux ensembles de critères de filtrage: les filtres de l'outil de libellé, qui déterminent ce qui s'affiche sur l'axe Y, et les filtres de tâche, qui déterminent ce qui s'affiche sur l'axe X.

Filtres de l'outil d'étiquetage

• Sélecteur de tâches: ce champ permet au gestionnaire de sélectionner une ou plusieurs tâches. L'ensemble des libelleurs affichés dans la grille inclut tous les libelleurs qui sont affectés à l'une de ces tâches.
• Filtre "Adresses e-mail" : à l'aide de ce champ, le gestionnaire peut spécifier une ou plusieurs adresses e-mail, séparées par des virgules. L'ensemble des libelleurs affichés dans la grille inclura tous les libelleurs associés à l'une de ces adresses e-mail.

Vous pouvez utiliser l'un ou l'autre de ces filtres, ou les deux, mais vous devez en utiliser au moins un.

Filtres de tâches

• Sélecteur de tâches: ce champ permet au gestionnaire de sélectionner une ou plusieurs tâches. L'ensemble des tâches affichées dans la grille inclut toutes les tâches sélectionnées.
• Filtres supplémentaires :
  • Toutes les tâches mises en veille: si vous cochez cette case, les tâches affichées incluront également les tâches mises en veille.
  • Toutes les tâches terminées: si cette case est cochée, les tâches affichées incluent également les tâches terminées (aucune question n'est disponible pour les traiter).
  • Toutes les tâches non attribuées: si cette option est cochée, les tâches affichées incluent également les tâches qui ne sont attribuées à aucun étiqueteur.
  • Toutes les tâches en cours: si cette option est sélectionnée, les tâches affichées incluront également les tâches en cours (non mises en veille, terminées ou non attribuées).

Vous pouvez combiner les filtres de votre choix, mais vous devez en utiliser au moins un. Ces filtres sont indépendants les uns des autres. Les options choisies dans le filtre "Libelleurs" n'ont aucun effet sur les options choisies dans le filtre "Tâches", et inversement.

Grille des devoirs

La grille affiche les résultats des critères de filtrage sélectionnés. Les libellés constituent l'axe Y, et les tâches l'axe X. Pour chaque cellule, le responsable peut cocher la case pour attribuer l'outil de libellé correspondant à la tâche correspondante, ou décocher la case pour le dissocier de la tâche.

Des raccourcis sont également disponibles dans les menus de chaque en-tête de ligne et de colonne (pour ouvrir le menu, cliquez sur le bouton à trois points verticaux). Par exemple, si le gestionnaire ouvre le menu dans une cellule d'en-tête d'un étiqueteur, il peut attribuer ou dissocier cet étiqueteur de toutes les tâches à la fois. Le gestionnaire peut également masquer la ligne ou la colonne à l'aide de l'option de menu "Supprimer", ou afficher les tâches auxquelles un étiqueteur est actuellement affecté ou les étiqueteurs actuellement affectés à la tâche. Lors du remplissage des lignes et des colonnes, le gestionnaire peut choisir de supprimer un libellé ou une tâche spécifique de la grille de répartition à l'aide du raccourci disponible. Cela n'aura aucune incidence sur l'état de la tâche ou des libellés supprimés. Vous pouvez afficher à nouveau les tâches ou les libelleurs supprimés dans la grille à l'aide des filtres correspondants en haut de la page. Seuls les tâches et les libellés présents dans la grille de devoirs seront utilisés pour modifier le devoir après avoir validé les modifications.

Une fois les devoirs modifiés, le bouton Valider les modifications en haut de la page sera activé. Le bouton Supprimer les modifications est également disponible. Cliquez dessus pour réinitialiser les modifications non validées de l'exercice.

Lorsque le bouton Appliquer les modifications est cliqué, le gestionnaire voit la liste de toutes les modifications apportées aux attributions. Une fois que l'administrateur a examiné les modifications, il peut les annuler ou les valider. S'il annule les modifications, il est redirigé vers la page "Devoirs" pour continuer à les modifier. Si l'utilisateur valide les modifications, les devoirs seront appliqués et il sera redirigé vers la page "Devoirs".

Tant que le gestionnaire n'a pas cliqué sur "Appliquer" sur la page de la liste des modifications, les modifications apportées dans la grille ne seront pas enregistrées.

Workbench de l'étiqueteur

L'interface de l'outil d'étiquetage est celle qu'il utilise pour ajouter des libellés aux questions. Les questions qu'ils reçoivent dépendent du ou des pools de travailleurs dont ils font partie, qui sont attribués par les gestionnaires.

Obtenir des questions

Lorsque l'atelier est chargé, il tente automatiquement d'obtenir des questions à libeller pour l'outil de libellé. Plusieurs raisons peuvent expliquer cet échec:

• L'outil d'étiquetage n'est attribué à aucune tâche du pool d'étiqueteurs actuel (l'atelier utilise un seul pool d'étiqueteurs à la fois). Il est possible que des questions soient disponibles pour l'étiqueteur dans un autre pool d'étiqueteurs.
• Le baliseur est affecté à une ou plusieurs tâches, mais aucune question n'est actuellement disponible pour ce baliseur. Plusieurs raisons peuvent expliquer ce problème :
  • Aucune question n'est mise en file d'attente
  • Toutes les questions ont été répliquées
  • Toutes les questions pour lesquelles des réplications restent disponibles ont été louées à d'autres libelleurs qui y travaillent actuellement.
  • Toutes les questions disponibles sont associées à des langues que l'outil de libellé ne connaît pas.
  • Le libelléur a déjà répondu à toutes les questions disponibles. Ces questions peuvent toujours être disponibles pour d'autres libelleurs jusqu'à ce que la réplication soit effectuée.
  • Le libelléur ne peut pas répondre aux questions disponibles, car il a envoyé des réponses à des instances précédentes de ces questions. Il est possible que ces questions soient toujours disponibles pour un autre libellé.

Une fois le bac de travail chargé, l'outil de libellé peut manquer de questions. Dans ce cas, un bouton s'affiche pour permettre au libellé de réessayer d'obtenir des questions (sujet aux mêmes échecs potentiels que ci-dessus).

Travailler sur les questions

Lorsqu'une question est louée à un libellé, elle apparaît dans l'atelier. L'apparence spécifique dépend de la question mise en file d'attente et de l'UI que la tâche est configurée pour utiliser.

L'atelier démarre un minuteur jusqu'à l'expiration de l'attribution de la question. Une fois le minuteur terminé, la question expire et est supprimée de l'atelier afin d'être attribuée à d'autres évaluateurs et de maintenir la file d'attente.

Lorsque le libellé a envoyé sa réponse à la question, l'atelier charge automatiquement la prochaine question disponible. Sinon, l'outil de libellé doit demander d'autres questions à l'aide du bouton Obtenir d'autres questions, illustré ci-dessus.

État de l'envoi

Dans l'atelier, un libellé peut consulter l'état de ses réponses: si elles ont été envoyées avec succès, si elles ont échoué ou si elles sont toujours en cours.

Boîte de dialogue "Notifications"

Cette boîte de dialogue indique l'état des réponses envoyées par le libelleur:

• L'icône et le nombre à gauche (l'horloge orange) représentent les réponses qui sont encore en cours d'envoi.
• L'icône du milieu (triangle rouge) représente les réponses qui n'ont pas pu être envoyées. L'échec de l'envoi peut être dû à une erreur de serveur ou à un problème de connexion Internet du client.
• L'icône de droite représente les réponses envoyées.

Notez que le nombre n'est pas conservé dans le navigateur. Si vous fermez l'atelier de travail et l'ouvrez à nouveau(ou si vous actualisez la page), les compteurs sont réinitialisés à 0.

Autres outils

Des outils supplémentaires sont disponibles dans un menu ouvert à partir du bouton  à la fin de la barre d'outils principale.

Vous disposez des options suivantes :

• Ignorer: ignore la question en cours si l'option d'ignorer est activée pour la tâche. Cette option est généralement utilisée si la question affichée dans l'interface utilisateur est défectueuse. Toutefois, certains gestionnaires peuvent indiquer au libelléur quand ignorer une question. Notez qu'un passage ignoré est comptabilisé comme une réponse et enregistré avec des métadonnées supplémentaires indiquant qu'il a été ignoré et pourquoi.
• Trouver des réponses: permet d'accéder à la page "Réponses", qui permet au libellé de consulter ses réponses à n'importe quelle question en recherchant l'ID de la question. Le libelleur ne peut voir que ses propres réponses, tandis qu'un administrateur du pool de libelleurs peut voir toutes les réponses.

File d'attente des questions

Une file d'attente de questions auxquelles le libellé a répondu est également disponible:

Dans ce cas, la première réponse a bien été envoyée, mais la seconde n'a pas pu l'être. La quatrième bulle représente la question actuellement chargée et le temps restant. La bulle finale indique le nombre de questions pouvant être louées à l'outil de libellé. Cela permet au libellé de savoir quand il est sur le point de manquer de questions à libeller et de prévenir son responsable.

Un libelléur peut revenir à une question précédente en cliquant sur la bulle correspondante. Si la question n'a pas expiré, le libellé peut modifier sa réponse et la renvoyer. Seule la dernière réponse sera stockée. Elle écrasera toute réponse précédente. Notez que certaines tâches peuvent être invitées à ne pas utiliser cette fonctionnalité si l'envoi de la réponse est définitif.

Barre d'outils "Outils supplémentaires"

Une barre d'outils contient des outils supplémentaires pour l'atelier. Il est masqué par défaut, mais vous pouvez le développer si nécessaire.

Trois boutons sont disponibles:

• Plein écran: permet d'ouvrir le plug-in en mode plein écran. Seul l'atelier de travail s'affiche, et l'interface utilisateur du navigateur ainsi que les barres d'outils du système d'exploitation sont masqués. Pour quitter ce mode, l'outil de libellé peut appuyer sur Échap ou cliquer à nouveau sur le même bouton.
• Actualiser: actualise le plug-in actuellement visible. Dans la plupart des cas, cette méthode est préférable à l'actualisation de la page à partir du navigateur, car l'actualisation peut effacer certains états, tels que le temps passé et les réponses envoyées. De plus, il n'est pas garanti que le libelléur obtienne à nouveau la même question s'il actualise la page.
• Informations sur la question: affiche certaines informations sur la question actuellement visible, telles que les ID de question et le nom du plug-in. Ces informations peuvent être utiles lorsque vous signalez des problèmes liés à une question spécifique, en fonction des instructions du gestionnaire de tâches.

Page Analytics

La page "Analytics" permet au libelléur de consulter ses contributions récentes.

En haut de l'écran, un graphique présente les taux de contribution. Vous trouverez ci-dessous les mêmes informations sous forme de tableau. L'outil de libellé peut choisir parmi quelques périodes prédéfinies pour afficher les données. Pour accéder à la page "Données analytiques", cliquez sur le bouton "Données analytiques" dans la barre d'outils.

Créer un espace pour le plug-in

Plusieurs commandes sont disponibles pour ajuster l'espace dont dispose le plug-in.

Le bouton du haut (les flèches en diagonale) permet d'activer ou de désactiver la barre Google One, la barre située juste au-dessus et qui contient le sélecteur de compte Google. Le bouton du bas (flèche vers le bas) permet d'afficher ou de masquer la barre d'outils d'outils supplémentaires. En combinaison avec le mode plein écran, si vous désactivez les deux barres d'outils, le plug-in occupera presque tout l'écran.

---

1. Un administrateur d'un pool de libelleurs est un utilisateur autorisé à ajouter ou supprimer des libelleurs, et à modifier les tâches qui leur sont attribuées. ↩

2. Une tâche est un ensemble de questions pouvant être attribuées à un ou plusieurs étiqueteurs d'un pool d'étiqueteurs. ↩

3. Un pool d'étiqueteurs est un ensemble d'étiqueteurs gérés par un ou plusieurs gestionnaires. Les étiqueteurs d'un pool peuvent être affectés à des tâches activées pour ce pool. ↩