Interfaccia utente di Labeling Manager e Labeler Workbench

Attenzione: Document AI Human-in-the-Loop è deprecato e non sarà più disponibile su Google Cloud dopo il 16 gennaio 2025. I nuovi clienti non sono consentiti. Se vuoi utilizzare (HITL), ma non la vedi disponibile, contatta il team degli Account Google.

Per implementare una soluzione di revisione e correzione umana che soddisfi i tuoi requisiti, ti consigliamo di collaborare con un partner certificato Google Cloud come Devoteam, Searce o Quantiphi. Per informazioni dettagliate, vedi Deprecazioni.

UI del gestore

L'interfaccia utente di Manager consente ai Manager¹ di amministrare il lavoro degli Etichettatori sulle Attività². I gestori possono utilizzare questa UI per aggiungere o rimuovere etichettatori, assegnare o annullare l'assegnazione di attività e monitorare l'avanzamento delle attività e le analisi sul rendimento di ogni etichettatore.

A sinistra è presente un elenco di tutti i Google Cloud pool di etichettatori abilitati per il progetto³ di cui l'utente è amministratore. Il numero a destra del nome del pool di etichettatori indica il numero di etichettatori nel pool. A destra si trova il contenuto principale della UI, che consiste in quattro schede:

• Tasks
• Etichettatrici
• Compiti

Tasks

La tabella delle attività è una visualizzazione di tutte le attività nel progetto del pool di Labeler Google Cloud . Contiene alcune statistiche di base sull'attività, oltre a fornire la possibilità di metterla in pausa e percorsi rapidi per assegnare i revisori alle attività.

Filtri

Sopra la griglia di dati si trova un insieme di controlli dei filtri per determinare quali attività vengono visualizzate nella griglia di dati.

• Cerca attività per nome: filtra i risultati in base a quelli con il nome inserito. Include la funzionalità di completamento automatico.
• In corso: se selezionata, i risultati includeranno tutte le attività che non sono in pausa, completate o non assegnate. Questa opzione è attiva per impostazione predefinita.
• In pausa: se selezionata, i risultati includeranno tutte le attività in pausa.
• Completate: se selezionata, i risultati includeranno tutte le attività completate, ovvero quelle che non hanno domande disponibili (perché non sono ancora state messe in coda o perché è stato risposto a tutte le domande in coda).
• Non assegnato: se selezionata, i risultati includeranno tutte le attività a cui non sono stati assegnati etichettatori.

Se non è selezionato alcun filtro, si verifica un errore e la pagina chiede al gestore di effettuare alcune selezioni dei filtri. Se una delle caselle di controllo è deselezionata, le attività che corrispondono alla condizione della casella di controllo verranno escluse a meno che l'attività non corrisponda a una delle condizioni della casella selezionata. Ad esempio, se un'attività è sia in pausa che non assegnata, verrà visualizzata se è selezionata la casella di controllo In pausa o la casella di controllo Non assegnata (o entrambe). Questo risultato non verrà visualizzato se non è selezionata né la casella di controllo In pausa né quella Non assegnato.

Griglia di dati

• La prima colonna contiene una casella di controllo per ogni riga. Se il gestore seleziona una o più di queste caselle di controllo e poi fa clic sul pulsante Gestisci assegnazione sopra la tabella, verrà indirizzato alla pagina Compiti, con le attività selezionate già inserite nel filtro Attività.
• La colonna Attività mostra il nome dell'attività. Viene impostato dalla persona che crea l'attività ed è un nome leggibile (ad esempio "Classificazione curriculum") anziché un identificatore interno (ad esempio "cloud_data_67523fe89343").
• La colonna Obiettivo contiene il nome dell'obiettivo, che descrive il tipo di attività (classificazione delle immagini, classificazione del testo e così via).
• La colonna "Ultima in coda" contiene la data in cui è stata messa in coda l'ultima domanda (è vuota se non sono ancora state messe in coda domande per l'attività).
• La colonna Assegnato mostra il numero di etichettatori attualmente assegnati all'attività. Fornisce inoltre l'accesso a una finestra di dialogo da cui il gestore può annullare l'assegnazione dei revisori. L'amministratore non può assegnare da questa finestra di dialogo. Per farlo, deve utilizzare la pagina Assegnazione.
• La colonna Domande disponibili/in coda mostra il rapporto tra il numero di domande nell'attività che possono essere attualmente elaborate dai revisori e il numero totale di domande attualmente in coda nell'attività.
• La colonna Avanzamento mostra una visualizzazione grafica e basata sulla percentuale del rapporto precedente. Mostra anche se l'attività è in pausa (non vengono pubblicate domande), come mostrato nella riga inferiore della tabella nello screenshot precedente.
• La colonna Azioni contiene un menu con alcune azioni aggiuntive da intraprendere per l'attività:
  • Metti in pausa: disponibile solo se l'attività non è attualmente in pausa. L'attività verrà messa in pausa.
  • Riprendi: disponibile solo se l'attività è attualmente in pausa, riprenderà l'attività.
  • Assegnazione: fornisce una scorciatoia alla pagina Assegnazione, con l'attività inizialmente selezionata nei filtri.

Sopra la tabella dei dati è presente un controllo di paginazione, con cui il gestore può decidere di mostrare più risultati per pagina e spostarsi tra le pagine dei risultati.

Labeler

La tabella dei revisori è una visualizzazione di tutti i revisori nel pool di revisori. Contiene alcune statistiche di base su Etichettatore, nonché un modo per assegnarlo rapidamente alle attività.

Filtri

Sopra la griglia dei dati si trova una casella di filtro, che filtra i risultati in base alle email inserite. È possibile separare più indirizzi email con virgole.

Aggiungere Labeler

Il pulsante Aggiungi apre una finestra di dialogo da cui il gestore può aggiungere uno o più etichettatori al pool. È possibile inserire più indirizzi email separati da virgole. È possibile inserire anche codici lingua (ad esempio "en", "de") separati da virgole. La stessa persona (email) può essere presente in più pool di etichettatori e avere assegnazioni diverse in ogni pool.

La finestra di dialogo mostra un riepilogo dei classificatori che sono stati o meno aggiunti. Un segno di spunta indica che l'etichettatore è stato aggiunto correttamente, mentre una X rossa indica che non è stato possibile aggiungerlo (ad esempio, perché esiste già nel pool).

Griglia di dati

• La prima colonna contiene una casella di controllo per ogni riga. Se il gestore seleziona una o più di queste caselle di controllo e poi fa clic sul pulsante Gestisci assegnazione sopra la tabella, viene reindirizzato alla pagina Compiti, con i selezionatori già compilati nel filtro Selezionatori.
• La colonna Email mostra l'indirizzo email dell'etichettatore.
• La colonna Attività assegnate mostra il numero di attività a cui è assegnato l'etichettatore. Fornisce inoltre l'accesso a una finestra di dialogo da cui il gestore può annullare l'assegnazione dell'etichettatore a una o più attività. Il gestore non può assegnare da questa finestra di dialogo. Per assegnare un compito, il responsabile deve utilizzare la pagina Assegnazione.
• La colonna Lingue mostra le lingue a cui è associato lo strumento di etichettatura. Questi valori possono influire sulle domande che un etichettatore può prendere in prestito, a seconda della configurazione della domanda al momento dell'inserimento nella coda.
• La colonna Azioni contiene un menu con alcune azioni aggiuntive da intraprendere per l'attività:
  • Assegnazione: fornisce una scorciatoia alla pagina Assegnazione, con l'etichettatore inizialmente selezionato nei filtri.
  • Elimina: rimuove l'etichettatore dal pool attuale di etichettatori.

Sopra la tabella dei dati è presente un controllo di paginazione, con cui il gestore può decidere di mostrare più risultati per pagina e spostarsi tra le pagine dei risultati.

Compiti

La pagina delle assegnazioni consente ai responsabili di gestire le assegnazioni alle attività per gli etichettatori nel pool di etichettatori.

Filtri

I contenuti della griglia degli incarichi sono determinati da due gruppi di criteri di filtro: i filtri per l'etichettatore, che determinano cosa viene visualizzato sull'asse Y, e i filtri per le attività, che determinano cosa viene visualizzato sull'asse X.

Filtri per etichettatore

• Selettore attività: utilizzando questo campo, il responsabile può selezionare una o più attività. Il set di etichettatori visualizzato nella griglia includerà tutti gli etichettatori assegnati a una qualsiasi di queste attività.
• Filtro email: utilizzando questo campo, il gestore può specificare uno o più indirizzi email separati da virgole. Il set di etichettatori visualizzato nella griglia includerà tutti gli etichettatori con uno qualsiasi di questi indirizzi email.

È possibile utilizzare uno o entrambi questi filtri, ma almeno uno deve essere utilizzato.

Filtri delle attività

• Selettore attività: utilizzando questo campo, il responsabile può selezionare una o più attività. Il set di attività visualizzato nella griglia includerà tutte le attività selezionate.
• Filtri aggiuntivi:
  • Tutte le attività in pausa: se questa casella è selezionata, le attività visualizzate includeranno anche quelle in pausa.
  • Tutte le attività completate: se questa casella è selezionata, le attività visualizzate includeranno anche quelle completate (non ci sono domande disponibili su cui lavorare).
  • Tutte le attività non assegnate: se questa opzione è selezionata, le attività visualizzate includeranno anche quelle non assegnate ad alcun etichettatore.
  • Tutte le attività in corso: se questa casella è selezionata, le attività visualizzate includeranno anche quelle "in corso" (non sospese, completate o non assegnate).

Puoi utilizzare qualsiasi combinazione di questi filtri, ma almeno uno deve essere utilizzato. Questi filtri sono indipendenti l'uno dall'altro: le opzioni scelte nel filtro Etichettatori non hanno alcun effetto sulle opzioni scelte nel filtro Attività e viceversa.

Griglia dei compiti

La griglia mostra i risultati dei criteri di filtro selezionati. I labeler costituiscono l'asse Y, mentre le attività costituiscono l'asse X. Per ogni cella, il gestore può selezionare la casella di controllo per assegnare l'etichettatore corrispondente all'attività corrispondente o deselezionare la casella di controllo per rimuovere l'assegnazione dell'etichettatore corrispondente dall'attività corrispondente.

Sono disponibili anche alcune scorciatoie nei menu di ogni intestazione di riga e colonna (il menu si apre facendo clic sul pulsante con i tre puntini verticali). Ad esempio, se il gestore apre il menu in una cella di intestazione di un etichettatore, può assegnare o annullare l'assegnazione di quell'etichettatore a tutte le attività contemporaneamente. Il gestore può anche nascondere la riga o la colonna con l'opzione di menu Rimuovi oppure visualizzare le attività a cui è attualmente assegnato un etichettatore o gli etichettatori attualmente assegnati all'attività. Una volta compilate le righe e le colonne, il gestore può scegliere di rimuovere un particolare etichettatore o attività dalla griglia di assegnazione utilizzando la scorciatoia disponibile. Ciò non influirà sullo stato di assegnazione dell'attività o dei revisori rimossi. Le attività o i revisori rimossi possono essere visualizzati di nuovo nella griglia utilizzando i rispettivi filtri nella parte superiore. Solo le attività e i revisori presenti nella griglia del compito verranno utilizzati per modificare il compito dopo il commit delle modifiche.

Dopo aver apportato modifiche alle assegnazioni, il pulsante Applica modifiche nella parte superiore della pagina verrà attivato. Sarà disponibile anche il pulsante Annulla modifiche, che ripristina tutte le modifiche non salvate all'assegnazione.

Quando viene fatto clic sul pulsante Applica modifiche, al gestore viene mostrato un elenco di tutte le modifiche che verranno apportate alle assegnazioni. Dopo aver esaminato le modifiche, il gestore può annullarle o eseguirle. Se annullano le modifiche, torneranno alla pagina Compiti per continuare a modificarli. Se esegue il commit delle modifiche, i compiti verranno salvati e l'utente tornerà alla pagina Compiti.

Finché il gestore non fa clic su Commit nella pagina dell'elenco delle modifiche, le modifiche apportate nella griglia non verranno salvate.

Labeler Workbench

Labeler Workbench è l'interfaccia che Labeler utilizza per etichettare le domande. Le domande che ricevono dipendono dai pool di worker di cui fanno parte, che vengono assegnati dai gestori.

Ricevere domande

Quando viene caricato il workbench, questo tenta automaticamente di ottenere le domande da etichettare per l'etichettatore. L'operazione potrebbe non riuscire per alcuni motivi:

• Il labeler non è assegnato ad alcuna attività nel pool di labeler corrente (il workbench utilizza un pool di labeler alla volta). Potrebbero essere disponibili domande per il labeler in un altro pool di labeler.
• L'etichettatore è assegnato a una o più attività, ma nessuna delle attività ha attualmente domande disponibili per quell'etichettatore specifico. Ciò potrebbe essere dovuto a una serie di motivi:
  • Nessuna domanda in coda
  • Tutte le domande hanno soddisfatto la replica
  • Tutte le domande con le repliche rimanenti sono state assegnate ad altri etichettatori che le stanno elaborando in quel momento
  • Tutte le domande disponibili hanno lingue associate che l'etichettatore non ha.
  • L'etichettatore ha già risposto a tutte le domande a sua disposizione. Queste domande potrebbero essere ancora disponibili per altri etichettatori fino al completamento della replica.
  • L'etichettatore non può rispondere alle domande disponibili perché ha inviato risposte a istanze precedenti di queste domande. Queste domande potrebbero essere ancora disponibili per altri etichettatori.

Dopo il caricamento del workbench, l'etichettatore potrebbe esaurire le domande. In questo caso, viene visualizzato un pulsante che consente all'etichettatore di provare a recuperare di nuovo le domande (soggetto agli stessi potenziali errori descritti sopra).

Lavorare sulle domande

Quando un'etichettatrice ha una domanda in leasing, questa viene visualizzata nel workbench. L'aspetto specifico dipende dalla domanda in coda e dall'interfaccia utente configurata per l'utilizzo dell'attività.

Il banco di lavoro avvierà un timer fino alla scadenza dell'assegnazione della domanda. Al termine del timer, la domanda scadrà e verrà rimossa dal banco di lavoro per essere assegnata ad altri valutatori e mantenere la coda attiva.

Quando l'etichettatore ha inviato la risposta alla domanda, il banco di lavoro carica automaticamente la domanda successiva disponibile. In caso contrario, l'etichettatore dovrà richiedere altre domande con il pulsante Altre domande, mostrato sopra.

Stato dell'invio

Nel workbench, un etichettatore può visualizzare lo stato degli invii di risposte in due posizioni: se l'invio è riuscito, non è riuscito o è ancora in corso.

Finestra di dialogo Notifiche

Questa finestra di dialogo mostra lo stato delle risposte inviate dall'etichettatore:

• L'icona e il numero a sinistra (l'orologio arancione) rappresentano le risposte ancora in fase di invio.
• L'icona centrale (il triangolo rosso) rappresenta le risposte che non sono state inviate. L'invio non riuscito potrebbe essere dovuto a un errore del server di qualche tipo o a un problema con la connessione a internet del client.
• L'icona a destra rappresenta le risposte inviate correttamente.

Tieni presente che il conteggio non viene mantenuto nel browser. Se chiudi il workbench e lo riapri(o aggiorni la pagina), i contatori verranno reimpostati su 0.

Altri strumenti

Sono disponibili alcuni strumenti aggiuntivi in un menu aperto dal pulsante alla fine della barra degli strumenti principale.

Le opzioni sono:

• Salta: salta la domanda corrente, se l'attività consente di saltare le domande. Questo viene generalmente utilizzato se la domanda visualizzata nell'UI non funziona, ma i singoli responsabili possono dare istruzioni all'etichettatore su quando saltare una domanda. Tieni presente che un salto viene conteggiato come risposta, salvato con metadati aggiuntivi che indicano che è stato saltato e il motivo.
• Trova risposte: consente all'etichettatore di visualizzare le risposte a qualsiasi domanda cercando l'ID domanda. L'etichettatore può visualizzare solo le proprie risposte, mentre un amministratore del pool di etichettatori può visualizzare tutte le risposte.

Coda delle domande

Esiste anche una coda di domande per le quali l'etichettatore ha inviato risposte:

In questo caso, la prima risposta è stata inviata correttamente, ma l'invio della successiva non è riuscito. La risposta successiva è stata inviata correttamente e la quarta bolla rappresenta la domanda attualmente caricata e il tempo rimanente. L'ultima bolla indica il numero di domande che potrebbero essere affittate all'etichettatore. In questo modo, l'etichettatore sa quando sta per esaurire le domande da etichettare e può informare il proprio responsabile.

Un etichettatore può tornare a una domanda precedente facendo clic sulla bolla corrispondente. Se la domanda non è scaduta, l'etichettatore può modificare la risposta e inviarla di nuovo. Verrà memorizzata solo l'ultima risposta, che sovrascriverà le eventuali risposte precedenti. Tieni presente che alcune attività potrebbero non utilizzare questa funzionalità se l'invio della risposta è definitivo.

Barra degli strumenti aggiuntivi

È disponibile una barra degli strumenti che contiene strumenti aggiuntivi per il banco di lavoro. È nascosta per impostazione predefinita, ma può essere espansa se necessario.

Qui sono disponibili tre pulsanti:

• Schermo intero: apre il plug-in in modalità a schermo intero. Verrà visualizzato solo il banco di lavoro e verranno nascoste la UI del browser e le barre degli strumenti del sistema operativo. L'etichettatore può uscire da questa modalità premendo Esc o facendo di nuovo clic sullo stesso pulsante.
• Ricarica: aggiorna il plug-in attualmente visibile. Nella maggior parte dei casi, questa operazione è preferibile al ricaricamento della pagina dal browser, in quanto il ricaricamento della pagina potrebbe cancellare alcuni stati, come il tempo trascorso e le risposte inviate, e non è garantito che l'etichettatore riceva di nuovo la stessa domanda se ricarica la pagina.
• Informazioni sulla domanda: mostra alcune informazioni sulla domanda attualmente visibile, come gli ID domanda e il nome del plug-in. Annotare queste informazioni può essere utile quando si segnalano problemi con una domanda specifica, a seconda delle istruzioni del task manager.

Pagina Analytics

La pagina Analytics offre al classificatore una panoramica dei suoi contributi recenti.

In alto è presente un grafico dei tassi di contribuzione. Sotto, le stesse informazioni vengono visualizzate in formato tabellare. L'etichettatore può scegliere tra alcuni intervalli di tempo predefiniti per visualizzare i dati. Puoi accedere alla pagina Analytics facendo clic sul pulsante Analytics nella barra degli strumenti.

Creare spazio per il plug-in

Sono disponibili un paio di controlli per regolare lo spazio a disposizione del plug-in.

Il pulsante in alto (le frecce diagonali) attiva/disattiva la visibilità della barra One Google, la barra sopra che contiene il selettore dell'Account Google. Il pulsante in basso (la freccia verso il basso) attiva/disattiva la visibilità della barra degli strumenti aggiuntiva. Se combinata con la modalità a schermo intero, l'attivazione/disattivazione di entrambe le barre degli strumenti per nasconderle consente al plug-in di occupare quasi tutto lo schermo.

---

1. Un gestore di un pool di etichettatori è un utente con l'autorizzazione ad aggiungere o rimuovere etichettatori e a modificare le attività a cui sono assegnati. ↩

2. Un'attività è un insieme di domande che possono essere assegnate a uno o più etichettatori di un pool di etichettatori. ↩

3. Un pool di labeler è una raccolta di labeler gestiti da uno o più gestori. I labeler di un pool possono essere assegnati per lavorare sulle attività abilitate per quel pool. ↩