Interfaccia utente di Labeling Manager e Labeler Workbench

Attenzione: Document AI Human-in-the-Loop è deprecato e non sarà più disponibile su Google Cloud dopo il 16 gennaio 2025. I nuovi clienti non sono consentiti. Se vuoi utilizzare (HITL), ma non la vedi disponibile, contatta il team degli Account Google.

Per implementare una soluzione di revisione e correzione umana che soddisfi i tuoi requisiti, ti consigliamo di collaborare con un Google Cloud partner certificato come Devoteam, Searce o Quantiphi. Per informazioni dettagliate, vedi i ritiri.

Interfaccia utente di Gestione

L'interfaccia utente di Labeling Manager consente ai gestori¹ di amministrare il lavoro degli etichettatori nelle attività². I gestori possono utilizzare questa interfaccia utente per aggiungere o rimuovere etichettatori, assegnare o annullare l'assegnazione di attività e monitorare l'avanzamento delle attività e le analisi sul rendimento di ciascun etichettatore.

A sinistra è riportato un elenco di tutti i Google Cloud pool di etichettatori³ abilitati per il progetto di cui l'utente è amministratore. Il numero a destra del nome del pool di etichettatori indica il numero di etichettatori in quel pool. A destra si trovano i contenuti principali dell'interfaccia utente, costituiti da quattro schede:

• Tasks
• Etichette
• Compiti

Tasks

La tabella delle attività è una visualizzazione di tutte le attività nel Google Cloud progetto del pool di etichettatori. Contiene alcune statistiche di base sull'attività, nonché la possibilità di metterla in pausa e percorsi rapidi per l'assegnazione degli etichettatori alle attività.

Filtri

Sopra la griglia di dati è presente un insieme di controlli filtro per determinare quali attività vengono visualizzate nella griglia di dati.

• Cerca attività per nome: filtra i risultati in base al nome inserito. Include la funzionalità di completamento automatico.
• In corso: se questa opzione è selezionata, i risultati includeranno tutte le attività che non sono in pausa, completate o non assegnate. Questa opzione è attiva per impostazione predefinita.
• In pausa: se questa opzione è selezionata, i risultati includeranno tutte le attività in pausa.
• Completate: se questa opzione è selezionata, i risultati includeranno tutte le attività completate, ovvero quelle per cui non sono disponibili domande (perché non sono ancora state inserite in coda o perché a tutte le domande in coda è stata data risposta).
• Non assegnata: se questa opzione è selezionata, i risultati includeranno tutte le attività a cui non sono stati assegnati assegnatori di etichette.

Se non sono selezionati filtri, si tratta di un errore e la pagina chiederà al gestore di effettuare alcune selezioni di filtri. Se una delle caselle di controllo non è selezionata, le attività corrispondenti alla condizione della casella di controllo verranno escluse a meno che l'attività non corrisponda a una delle condizioni della casella selezionata. Ad esempio, se un'attività è in pausa e non assegnata, verrà visualizzata se è selezionata la casella di controllo In pausa o la casella di controllo Non assegnata (o entrambe). Questo risultato non viene visualizzato se non sono selezionate né la casella di controllo In pausa né la casella di controllo Non assegnata.

La griglia di dati

• La prima colonna contiene una casella di controllo per ogni riga. Se il gestore seleziona una o più di queste caselle di controllo e fa clic sul pulsante Gestisci assegnazione sopra la tabella, verrà visualizzata la pagina Attività, con le attività selezionate già inserite nel filtro Attività.
• La colonna Attività mostra il nome dell'attività. Viene impostato dalla persona che crea l'attività ed è un nome leggibile (ad es. "Classificazione del curriculum") anziché un identificatore interno (ad es. "cloud_data_67523fe89343").
• La colonna Scopo contiene il nome dello scopo, che descrive il tipo di attività (classificazione delle immagini, classificazione del testo e così via).
• La colonna "Ultima inserita in coda" contiene la data in cui è stata inserita in coda la domanda più recente (vuota se non sono ancora state inserite in coda domande per l'attività).
• La colonna Assegnato mostra il numero di assegnatori attualmente assegnati all'attività. Fornisce inoltre l'accesso a una finestra di dialogo in cui il gestore può annullare l'assegnazione degli etichettatori. L'amministratore non può effettuare l'assegnazione da questa finestra di dialogo, ma deve utilizzare la pagina Assegnazione.
• La colonna Domande disponibili/in coda mostra il rapporto tra il numero di domande dell'attività attualmente disponibili per essere elaborate dagli etichettatori e il numero totale di domande attualmente in coda nell'attività.
• La colonna Aggiornamento mostra una visualizzazione grafica e in percentuale del rapporto riportato sopra. Mostra anche se l'attività è in pausa (non vengono mostrate domande), come indicato nella riga inferiore della tabella nello screenshot sopra.
• La colonna Azioni contiene un menu con alcune azioni aggiuntive da eseguire sull'attività:
  • Metti in pausa: disponibile solo se l'attività non è attualmente in pausa. Mette in pausa l'attività.
  • Riprendi: disponibile solo se l'attività è attualmente in pausa. Riprende l'attività.
  • Compito: fornisce una scorciatoia alla pagina Compito, con l'attività inizialmente selezionata nei filtri.

Sopra la tabella di dati è presente un controllo di paginazione, con il quale il gestore può decidere di mostrare più risultati per pagina e spostarsi tra le pagine di risultati.

Labeler

La tabella degli etichettatori è una visualizzazione di tutti gli etichettatori nel pool di etichettatori. Contiene alcune statistiche di base sull'etichettatore, nonché un modo per assegnarlo rapidamente a Tasks.

Filtri

Sopra la griglia di dati è presente una casella di filtro che filtra i risultati in base alle email inserite. Più email possono essere separate da virgole.

Aggiungi etichettatore

Il pulsante Aggiungi apre una finestra di dialogo in cui il gestore può aggiungere uno o più assegnatori di etichette al pool. È possibile inserire più indirizzi email separati da virgole. È possibile inserire anche i codici lingua (ad es. "it", "de"), separati da virgole. La stessa persona (email) può comparire in più pool di etichettatori e avere assegnazioni diverse in ogni pool.

La finestra di dialogo mostrerà un riepilogo degli utenti che hanno aggiunto o meno etichette. Un segno di spunta indica che l'etichettatore è stato aggiunto correttamente, mentre la X rossa indica che non è stato possibile aggiungerlo (ad esempio perché esiste già nel pool).

Griglia di dati

• La prima colonna contiene una casella di controllo per ogni riga. Se il gestore seleziona una o più di queste caselle di controllo e fa clic sul pulsante Gestisci assegnazione sopra la tabella, viene visualizzata la pagina Assegnazioni, con gli assegnatori selezionati già inseriti nel filtro Assegnatori.
• La colonna Email mostra l'indirizzo email dell'etichettatore.
• La colonna Attività assegnate mostra il numero di attività a cui è assegnato l'etichettatore. Fornisce inoltre l'accesso a una finestra di dialogo da cui il gestore può annullare l'assegnazione dell'etichettatore da una o più attività. Il gestore non può effettuare l'assegnazione da questa finestra di dialogo. Per assegnare un compito, il gestore deve utilizzare la pagina Compito.
• La colonna Lingue mostra le lingue a cui è associato l'etichettatore. Questi valori possono influire sulle domande che un etichettatore può acquisire in licenza, a seconda della configurazione della domanda al momento dell'inserimento in coda.
• La colonna Azioni contiene un menu con alcune azioni aggiuntive da eseguire sull'attività:
  • Compito: fornisce una scorciatoia alla pagina Compito, con l'etichettatore selezionato inizialmente nei filtri.
  • Elimina: rimuove l'etichettatore dal pool di etichettatori corrente.

Sopra la tabella di dati è presente un controllo di paginazione, con il quale il gestore può decidere di mostrare più risultati per pagina e spostarsi tra le pagine di risultati.

Compiti

La pagina delle assegnazioni consente ai gestori di gestire le assegnazioni alle attività per gli etichettatori nel pool di etichettatori.

Filtri

I contenuti della griglia dei compiti sono determinati da due insiemi di criteri di filtro: i filtri di etichettatura, che determinano cosa viene visualizzato sull'asse Y, e i filtri delle attività, che determinano cosa viene visualizzato sull'asse X.

Filtri di Labeler

• Selettore di attività: con questo campo, il gestore può selezionare una o più attività. L'insieme di etichettatori visualizzato nella griglia includerà tutti gli etichettatori assegnati a una di queste attività.
• Filtro Email: con questo campo, il gestore può specificare uno o più indirizzi email separati da virgole. L'insieme di utenti che assegnano le etichette visualizzato nella griglia includerà tutti gli utenti che assegnano le etichette con uno di questi indirizzi email.

È possibile utilizzare uno o entrambi questi filtri, ma è obbligatorio utilizzarne almeno uno.

Filtri attività

• Selettore di attività: con questo campo, il gestore può selezionare una o più attività. L'insieme di attività visualizzato nella griglia includerà tutte le attività selezionate.
• Filtri aggiuntivi:
  • Tutte le attività in pausa: se questa opzione è selezionata, le attività visualizzate includeranno anche le attività in pausa.
  • Tutte le attività completate: se questa opzione è selezionata, le attività visualizzate includeranno anche le attività completate (non sono disponibili domande su cui lavorare).
  • Tutte le attività non assegnate: se questa opzione è selezionata, le attività visualizzate includeranno anche quelle non assegnate a nessun assegnatore di etichette.
  • Tutte le attività in corso: se questa opzione è selezionata, le attività visualizzate includeranno anche quelle "in corso" (non in pausa, completate o non assegnate).

È possibile utilizzare qualsiasi combinazione di questi filtri, ma è necessario utilizzarne almeno uno. Questi filtri sono indipendenti l'uno dall'altro; le opzioni scelte nel filtro Etichettatori non influiscono sulle opzioni scelte nel filtro Attività e viceversa.

Griglia dei compiti

La griglia mostra i risultati dei criteri di filtro selezionati. I labeler costituiscono l'asse Y e le attività l'asse X. Per ogni cella, l'amministratore può selezionare la casella di controllo per assegnare l'etichettatore corrispondente all'attività corrispondente oppure deselezionarla per annullare l'assegnazione dell'etichettatore all'attività corrispondente.

Sono disponibili anche alcune scorciatoie nei menu di ogni riga di intestazione e cella di intestazione di colonna (il menu si apre facendo clic sul pulsante con i tre puntini verticali). Ad esempio, se il gestore apre il menu in una cella dell'intestazione dell'etichettatore, può assegnare o annullare l'assegnazione dell'etichettatore a tutte le attività contemporaneamente. Il gestore può anche nascondere la riga o la colonna con l'opzione di menu Rimuovi oppure visualizzare le attività a cui è attualmente assegnato un etichettatore o gli etichettatori attualmente assegnati all'attività. Durante la compilazione delle righe e delle colonne, il gestore può scegliere di rimuovere un determinato etichettatore o un'attività dalla griglia dei compiti utilizzando la scorciatoia disponibile. Ciò non influirà sullo stato dell'assegnazione della Task o degli etichettatori rimossi. Le attività o gli etichettatori rimossi possono essere mostrati di nuovo nella griglia utilizzando i rispettivi filtri in alto. Solo le attività e gli etichettatori presenti nella griglia del compito verranno utilizzati per modificarlo dopo l'applicazione delle modifiche.

Dopo aver apportato le modifiche ai compiti, il pulsante Applica modifiche nella parte superiore della pagina verrà attivato. Sarà disponibile anche il pulsante Ignora modifiche; facendo clic su questo pulsante, verranno reimpostate eventuali modifiche non committate del compito.

Quando si fa clic sul pulsante Applica modifiche, al gestore viene mostrato un elenco di tutte le modifiche che verranno apportate ai compiti. Dopo aver esaminato le modifiche, l'amministratore può annullarle o confermarle. Se annulla le modifiche, tornerà alla pagina Compiti per continuare a modificarli. Se l'utente conferma le modifiche, i compiti verranno confermati e tornerà alla pagina Compiti.

Finché il gestore non fa clic su Applica nella pagina dell'elenco delle modifiche, le modifiche apportate nella griglia non verranno salvate.

Labeler Workbench

Labeler Workbench è l'interfaccia utilizzata da Labeler per etichettare le domande. Le domande che ricevono dipendono dai pool di worker di cui fanno parte, che vengono assegnati dai gestori.

Ricevere domande

Quando viene caricato il workbench, viene tentato automaticamente di ottenere domande per l'etichettatura. L'operazione potrebbe non riuscire per diversi motivi:

• Il labeler non è assegnato a nessuna attività nel pool di labeler corrente (il workbench utilizza un pool di labeler alla volta). Potrebbero essere disponibili domande per il labeler in un altro pool di labeler.
• L'etichettatore è assegnato a una o più attività, ma nessuna delle attività ha domande disponibili per quel determinato etichettatore. Ciò potrebbe essere dovuto a una serie di motivi:
  • Nessuna domanda in coda
  • Tutte le domande hanno soddisfatto i requisiti di replica
  • Tutte le domande con repliche rimanenti sono state concesse in licenza ad altri etichettatori che al momento le stanno utilizzando
  • A tutte le domande disponibili sono associate lingue che non sono presenti nell'etichettatore.
  • L'etichettatore ha già risposto a tutte le domande a sua disposizione. Queste domande potrebbero essere ancora disponibili per altri etichettatori fino al completamento della replica.
  • L'etichettatore non può rispondere alle domande disponibili perché ha inviato risposte a precedenti istanze di queste domande. Queste domande potrebbero essere ancora disponibili per altri autori delle domande.

Dopo aver caricato il workbench, l'etichettatore potrebbe non avere più domande. In questo caso, viene visualizzato un pulsante che consente all'etichettatore di riprovare a ricevere le domande (con gli stessi potenziali errori descritti sopra).

Lavorare sulle domande

Quando un etichettatore ha una domanda in leasing, questa viene visualizzata nel workbench. L'aspetto specifico dipende dalla domanda in coda e dall'interfaccia utente che l'attività è configurata per utilizzare.

Il workbench avvierà un timer fino alla scadenza dell'assegnazione della domanda. Al termine del timer, la domanda scadrà e verrà rimossa dalla workbench per essere assegnata ad altri valutatori e mantenere attiva la coda.

Quando l'etichettatore ha inviato la risposta alla domanda, la workbench carica automaticamente la domanda successiva disponibile. In caso contrario, l'etichettatore dovrà richiedere altre domande con il pulsante Richiedi altre domande, mostrato sopra.

Stato dell'invio

Nella workbench sono presenti due punti in cui un etichettatore può visualizzare lo stato delle risposte inviate: se l'invio è andato a buon fine, non è andato a buon fine o è ancora in corso.

Finestra di dialogo Notifiche

Questa finestra di dialogo mostra lo stato delle risposte inviate dall'etichettatore:

• L'icona e il numero a sinistra (l'orologio arancione) rappresentano le risposte che sono ancora in fase di invio.
• L'icona al centro (il triangolo rosso) rappresenta le risposte che non sono state inviate. L'invio non riuscito potrebbe essere dovuto a un errore del server o a un problema di connessione a internet del client.
• L'icona a destra mostra le risposte inviate correttamente.

Tieni presente che il conteggio non viene mantenuto nel browser. Se chiudi la Workbench e la riapri(o aggiorni la pagina), i contatori vengono reimpostati su 0.

Altri strumenti

Esistono alcuni strumenti aggiuntivi disponibili in un menu aperto dal pulsante alla fine della barra degli strumenti principale.

Le opzioni sono:

• Salta: salta la domanda corrente, se l'attività ha il salto abilitato. Questo valore viene generalmente utilizzato se la domanda visualizzata nell'interfaccia utente è errata, ma i singoli gestori possono dare istruzioni all'etichettatore su quando saltare una domanda. Tieni presente che un salto viene conteggiato come una risposta, salvata con metadati aggiuntivi che indicano che è stata saltata e il motivo.
• Trova risposte: porta alla pagina Risposte, che consente all'etichettatore di visualizzare le proprie risposte a qualsiasi domanda cercando l'ID domanda. L'assegnatore di etichette può visualizzare solo le proprie risposte, mentre un gestore del pool di assegnatori di etichette può visualizzarle tutte.

Coda di domande

Esiste anche una coda di domande per le quali l'etichettatore ha inviato risposte:

In questo caso, la prima risposta è stata inviata correttamente, ma non è stato possibile inviare la risposta successiva. La risposta successiva è stata inviata correttamente e la quarta bolla rappresenta la domanda attualmente caricata e il tempo rimanente. La bolla finale indica il numero di domande che potrebbero essere concesse in licenza all'etichettatore. In questo modo, l'etichettatore può sapere quando sta per esaurire le domande da etichettare e può informare il proprio gestore.

Un etichettatore può tornare a una domanda precedente facendo clic sulla relativa bolla. Se la domanda non è scaduta, l'etichettatore può modificare la risposta e inviarla di nuovo. Verrà memorizzata solo l'ultima risposta, che sovrascriverà qualsiasi risposta precedente. Tieni presente che in alcune attività potrebbe essere richiesto di non utilizzare questa funzionalità se l'invio della risposta è definitivo.

Barra degli strumenti degli strumenti aggiuntivi

È disponibile una barra degli strumenti contenente strumenti aggiuntivi per la piattaforma di lavoro. È nascosta per impostazione predefinita, ma può essere espansa se necessario.

Qui sono disponibili tre pulsanti:

• Schermo intero: il plug-in si apre in modalità a schermo intero. Verrà visualizzata solo la Workbench e verranno nascoste l'interfaccia utente del browser e le eventuali barre degli strumenti del sistema operativo. L'etichettatrice può uscire da questa modalità premendo Esc o facendo di nuovo clic sullo stesso pulsante.
• Ricarica: aggiorna il plug-in attualmente visibile. Questa opzione è preferibile alla ricarica della pagina dal browser nella maggior parte dei casi, poiché la ricarica della pagina potrebbe cancellare alcuni stati, come il tempo trascorso e le risposte inviate, e non è garantito che l'etichettatore riceva di nuovo la stessa domanda se ricarica la pagina.
• Informazioni sulla domanda: vengono visualizzate alcune informazioni sulla domanda attualmente visibile, ad esempio gli ID domanda e il nome del plug-in. Prendere nota di queste informazioni può essere utile per segnalare problemi relativi a una domanda specifica, a seconda delle istruzioni del gestore delle attività.

Pagina di analisi

La pagina Dati fornisce all'etichettatore una visualizzazione dei suoi contributi recenti.

In alto è presente un grafico dei tassi di contributo. Di seguito sono riportate le stesse informazioni visualizzate in formato tabulare. L'etichettatore può scegliere tra alcuni intervalli di tempo predefiniti per visualizzare i dati. Puoi accedere alla pagina Dati facendo clic sul pulsante Dati nella barra degli strumenti.

Fare spazio per il plug-in

Sono disponibili un paio di controlli per regolare lo spazio a disposizione del plug-in.

Il pulsante in alto (le frecce diagonali) attiva/disattiva la visibilità della barra One Google, la barra sopra contenente il selettore dell'Account Google. Il pulsante in basso (la freccia verso il basso) attiva/disattiva la visibilità della barra degli strumenti degli strumenti aggiuntivi. Se la combini con la modalità a schermo intero, nascondendo entrambe le barre degli strumenti, il plug-in occuperà quasi tutto lo schermo.

---

1. Un gestore di un pool di etichettatori è un utente con l'autorizzazione per aggiungere o rimuovere etichettatori e per modificare le attività a cui sono assegnati. ↩

2. Un'attività è una raccolta di domande che può essere assegnata a uno o più assegnatori di etichette da un pool di assegnatori di etichette. ↩

3. Un pool di labeler è una raccolta di labeler gestiti da uno o più gestori. I labeler di un pool possono essere assegnati a lavorare su Tasks abilitati per quel pool. ↩