mentre HITL Labeler Workbench fornisce un'interfaccia WYSIWYG (What You See Is What You Get) che mappa le entità del documento sulle etichette estratte, il che semplifica il confronto e la correzione per l'etichettatore. È necessario un documento di istruzioni per indicare agli etichettatori umani quali etichette cercare e aggiungere, nel caso in cui non vengano rilevate dal modello Document AI o dai filtri di convalida di HITL. È incluso quanto segue:
- Quali etichette esaminare.
- Se alcuni campi sono obbligatori o facoltativi.
- Qualsiasi logica di business da
- Etichette corrette (ad esempio, aggiungi "USA" per gli indirizzi degli Stati Uniti che non specificano USA).
- Rifiuta i documenti con il campo di rifiuto corretto,ad esempio rifiuta le fatture superiori a 10.000 $.
- Nomi di etichette speciali nel documento che vengono mappati alle etichette dello schema, in modo che l'etichettatore possa aggiungerli, ad esempio "Numero cliente" = "Numero account".
- Questi possono essere configurati come filtri nella configurazione dell'attività human-in-the-loop.
Progettare istruzioni efficaci
Istruzioni chiare sono il fattore più importante per ottenere buoni risultati di etichettatura umana. Le istruzioni efficaci sono quelle che indicano agli etichettatori umani cosa vuoi che facciano. Ecco alcune linee guida per creare istruzioni efficaci:
- Gli etichettatori umani potrebbero non avere le tue conoscenze del dominio. Le distinzioni che chiedi agli etichettatori di fare devono essere facili da comprendere per chi non ha familiarità con il tuo caso d'uso.
- Evita di creare istruzioni troppo lunghe. L'ideale è che un etichettatore possa esaminarli e comprenderli entro 20 minuti.
- Le istruzioni devono descrivere il concetto dell'attività, nonché i dettagli su come etichettare i dati.
- Se le istruzioni hanno un set di etichette corrispondente, devono coprire tutte le etichette del set. Il nome dell'etichetta nelle istruzioni deve corrispondere a quello nel set di etichette.
- Spesso sono necessarie diverse iterazioni per creare istruzioni efficaci. Ti consigliamo di etichettare prima un piccolo set di dati, quindi di modificare le istruzioni in base a ciò che vedi nei risultati che ricevi.
Un buon file di istruzioni deve includere le seguenti sezioni:
- Elenco e descrizione delle etichette: elenca tutte le etichette utilizzate e descrivi il significato di ciascuna.
- Esempi: per ogni etichetta, fornisci almeno tre esempi positivi e uno negativo. Questi esempi devono coprire casi diversi.
- Copri i casi limite. Definisci il maggior numero possibile di casi limite. In questo modo, l'etichettatore non dovrà interpretare l'etichetta. Ad esempio, se devi disegnare un riquadro di delimitazione per una persona, è meglio specificare:
- Se ci sono più persone, hai bisogno di una casella per ognuna?
- Se una persona è occlusa, hai bisogno di un riquadro?
- Hai bisogno di una casella per una persona mostrata parzialmente nell'immagine?
- Hai bisogno di un riquadro per una persona in una foto o in un dipinto?
- Descrivi come aggiungere annotazioni. Ad esempio:
- Per un riquadro di delimitazione, ti serve un riquadro stretto o largo?
- Per l'estrazione delle entità di testo, dove deve iniziare e terminare l'entità interessata?
- Chiarimento sulle etichette. Se due etichette sono simili o facili da confondere, fornisci esempi per chiarire le differenze.
Esempi visivi
L'esempio visivo fornisce chiarimenti agli etichettatori su dove aspettarsi diverse entità nel documento e su come vengono mappate alle etichette estratte nello schema. Includi esempi visivi nelle istruzioni, come i seguenti:
