Note di rilascio
Uscita di dicembre 2022
Procedura guidata di configurazione HITL
La scheda "Configurazione" in "Human-In-The-Loop" è ora formattata come una coppia di passaggi ordinati per consentire un'esperienza di configurazione più semplice e strutturata. Ora l'utente può visualizzare passaggi separati per configurare le impostazioni relative al pool di esperti e ai filtri per attivare l'HITL, nonché selezionare le istruzioni e la posizione dei risultati per gli esperti.
Release di ottobre 2022
Dashboard di analisi dei richiedenti HITL
La funzionalità Human in the Loop ora dispone di una scheda dedicata, chiamata Analytics, che fornisce all'utente metriche e grafici per analizzare lo stato delle attività HITL per ciascun elaboratore e apportare le modifiche necessarie.
Attualmente, l'utente può visualizzare tre metriche diverse. I dati possono essere aggregati da un selettore di intervalli di tempo che offre all'utente le seguenti opzioni:
Per ogni intervallo di tempo selezionato, l'utente può visualizzare quanto segue:
- Statistiche aggregate: una visualizzazione istantanea del numero totale di documenti caricati correttamente nella coda, del numero totale di documenti completati (ovvero inviati e rifiutati) dagli esperti e del tempo trascorso dall'aggiunta del documento più vecchio nella coda per l'intervallo di tempo selezionato.
- Grafico dell'attività human-in-the-loop: un grafico che mostra i dati delle serie temporali relativi al momento in cui i documenti sono stati aggiunti alla coda (
enqueuedDocumentCount
) e al momento in cui sono stati completati dagli esperti (completedDocumentCount
). - Percentuale di attivazione di human-in-the-loop: un grafico che mostra i dati delle serie temporali relativi alla percentuale di documenti caricati che hanno attivato la revisione di human-in-the-loop nel periodo di tempo selezionato.
Release di settembre 2022
Nota: i clienti che utilizzano Document AI Workbench, gli elaboratori di ordini di acquisto (OA), fatture e spese hanno accesso a un nuovo schema che consente loro di etichettare le caselle di controllo (se definite nello schema) e di rappresentare con precisione le entità nidificate, ad esempio la relazione padre-figlio, nell'interfaccia utente di revisione e annotazione HITL. Man mano che un numero maggiore di elaboratori adeguerà il nuovo schema, queste note di rilascio verranno aggiornate di conseguenza
Entità nidificata
- L'interfaccia utente di annotazione ora supporta l'etichettatura per le entità nidificate. Il riquadro a sinistra è stato aggiornato con un nuovo aspetto per le righe nidificate per rappresentare le entità nidificate. Il valore di "parent" è la concatenazione di tutti i suoi "children".
- La selezione delle entità nel riquadro a sinistra mostra le etichette principali e secondarie.
- Anche il menu delle etichette delle entità nel documento viene aggiornato per supportare l'etichettatura delle entità nidificate.
- Se fai clic su un'etichetta nidificata, viene visualizzata una finestra di dialogo per assegnare l'entità principale corretta per l'entità secondaria nidificata.
Casella di controllo
- L'interfaccia utente di annotazione supporta le caselle di controllo per l'etichettatura. Nel riquadro a sinistra, la casella di controllo può essere modificata nella riga.
- La modifica delle caselle di controllo è disponibile anche nella finestra di dialogo di modifica dell'entità.
Uscita di agosto 2022
Seleziona etichetta entità
- L'input dell'etichetta dell'entità viene sostituito da un elenco a discesa. Questo elenco a discesa contiene le opzioni di etichetta disponibili quando aggiungi una nuova entità. Questa modifica aiuta a evitare che gli autori delle etichette facciano errori ortografici e creino etichette di entità indesiderate.
Formato data ISO
- Le date normalizzate vengono visualizzate nel formato data ISO 8601(aaaa-mm-gg).
Uscita di luglio 2022
Pulsante Conferma rapida
- Nelle descrizioni comando delle entità è disponibile un pulsante Conferma per rivedere e confermare rapidamente un valore dell'entità/dell'etichetta. Il pulsante Modifica viene rimosso, in quanto gli utenti possono fare clic direttamente sulla descrizione comando dell'entità per apportare modifiche.
Release di gennaio 2022
Opzioni per l'etichetta delle entità
- Le opzioni di selezione delle etichette delle entità ora sono limitate all'elenco dei campi filtrati(impostato nella configurazione del filtro HITL).
Campi mancanti
- Ora mostriamo i campi mancanti (ovvero i campi contrassegnati come "Obbligatorio" nella configurazione del filtro HITL, ma per i quali l'utente che elabora i dati non ha previsto valori) in un colore rosso distinto, in modo che il revisore possa aggiornare facilmente il valore del campo.
Campioni completi casuali
- Ora supportiamo la revisione completa (ovvero di tutte le entità del documento, non solo dei campi filtrati) di un campione casuale (ad es. il 2% del volume giornaliero) di documenti. Questo è utile per monitorare la deriva del modello e le analisi sull'accuratezza del processore in ogni campo. Raccogliamo queste analisi, che vengono utilizzate per sapere quando è necessario un nuovo addestramento. Inoltre, funge da set di dati con dati empirici reali etichettati per l'addestramento avanzato dei modelli.
- I clienti possono attivare e impostare il campione casuale [1-10%] in base al volume. Sarebbe utile scegliere un target di 100-500 campioni a settimana. Pertanto, se il cliente elabora 10.000 documenti a settimana, questo valore può essere impostato su 500/10000 = 5%
Configurazione HITL semplificata per i nuovi utenti
- Abbiamo semplificato la configurazione HITL BYOL per i clienti che utilizzano HITL per la prima volta, in modo che possano configurare rapidamente un'attività, assegnare gli specialisti e lanciarla da un'unica schermata, in modo da poterla provare rapidamente prima di aumentare il volume di produzione o esternalizzare l'operazione.
- Come mostrato nello screenshot seguente, l'utente viene impostato come gestore predefinito del pool e può aggiungere altri esperti, che vengono assegnati automaticamente all'attività nella stessa schermata.
- In precedenza, al gestore assegnato veniva inviato un link alla Console del gestore in cui poteva aggiungere gli esperti e assegnare loro l'attività.
- Dopo aver inviato l'attività, l'utente (e gli altri esperti assegnati) possono accedere all'app HITL per esaminare i documenti.
- L'utente può anche caricare un documento di test (uno alla volta) nella coda di attività.
Rimuovi il separatore di riga finale
- I ritorni a capo finali("\n") vengono rimossi in entity.mentionText.
Release di dicembre 2021
Ordina le entità con punteggio di confidenza basso in alto
- Le entità con punteggi di confidenza bassi (ovvero al di sotto della soglia di confidenza) ora vengono ordinate nella parte superiore della pagina, consentendo allo specialista di concentrarsi su queste entità. Ciò aumenta ulteriormente l'efficienza dell'etichettatura.
Istruzioni facoltative per le attività BYOL
- Le istruzioni PDF da caricare per configurare un'attività HITL ora sono facoltative. In questo modo, i test e i lanci interni rapidi vengono semplificati, in quanto gli esperti non hanno bisogno di una guida alle istruzioni.
Opzioni Adatta alla larghezza e Adatta all'altezza della pagina
- Pulsante per adattare la pagina alla larghezza o all'altezza. Questa opzione è utile quando gli esperti hanno documenti di dimensioni variabili (ad es. ricevute) in un'attività.
Nome dell'attività visualizzato nell'interfaccia utente di Specialist
- Il nome dell'attività viene ora mostrato nell'interfaccia utente dell'esperto per fornire un contesto aggiuntivo sull'attività e sul tipo di documento, il che è molto utile quando l'esperto è assegnato a più attività.
- Tieni presente che questo viene visualizzato nei nuovi processori creati dopo questa release.
Casella di ricerca per gli esperti
- Gli esperti possono cercare entità/testo nei documenti. Questa opzione è utile soprattutto per i documenti di grandi dimensioni e con più pagine e aumenta la produttività degli esperti.
Release di settembre 2021
Attiva/disattiva per mostrare tutti i campi
- Gli etichettatori potrebbero dover esaminare e aggiornare i campi che non fanno parte dell'insieme di entità filtrato per documenti specifici in coda. Puoi attivare/disattivare l'opzione Mostra tutte le previsioni per consentire agli etichettatori di esaminare i campi non filtrati.
HITL per l'analizzatore sintattico di moduli
- HITL ora supporta l'analizzatore sintattico di moduli, pertanto gli utenti possono esaminare e correggere le coppie chiave/valore estratte dall'analizzatore sintattico di moduli. Il cliente può attivare HITL nel processore di analisi dei moduli nella piattaforma DocAI e configurare i nomi delle chiavi (come mostrato nello screenshot di seguito) che vuole filtrare per la revisione HITL. L'output HITL viene inserito come file JSON nel bucket Google Cloud Storage specificato dal cliente al termine della revisione HITL.
- Possono specificare nomi di chiavi alternative separati da virgole, ad esempio "customer, customer name, client, account #, account number", in modo che il filtro HITL acquisisca i documenti con tutte le varianti dei nomi di chiavi e li invii per la revisione HITL.
Uscita di agosto 2021
Pipeline di audit/controllo qualità
- HITL ora consente una seconda fase di controllo qualità o di revisione e segnala l'accuratezza delle attività di revisione (e degli etichettatori). Un team di QA o un revisore può essere assegnato come "etichettatore esperto" a un'attività. Il team QA/l'auditor riceve X per cento (ad esempio 1-100%, configurabile dal cliente) dei documenti esaminati. L'Auditore può correggere l'output del Revisore. Il sistema monitora le correzioni e assegna un punteggio di accuratezza (ad es. 90%) a ogni documento sottoposto a controllo. Il punteggio di accuratezza aggregato di un'attività o di un etichettatore viene riportato rispettivamente nelle dashboard di Dati attività e Dati etichettatori.
- Di seguito sono riportate istruzioni dettagliate sulla configurazione di una pipeline di controllo.
- Designazione di un revisore
- Accuratezza dei report
Parser Lending AI (15 agosto)
- HITL è ora supportato in alcuni analizzatori di AI per i prestiti, tra cui 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, buste paga, estratti conto bancari, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R.
Release di luglio 2021
Code standard e urgenti (2 luglio)
- Ora supportiamo 2 code di priorità (anziché 1) per ogni elaboratore, in base all'urgenza di ciascun documento.
- Invio: dopo la previsione, i documenti estratti possono essere valutati in base all'urgenza e inviati a due code (standard o urgente/fast-track) in base all'urgenza del documento. Ad esempio, le fatture con date di scadenza urgenti possono essere inviate alla coda Fast-track. La logica che valuta l'urgenza è attualmente al di fuori di HITL e può essere una funzione personalizzata.
- Assegnazione delle attività: il gestore dell'etichettatura vede due code diverse con priorità diverse, come mostrato nello screenshot di seguito, e può assegnare lo stesso gruppo di etichettatori a entrambe le code.
- Assegnazione della priorità alle attività: gli etichettatori assegnati a entrambe le attività elaboreranno sempre prima i documenti in attesa nella coda Fast-track prima di elaborare la coda standard (ovvero l'assegnazione della priorità alla coda viene gestita automaticamente dal sistema).
- Chiamata API: imposta il campo priority in ReviewDocument
- Screenshot dell'interfaccia utente (delle attività nell'interfaccia utente di Labeling Manager) -
Release di giugno 2021
Filtri di convalida per l'endpoint HITL (24 giugno)
- I filtri di convalida (configurati nel processore) che filtrano i campi in base al punteggio di affidabilità per determinare i documenti da mettere in coda per la revisione da parte di persone fisiche, ora vengono applicati anche ai documenti inviati all'endpoint HITL.
- Quando chiami l'API ReviewDocument, imposta il campo enable_schema_validation su true.
- Tieni presente che, se questo valore è impostato e la convalida decide che non è necessario attivare la revisione da parte di persone fisiche, viene restituito un errore CANCELLED.
API di annullamento
Il cliente può annullare un documento in coda per l'elaborazione HITL chiamando l'API Cancel per un determinato ID operazione. Viene restituito un ID operazione per ogni documento inviato ad attività HITL.
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo di fattura (revisione della classificazione)
- Labeler Workbench supporta la revisione della classificazione del tipo di fattura.
Report Tempo in coda (HITL Latency SLO)
- Un report mostra il numero di documenti in coda per più di 18 ore e più di 24 ore. Questo è utile per gli utenti che devono gestire un'aspettativa SLO sulla latenza HITL.
URL noto per Labeler Workbench
- Ora gli etichettatori assegnati a un singolo pool possono accedere alla Workbench tramite un URL noto e non devono cercare URL indecifrabili inviati nelle notifiche via email (dal sistema o dal Labeling Manager). Questo URL non funziona per gli assegnatori di etichette assegnati a più pool.
Impostazione di zoom fisso
- Ora il plug-in memorizza l'impostazione di zoom dell'etichettatore (a tutta larghezza o a pagina intera) per le revisioni dei documenti successive in coda, in modo che non debba aumentare lo zoom per ogni documento.
HITL per l'analizzatore sintattico di moduli
- HITL ora supporta l'analisi del modulo. Gli utenti possono esaminare e correggere le coppie chiave/valore estratte dal parser di moduli, attivare HITL sul processore del parser di moduli nella piattaforma DocAI e configurare i nomi delle chiavi (come mostrato nello screenshot di seguito) che vogliono filtrare per la revisione HITL. L'output HITL viene salvato in file JSON nel bucket Google Cloud Storage specificato dal cliente al termine della revisione HITL.
- Screenshot dell'interfaccia utente per configurare HITL sugli analizzatori sintattici dei moduli
- Interfaccia utente per configurare la convalida a livello di chiave
- Interfaccia utente di Labeler
Pipeline di audit/controllo qualità
- HITL ora consente una seconda fase di controllo qualità o di revisione e segnala l'accuratezza delle attività di revisione (e degli etichettatori). Un team di QA o un revisore può essere assegnato come "etichettatore esperto" a un'attività. Il team QA/l'auditor riceverà X per cento (ad esempio 1-100%, configurabile dal cliente) dei documenti esaminati. L'Auditore può correggere l'output del Revisore. Il sistema monitora le correzioni e assegna un punteggio di accuratezza (ad es. 90%) a ogni documento sottoposto a controllo. Il punteggio di accuratezza aggregato di un'attività o di un etichettatore viene riportato rispettivamente nelle dashboard di Dati attività e Dati etichettatori. Di seguito sono riportate istruzioni dettagliate sulla configurazione di una pipeline di controllo.
Designazione di un revisore
Accuratezza dei report
Parser di Document AI per i prestiti (31 luglio)
- HITL è ora supportato su alcuni analizzatori sintattici di AI per i prestiti, tra cui 1040, 1040 Schedule E, 1040 Schedule C, 1099 DIV, 1099 G, 1099 INT, 1099 MISC, buste paga, estratti conto bancari, W2, W9, 1120, 1120S, 1065, SSA-1099, 1099 NEC, 1099-R
Code standard e Fast Track (2 luglio)
- Ora supportiamo 2 code di priorità (anziché 1) per ogni elaboratore, in base all'urgenza di ciascun documento.
- Invio: dopo la previsione, i documenti estratti possono essere valutati in base all'urgenza e inviati a due code (standard o urgente/fast-track) in base all'urgenza del documento. Ad esempio, le fatture con date di scadenza urgenti possono essere inviate alla coda Fast-track. La logica che valuta l'urgenza può essere inserita tramite una funzione personalizzata.
- Assegnazione delle attività: il gestore dell'etichettatura vede due code diverse con priorità diverse, come mostrato nello screenshot di seguito, e può assegnare lo stesso gruppo di etichettatori a entrambe le code.
- Assegnazione della priorità alle attività: gli etichettatori assegnati a entrambe le attività elaboreranno sempre per primi i documenti in attesa nella coda Fast-track prima di elaborare la coda standard (ovvero l'assegnazione della priorità alla coda viene gestita automaticamente dal sistema).
- Chiamata API: imposta il campo priority in ReviewDocument
- Screenshot dell'interfaccia utente (delle attività nell'interfaccia utente di Labeling Manager)
Filtri di convalida per l'endpoint HITL (24 giugno)
- I filtri di convalida (configurati nel processore) che filtrano i campi in base al punteggio di affidabilità per determinare i documenti da mettere in coda per la revisione da parte di persone fisiche, ora vengono applicati anche ai documenti inviati all'endpoint HITL.
- Quando chiami l'API
ReviewDocument
, imposta il campo enable_schema_validation su true. Tieni presente che se questo valore è impostato e la convalida decide che non è necessario attivare la revisione umana del documento, verrà restituito un errore CANCELLED.
API di annullamento
Puoi annullare un documento in coda per l'elaborazione HITL richiamando l'API Cancel per un determinato ID operazione. [viene restituito un ID operazione per ogni documento inviato ad attività HITL]
`POST https://[us|eu]-documentai.googleapis.com/{api_version}/{name=projects/*/operations/*}:cancel`
Tipo di fattura (revisione della classificazione)
- Labeler Workbench supporta la revisione della classificazione del tipo di fattura.
Report Tempo in coda (HITL Latency SLO)
- Un report mostra il numero di documenti in coda per più di 18 ore e più di 24 ore. Questo è utile per gli utenti che devono gestire un'aspettativa SLO sulla latenza HITL.
URL noto per Labeler Workbench
- Gli etichettatori assegnati a un singolo pool ora possono accedere alla Workbench all'URL noto https://datacompute.corp.google.com/w/. Questa opzione è utile nel caso in cui tu perda l'email con l'URL inviata dal sistema o da Labeling Manager. Questo URL non funziona per gli assegnatori di etichette assegnati a più pool.
Impostazione di zoom fisso
- Ora il plug-in memorizza l'impostazione di zoom di un etichettatore (a tutta larghezza o a pagina intera) per le revisioni dei documenti successive in coda, in modo che non debba aumentare lo zoom per ogni documento.