Guida rapida: completa un'attività di revisione
Ogni elaboratore crea un'"attività HITL" che viene assegnata a un pool di etichettatori umani (chiamato "pool di etichettatori") che esaminano i documenti elaborati dall'elaboratore. Una volta elaborati, questi documenti vengono messi in coda nell'attività per la revisione HITL dal pool di etichettatori assegnato.
Prima di iniziare
Prima di continuare, completa la guida rapida precedente: Configura la revisione umana.Aggiungi etichette
- Dopo aver configurato la revisione da parte di persone fisiche, dovresti ricevere un'email simile alla seguente:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group
Hello AI Platform Customer,
You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/
Sincerely,
The Google Cloud AI Team
Fai clic sul link nell'email (o taglia e incollalo nel browser) per accedere alla pagina Amministrazione:
L'attività creata dal nuovo elaboratore ha lo stesso nome dell'elaboratore (ad es. "Fatture reparto A") ed è elencata nella scheda Attività.
Fai clic sulla scheda Etichettatori
Fai clic su Aggiungi etichettatore e aggiungi almeno un etichettatore (email). Un gestore può essere un etichettatore, quindi puoi aggiungerti.
Per un pool di etichettatori appena creato, l'attività deve essere assegnata esplicitamente al singolo etichettatore nella scheda Attività. In altre parole, l'aggiunta del pool di etichettatori non assegna automaticamente l'attività a questi nuovi etichettatori. Se il pool di etichettatori ha già eseguito il provisioning degli etichettatori, il pool viene assegnato automaticamente all'attività.
Pubblicare un documento iniziale da esaminare
Invia un documento per l'estrazione tramite il processore creato. Fai riferimento alle guide pratiche in base alle tue esigenze. Attualmente, sia le chiamate online (sincrone) sia quelle batch (asincrone) supportano il routing per la revisione da parte di persone fisiche per i processori supportati.
A scopo di test, puoi utilizzare un'estrazione di scarsa qualità nota in modo da attivare la revisione da parte di persone fisiche perché il punteggio di attendibilità è inferiore alla soglia oppure puoi impostare la soglia su 100%. I limiti per i documenti sono generalmente 5 pagine, massimo 20 MB, ma controlla i limiti specifici del processore.
Esiste un'API per monitorare ogni documento inviato alla revisione da parte di persone fisiche. Nell'ambito della risposta dei processori, è presente una stringa
humanReviewOperation
che corrisponde all'ID operazione (nome del job) del documento all'interno della revisione da parte di persone fisiche. È possibile eseguire una query sullo stato di questa operazione a lunga esecuzione (chiamata anche LRO).Puoi eseguire una query sullo stato di un documento inviato alla revisione umana con il metodo
projects.locations.operations.get
Puoi forzare la revisione umana di un documento con il metodo
reviewDocument
(tieni presente che è specifico per il processore):L'utilizzo del metodo
reviewDocument
richiede la selezione della casella di controllo Revisione umana ATTIVATA. L'utilizzo di questa API non ha la precedenza sulle impostazioni di configurazione.Per utilizzare questo metodo, puoi seguire la guida Richiedere una revisione da parte di persone fisiche.
Esamina il documento
Se il documento attiva la procedura di revisione da parte di persone fisiche, ma non sono presenti labeler nel pool, il gestore riceverà un'email.
> Hello AI Platform Customer, > > There is a running task for Project with Job ID 404298342016955xxxx,\ > Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\ > Display name \ > datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\ > replication count 1\ > Please see attachment for instruction.\ > Please add labelers and have them finish the task at Labeler console \ > [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\ > To view details, visit Manager console \ > [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }. > > Sincerely,\ The Google Cloud AI Team
Questi link consentono al gestore dell'etichettatura di allocare il lavoro di etichettatura.
Se gli etichettatori non sono registrati nel gruppo di etichettatura e sono stati appena aggiunti, il gestore delle etichette deve inviare un'email simile con le istruzioni agli etichettatori aggiunti.
Passaggi del Labeler
Procedura per l'etichettatore
Indirizzo email dell'etichettatore
Se un'etichettatrice è già registrata a un gruppo di etichettatura nel passaggio 2e, il sistema la assocerà automaticamente e riceverà un'email come questa:
Il link in questa email è il meccanismo che consente all'etichettatore selezionato di eseguire l'etichettatura del documento.
Azioni di etichettatura:
Quando un etichettatore fa clic sul link per eseguire l'etichettatura, vedrà l'interfaccia utente di revisione umana dell'IA interattiva mostrata di seguito. Le righe evidenziate (in giallo) indicano le righe che non superano la convalida (ovvero sono al di sotto della soglia del punteggio di attendibilità configurata) e che devono essere esaminate.
Revisione Se passi il cursore sopra un campo di testo riconosciuto, viene visualizzato il testo riconosciuto e (in un carattere più piccolo sotto) il nome del campo (schema). La riga viene evidenziata anche nel riquadro di sinistra.
L'utente può aumentare/diminuire lo zoom con le icone della lente d'ingrandimento in alto a sinistra della barra degli strumenti.
Modifica campo
Se fai clic (a sinistra) sul campo, puoi modificarlo:
Puoi modificare il valore o l'etichetta nel riquadro a sinistra. Poi fai clic su Applica.
IN ALTERNATIVA, facendo clic su una delle icone di ridimensionamento angolare nell'immagine del documento, puoi ridimensionare il riquadro di delimitazione attorno al testo del documento:
Come mostrato, se viene selezionato un testo diverso, il testo nel campo Valore nel riquadro a sinistra verrà modificato. Se necessario, puoi modificare ulteriormente questo testo. Poi fai clic su Applica.
Assicurati di esaminare tutte le pagine utilizzando il controllo pagine nell'angolo in alto a destra.
Dopo aver apportato tutte le modifiche necessarie alle etichette, fai clic su INVIA (in basso a sinistra). Il file JSON del risultato verrà salvato nella cartella "Posizione dei risultati".
Se non è possibile etichettare il documento in modo soddisfacente, puoi fare clic su RIFIUTA (in basso a sinistra) e selezionare un motivo per il rifiuto: - Seleziona un motivo, quindi fai clic su Rifiuta documento.
Gli autori delle etichette possono anche fare clic sulle seguenti icone nell'angolo in alto a destra:
- Analytics: per mostrare quanti documenti hanno esaminato (Risposte) e il tempo totale.
- Notifiche: per mostrare le notifiche ricevute.
- Altro (tre puntini): per saltare il documento, trovare risposte o fornire un feedback (se abilitato).
- Attiva/disattiva barra del titolo (frecce diagonali): nasconde (o mostra) la barra del titolo di DataCompute per avere più spazio.
Gestore etichette
Rivedi il documento da Cloud Storage
Se vuoi controllare il documento, hai due opzioni:
Opzione 1:
- Individua Cloud Storage dalla posizione configurata in precedenza
- Recuperare e scaricare i documenti
Opzione 2:
- Ricorda l'URI per recuperare il documento dalla risposta della previsione
- URI chiamata per recuperare il documento esaminato
Passaggi successivi
- Gestisci le attività di etichettatura utilizzando la console Gestione etichette.
- Consulta un elenco e le descrizioni dei processori disponibili.