Guida rapida: completa un'attività di revisione

Ogni elaboratore crea un'"attività HITL" che viene assegnata a un pool di etichettatori umani (chiamato "pool di etichettatori") che esaminano i documenti elaborati dall'elaboratore. Una volta elaborati, questi documenti vengono messi in coda nell'attività per la revisione HITL dal pool di etichettatori assegnato.

Prima di iniziare

Prima di continuare, completa la guida rapida precedente: Configura la revisione umana.

Aggiungi etichette

  1. Dopo aver configurato la revisione da parte di persone fisiche, dovresti ricevere un'email simile alla seguente:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Fai clic sul link nell'email (o taglia e incollalo nel browser) per accedere alla pagina Amministrazione:

  2. L'attività creata dal nuovo elaboratore ha lo stesso nome dell'elaboratore (ad es. "Fatture reparto A") ed è elencata nella scheda Attività.

  3. Fai clic sulla scheda Etichettatori

  4. Fai clic su Aggiungi etichettatore e aggiungi almeno un etichettatore (email). Un gestore può essere un etichettatore, quindi puoi aggiungerti.

  5. Per un pool di etichettatori appena creato, l'attività deve essere assegnata esplicitamente al singolo etichettatore nella scheda Attività. In altre parole, l'aggiunta del pool di etichettatori non assegna automaticamente l'attività a questi nuovi etichettatori. Se il pool di etichettatori ha già eseguito il provisioning degli etichettatori, il pool viene assegnato automaticamente all'attività.

Pubblicare un documento iniziale da esaminare

  1. Invia un documento per l'estrazione tramite il processore creato. Fai riferimento alle guide pratiche in base alle tue esigenze. Attualmente, sia le chiamate online (sincrone) sia quelle batch (asincrone) supportano il routing per la revisione da parte di persone fisiche per i processori supportati.

    A scopo di test, puoi utilizzare un'estrazione di scarsa qualità nota in modo da attivare la revisione da parte di persone fisiche perché il punteggio di attendibilità è inferiore alla soglia oppure puoi impostare la soglia su 100%. I limiti per i documenti sono generalmente 5 pagine, massimo 20 MB, ma controlla i limiti specifici del processore.

    Esiste un'API per monitorare ogni documento inviato alla revisione da parte di persone fisiche. Nell'ambito della risposta dei processori, è presente una stringa humanReviewOperation che corrisponde all'ID operazione (nome del job) del documento all'interno della revisione da parte di persone fisiche. È possibile eseguire una query sullo stato di questa operazione a lunga esecuzione (chiamata anche LRO).

    Puoi eseguire una query sullo stato di un documento inviato alla revisione umana con il metodo projects.locations.operations.get

  2. Puoi forzare la revisione umana di un documento con il metodo reviewDocument (tieni presente che è specifico per il processore):

    L'utilizzo del metodo reviewDocument richiede la selezione della casella di controllo Revisione umana ATTIVATA. L'utilizzo di questa API non ha la precedenza sulle impostazioni di configurazione.

    Per utilizzare questo metodo, puoi seguire la guida Richiedere una revisione da parte di persone fisiche.

Esamina il documento

  1. Se il documento attiva la procedura di revisione da parte di persone fisiche, ma non sono presenti labeler nel pool, il gestore riceverà un'email.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Questi link consentono al gestore dell'etichettatura di allocare il lavoro di etichettatura.

  1. Se gli etichettatori non sono registrati nel gruppo di etichettatura e sono stati appena aggiunti, il gestore delle etichette deve inviare un'email simile con le istruzioni agli etichettatori aggiunti.

Passaggi del Labeler

Procedura per l'etichettatore

  1. Indirizzo email dell'etichettatore

    Se un'etichettatrice è già registrata a un gruppo di etichettatura nel passaggio 2e, il sistema la assocerà automaticamente e riceverà un'email come questa:

    immagine

    Il link in questa email è il meccanismo che consente all'etichettatore selezionato di eseguire l'etichettatura del documento.

  2. Azioni di etichettatura:

    Quando un etichettatore fa clic sul link per eseguire l'etichettatura, vedrà l'interfaccia utente di revisione umana dell'IA interattiva mostrata di seguito. Le righe evidenziate (in giallo) indicano le righe che non superano la convalida (ovvero sono al di sotto della soglia del punteggio di attendibilità configurata) e che devono essere esaminate.

    immagine

  3. Revisione Se passi il cursore sopra un campo di testo riconosciuto, viene visualizzato il testo riconosciuto e (in un carattere più piccolo sotto) il nome del campo (schema). La riga viene evidenziata anche nel riquadro di sinistra.

    L'utente può aumentare/diminuire lo zoom con le icone della lente d'ingrandimento in alto a sinistra della barra degli strumenti.

    immagine

  4. Modifica campo

    Se fai clic (a sinistra) sul campo, puoi modificarlo:

    Puoi modificare il valore o l'etichetta nel riquadro a sinistra. Poi fai clic su Applica.

    IN ALTERNATIVA, facendo clic su una delle icone di ridimensionamento angolare nell'immagine del documento, puoi ridimensionare il riquadro di delimitazione attorno al testo del documento:

    Come mostrato, se viene selezionato un testo diverso, il testo nel campo Valore nel riquadro a sinistra verrà modificato. Se necessario, puoi modificare ulteriormente questo testo. Poi fai clic su Applica.

    Assicurati di esaminare tutte le pagine utilizzando il controllo pagine nell'angolo in alto a destra.

Dopo aver apportato tutte le modifiche necessarie alle etichette, fai clic su INVIA (in basso a sinistra). Il file JSON del risultato verrà salvato nella cartella "Posizione dei risultati".

Se non è possibile etichettare il documento in modo soddisfacente, puoi fare clic su RIFIUTA (in basso a sinistra) e selezionare un motivo per il rifiuto: - Seleziona un motivo, quindi fai clic su Rifiuta documento.

Gli autori delle etichette possono anche fare clic sulle seguenti icone nell'angolo in alto a destra:

  • Analytics: per mostrare quanti documenti hanno esaminato (Risposte) e il tempo totale.
  • Notifiche: per mostrare le notifiche ricevute.
  • Altro (tre puntini): per saltare il documento, trovare risposte o fornire un feedback (se abilitato).
  • Attiva/disattiva barra del titolo (frecce diagonali): nasconde (o mostra) la barra del titolo di DataCompute per avere più spazio.

Gestore etichette

Rivedi il documento da Cloud Storage

Se vuoi controllare il documento, hai due opzioni:

  • Opzione 1:

    1. Individua Cloud Storage dalla posizione configurata in precedenza
    2. Recuperare e scaricare i documenti

  • Opzione 2:

    1. Ricorda l'URI per recuperare il documento dalla risposta della previsione
    2. URI chiamata per recuperare il documento esaminato

Passaggi successivi