Un job di valutazione continua definisce il modo in cui AI Platform Data Labeling Service esegue le prestazioni continue la valutazione su un modello della versione di cui di cui è stato eseguito il deployment in AI Platform Prediction. Quando crei un job di valutazione per una versione del modello, iniziano a essere avvengono nel seguente modo:
- Quando la versione del modello pubblica le previsioni online, l'input e l'output per di queste previsioni vengono salvate in una tabella BigQuery.
- A intervalli regolari, il job di valutazione continua viene eseguito ed esegue le seguenti attività:
- Il job crea un set di dati di Data Labeling Service con tutte le nuove righe in BigQuery dall'ultima esecuzione.
- (Facoltativo) Il job invia una richiesta di etichettatura per chiedere ai revisori di fornire etichette basate su dati empirici reali per le previsioni.
- Il job calcola un insieme di metriche di valutazione, che puoi visualizzare nella console Google Cloud.
Prima di iniziare
Prima di iniziare, devi eseguire il deployment di una versione del modello in AI Platform Prediction che soddisfano requisiti specifici del modello. Devi anche abilitare determinate API Google Cloud. Leggi Prima di iniziare una valutazione per scoprire come soddisfare questi i tuoi requisiti.
Configura le opzioni di base
Le sezioni seguenti descrivono come andare alla pagina di creazione del job e e configurare i dettagli di base del job di valutazione.
Vai alla pagina di creazione del job
Per creare un job di valutazione per una versione del modello, vai alla pagina corrispondente nella console Google Cloud e apri la pagina di creazione del job:
Apri la pagina Modelli AI Platform nella console Google Cloud:
Fai clic sul nome del modello contenente la versione del modello per la quale vuoi creare un job di valutazione.
Fai clic sul nome della versione del modello per la quale vuoi creare un job di valutazione. Non può avere già un job di valutazione associato.
Fai clic sulla scheda Valutazione. Quindi, fai clic su Configura job di valutazione.
Specifica descrizione, obiettivo del modello, etichette e percentuale di campionamento
I passaggi seguenti descrivono i dettagli di configurazione di base necessari specificare nel modulo di creazione del job:
Aggiungi una descrizione per il job di valutazione nel campo Descrizione del job.
Specifica il tipo di attività eseguita dal modello di machine learning nel modello Obiettivo. Scopri di più sui tipi di modelli di machine learning supportati dalla valutazione continua.
- Se il modello esegue la classificazione, specifica se esegue la classificazione con una sola etichetta o con più etichette nel campo Tipo di classificazione.
- Se il modello esegue il rilevamento di oggetti immagine,specifica intersezione sull'unione (IOU) minimo tra 0 e 1. Definisce il grado di somiglianza con il limite previsto dal modello riquadri devono essere confrontati con i riquadri di delimitazione dei dati di fatto per considerata una previsione corretta.
Nel campo Percorso file dell'etichetta di previsione, specifica il percorso di un file CSV in Cloud Storage che contiene le possibili etichette per per le previsioni. Questo file definisce un set di specifiche di annotazione per il tuo un modello di machine learning. Scopri come strutturare .
Nel campo Percentuale di campionamento giornaliera specifica la percentuale di le previsioni fornite dalla versione del modello in cui vuoi esportare di BigQuery e analizzati nell'ambito di una valutazione continua.
Inoltre, specifica un limite di campioni giornalieri per impostare un valore massimo per il numero di previsioni da campionare durante un singolo periodo di valutazione.
Ad esempio, potresti voler campionare il 10% delle previsioni per la valutazione continua. Tuttavia, se ricevi molte previsioni in un determinato giorno, devi assicurarti di non campionare mai più di 100 previsioni per l'esecuzione del job di valutazione di quel giorno. (Un numero elevato di previsioni può richiedere di etichettare e incorrere in più servizi di etichettatura dei dati del previsto).
Specifica la tabella BigQuery
Nel campo Tabella BigQuery, devi specificare il nome di una tabella BigQuery in cui il servizio di etichettatura dei dati può archiviare le previsioni campionate dalla versione del modello.
Se specifichi il nome di una tabella che non esiste ancora, Data Labeling Service creerà una tabella con lo schema corretto.
Devi fornire il nome completo della tabella nel seguente formato:
bq://YOUR_PROJECT_ID.YOUR_DATASET_NAME.YOUR_TABLE_NAME
- YOUR_PROJECT_ID deve essere l'ID del progetto in cui ti trovi sta creando un job di valutazione.
- YOUR_DATASET_NAME può essere qualsiasi set di dati BigQuery valido di destinazione. Il set di dati non deve necessariamente esistono ancora.
- YOUR_TABLE_NAME può essere qualsiasi tabella BigQuery valida di destinazione.
Se la tabella specificata esiste già, deve avere i valori corretti schema della valutazione continua:
| Nome campo | Tipo | Modalità |
|---|---|---|
| modello | STRING | REQUIRED |
| model_version | STRING | REQUIRED |
| tempo | TIMESTAMP | REQUIRED |
| raw_data | STRING | REQUIRED |
| raw_prediction | STRING | NULLABLE |
| dati empirici reali | STRING | NULLABLE |
La tabella non deve avere altre colonne oltre a queste.
Specifica le chiavi di previsione
Devi specificare le chiavi di determinati campi nell'input in modo che il servizio di etichettatura dei dati possa estrarre le informazioni necessarie dall'input e dall'output JSON della previsione non elaborata archiviati nella tabella BigQuery. Assicurati che la versione del modello accetta l'input e restituisce le previsioni nel standard. Quindi fornisci i campi chiavi pertinenti:
Chiave dei dati: la chiave di un campo nell'input di previsione della versione del modello che contiene i dati utilizzati per la previsione. Se abiliti l'etichettatura umana, Data Labeling Service fornisce questi dati a revisori per fornire le basi etichette di dati di fatto. Inoltre, le utilizza per mostrare confronti affiancati quando visualizzi le metriche di valutazione nella console Google Cloud.
Se la versione del modello esegue la classificazione del testo o la classificazione generale, devi fornire questa chiave. Se la versione del modello esegue la classificazione delle immagini o il rilevamento di oggetti nelle immagini e accetta immagini con codifica base64 come input per le previsioni, devi fornire anche questa chiave.
Chiave di riferimento dati: la chiave di un campo nella previsione della versione del modello. che contiene il percorso Cloud Storage di un'immagine. Data Labeling Service carica questa immagine e la utilizza per le stesse finalità per cui utilizza la chiave dati.
Fornisci questa chiave solo se la versione del modello esegue la classificazione delle immagini o il rilevamento di oggetti nelle immagini e accetta i percorsi delle immagini in Cloud Storage come input di previsione. Almeno una Chiave dei dati e una Chiave di riferimento dei dati. è obbligatorio.
Chiave dell'etichetta di previsione: la chiave di un campo nell'output della previsione della versione del modello che contiene un array di etichette previste. Data Labeling Service confronta questi valori con quelli basati su dati di fatto in ordine per calcolare metriche di valutazione come le matrici di confusione.
Questo campo è obbligatorio.
Chiave del punteggio di previsione: la chiave di un campo nell'output della previsione della versione del modello che contiene un array di punteggi previsti. Data Labeling Service utilizza questi valori insieme alle etichette di previsione e alle etichette basate su dati empirici reali per calcolare le metriche di valutazione come le curve di precisione e recupero.
Questo campo è obbligatorio.
Chiave del riquadro di delimitazione: la chiave di un campo nell'output della previsione della versione del modello che contiene un array di riquadri di delimitazione. Questo è necessario per valutare il rilevamento di oggetti nelle immagini.
Fornisci questa chiave solo se la versione del modello esegue il rilevamento di oggetti nelle immagini.
Esempi di chiavi di previsione
La seguente sezione fornisce esempi di come fornire chiavi di previsione per diversi tipi di modelli:
Classificazione delle immagini
Esempio di codifica Base64
Supponiamo che la versione del modello possa accettare il seguente input:
{
"instances": [
{
"image_bytes": {
"b64": "iVBORw0KGgoAAAANSUhEUgAAAAYAAAAGCAYAAADgzO9IAAAAhUlEQVR4AWOAgZeONnHvHcXiGJDBqyDTXa+dVC888oy51F9+eRdY8NdWwYz/RyT//znEsAjEt277+syt5VMJw989DM/+H2MI/L8tVBQk4d38xcWp7ctLhi97ZCZ0rXV6yLA4b6dH59sjTq3fnji1fp4AsWS5j7PXstRg+/b3gU7N351AQgA8+jkf43sjaQAAAABJRU5ErkJggg=="
}
}
]
}
Supponiamo che restituisca il seguente output:
{
"predictions": [
{
"sentiments": [
"happy"
],
"confidence": [
"0.8"
]
}
]
}
Quindi fornisci le seguenti chiavi:
- Chiave dei dati:
image_bytes/b64 - Chiave etichetta previsione:
sentiments - Chiave punteggio di previsione:
confidence
Esempio di riferimento Cloud Storage
Supponiamo che la versione del modello possa accettare il seguente input:
{
"instances": [
{
"image_path": "gs://cloud-samples-data/datalabeling/image/flower_1.jpeg"
}
]
}
Supponiamo che restituisca il seguente output:
{
"predictions": [
{
"sentiments": [
"happy"
],
"confidence": [
"0.8"
]
}
]
}
Quindi fornisci le seguenti chiavi:
- Chiave di riferimento dei dati:
image_path - Chiave etichetta di previsione:
sentiments - Chiave del punteggio di previsione:
confidence
Classificazione del testo
Supponiamo che la versione del modello possa accettare il seguente input:
{
"instances": [
{
"text": "If music be the food of love, play on;"
}
]
}
Supponiamo che restituisca il seguente output:
{
"predictions": [
{
"sentiments": [
"happy"
],
"confidence": [
"0.8"
]
}
]
}
Quindi fornisci le seguenti chiavi:
- Chiave dei dati:
text - Chiave etichetta di previsione:
sentiments - Chiave del punteggio di previsione:
confidence
Classificazione generale
Supponiamo che la versione del modello possa accettare il seguente input:
{
"instances": [
{
"weather": [
"sunny",
72,
0.22
]
}
]
}
Supponiamo che restituisca il seguente output:
{
"predictions": [
{
"sentiments": [
"happy"
],
"confidence": [
"0.8"
]
}
]
}
Quindi fornisci le seguenti chiavi:
- Chiave dati:
weather - Chiave etichetta previsione:
sentiments - Chiave del punteggio di previsione:
confidence
Rilevamento di oggetti nelle immagini
Esempio di codifica Base64
Supponiamo che la versione del modello possa accettare il seguente input:
{
"instances": [
{
"image_bytes": {
"b64": "iVBORw0KGgoAAAANSUhEUgAAAAYAAAAGCAYAAADgzO9IAAAAhUlEQVR4AWOAgZeONnHvHcXiGJDBqyDTXa+dVC888oy51F9+eRdY8NdWwYz/RyT//znEsAjEt277+syt5VMJw989DM/+H2MI/L8tVBQk4d38xcWp7ctLhi97ZCZ0rXV6yLA4b6dH59sjTq3fnji1fp4AsWS5j7PXstRg+/b3gU7N351AQgA8+jkf43sjaQAAAABJRU5ErkJggg=="
}
}
]
}
Supponiamo che restituisca il seguente output:
{
"predictions": [
{
"bird_locations": [
{
"top_left": {
"x": 53,
"y": 22
},
"bottom_right": {
"x": 98,
"y": 150
}
}
],
"species": [
"rufous hummingbird"
],
"probability": [
0.77
]
}
]
}
Quindi fornisci le seguenti chiavi:
- Chiave dati:
image_bytes/b64 - Chiave etichetta previsione:
species - Chiave punteggio di previsione:
probability - Chiave della casella delimitante:
bird_locations
Esempio di riferimento Cloud Storage
Supponiamo che la versione del modello possa accettare il seguente input:
{
"instances": [
{
"image_path": "gs://cloud-samples-data/datalabeling/image/flower_1.jpeg"
}
]
}
Supponiamo che restituisca il seguente output:
{
"predictions": [
{
"bird_locations": [
{
"top_left": {
"x": 53,
"y": 22
},
"bottom_right": {
"x": 98,
"y": 150
}
}
],
"species": [
"rufous hummingbird"
],
"probability": [
0.77
]
}
]
}
Quindi fornisci le seguenti chiavi:
- Chiave di riferimento dei dati:
image_path - Chiave etichetta previsione:
species - Chiave punteggio di previsione:
probability - Chiave della casella delimitante:
bird_locations
Specifica il metodo dei dati empirici reali
La valutazione continua funziona confrontando le previsioni del modello di machine learning con le etichette basate su dati empirici reali annotate da persone. Seleziona la modalità che preferisci per creare etichette basate su dati di fatto facendo clic sull'opzione Dati di fatto che preferisci :
Servizio di etichettatura gestito da Google: se selezioni questa opzione, ogni volta che viene eseguito il job di valutazione, Data Labeling Service invia tutti i nuovi dati campionati a revisori umani per l'etichettatura con dati empirici reali. Si applicano i prezzi di Data Labeling Service. Se scegli questa opzione, devi fornire istruzioni in formato PDF per l'etichettatura dell'input di previsione. Scopri come scrivi bene istruzioni.
Fornisci le tue etichette: se selezioni questa opzione, devi aggiungere il terreno di affidabilità alla tabella BigQuery del job di valutazione. Devi aggiungere etichette basate su dati empirici reali per tutti i nuovi input di previsione campionati prima della successiva esecuzione del job di valutazione. Per impostazione predefinita, un job viene eseguito ogni giorno alle 10:00 UTC, quindi devi aggiungere etichette basate su dati empirici reali ogni giorno per qualsiasi nuova riga della tabella BigQuery prima di quel momento. In caso contrario, i dati non verranno valutati e verrà visualizzato un errore nella console Google Cloud.
Questa è l'unica opzione se la versione del modello esegue una classificazione generale.
Crea il tuo job
Fai clic sul pulsante Crea per creare il job di valutazione. Input previsione e dovrebbe iniziare a campionare la versione del modello immediatamente nella tabella BigQuery.
Passaggi successivi
Scopri come visualizzare le metriche di valutazione.