Questa pagina descrive le metriche di valutazione del modello che puoi utilizzare per rilevare il bias del modello, che può apparire nell'output di previsione del modello dopo l'addestramento del modello. Per gli esempi e la notazione in questa pagina, utilizziamo un ipotetico set di dati per le applicazioni universitarie, descritto in dettaglio in Introduzione alla valutazione dell'equità del modello.
Per descrizioni delle metriche generate dai dati di preaddestramento, consulta Metriche di bias dei dati.
Panoramica
Nel nostro esempio di set di dati per le applicazioni universitarie, abbiamo 200 candidati dalla California nella sezione 1 e 100 in Florida nella sezione 2. Dopo aver addestrato il modello, abbiamo le seguenti matrici di confusione:
| Candidati in California | Accettazioni (previste) | Rifiuti (previsti) |
|---|---|---|
| Accettazioni (dati empirici reali) | 50 (vero positivo) | 10 (falso negativo) |
| Rifiuti (dati empirici reali) | 20 (falso positivo) | 120 (veri negativi) |
| Richiedenti in Florida | Accettazioni (previste) | Rifiuti (previsti) |
|---|---|---|
| Accettazioni (dati empirici reali) | 20 (veri positivi) | 0 (falso negativo) |
| Rifiuti (dati empirici reali) | 30 (falso positivo) | 50 (veri negativi) |
Generalmente, puoi interpretare il segno per la maggior parte delle metriche nel seguente modo:
Valore positivo: indica un potenziale bias che favorisce la sezione 1 rispetto alla sezione 2.
Valore zero: indica l'assenza di bias tra la sezione 1 e la sezione 2.
Valore negativo: indica un potenziale bias a favore della sezione 2 rispetto alla sezione 1.
Prendiamo nota dei casi in cui ciò non si applica a una metrica.
Differenza di accuratezza
La differenza di accuratezza misura la differenza di accuratezza tra la sezione 1 e la sezione 2:
((veri positivi per la sezione 1 + veri negativi per la sezione 1)/Numero totale di istanze per la sezione 1) - ((veri positivi per la sezione 2 + veri negativi per la sezione 2)/Numero totale di istanze per la sezione 2)
Nel nostro set di dati di esempio:
((50 richieste di accettazioni californiane previste correttamente + 120 richieste di adesione alla California correttamente previste)/ 200 candidati per la California) - ((20 richieste di accettazione per la Florida previste correttamente + 50 richieste di adesione in Florida previste correttamente)/ 100 candidati per la Florida) = 170/200 - 70/100 = 0,15
Il valore positivo della differenza di accuratezza indica che il modello è più accurato per i candidati in California rispetto a quelli in Florida. Ciò potrebbe indicare un potenziale pregiudizio a favore dei candidati in California.
Differenza di proporzioni positive nelle etichette previste (DPPPL)
La differenza nelle proporzioni positive nelle etichette previste (DPPPL) misura se il modello ha una tendenza a effettuare previsioni sproporzionatamente più positive per una sezione rispetto all'altra. DPPPL calcola la differenza nelle proporzioni positive nelle etichette previste, dove le proporzioni positive nelle etichette previste corrispondono a (risultati positivi previsti/numero totale di istanze) per una sezione:
((veri positivi per la sezione 1 + falsi positivi per la sezione 1)/Numero totale di istanze per la sezione 1) - ((veri positivi per la sezione 2 + falsi positivi per la sezione 2)/Numero totale di istanze per la sezione 2)
Per il nostro set di dati di esempio:
((50 accettazioni californiane previste correttamente + 20 accettazioni californiane previste in modo errato)/ 200 candidati per la California) - ((20 accettazioni per la Florida previste correttamente + 30 accettazioni per la Florida previste in modo errato)/ 100 richiedenti per la Florida) = 70/200 - 50/100 = -0,15
Il valore negativo del DPPPL indica che il modello accetta in modo sproporzionato più candidati per la Florida rispetto a quelli in California.
Differenza di richiamo
Differenza di richiamo misura la differenza nel richiamo tra la sezione 1 e la sezione 2, guardando solo i risultati etichettati positivi. La differenza di richiamo può anche essere chiamata Pari opportunità.
(Vero positivi per la sezione 1/(veri positivi per la sezione 1 + falsi negativi per la sezione 1)) - (veri positivi per la sezione 2/(veri positivi per la sezione 2 + falsi negativi per la sezione 2))
Nel nostro set di dati di esempio:
(50 accettazioni californiane previste correttamente/(50 accettazioni californiane previste correttamente + 10 accettazioni californiane previste correttamente)) - (20 accettazioni della Florida previste correttamente/(20 accettazioni della Florida previste correttamente + 0 rifiuti della Florida previsti erroneamente)) = 50/60 - 20/20 = -0,17
Il valore negativo indica che il modello è più adatto a ricordare i candidati in Florida rispetto a quelli in California. In altre parole, il modello tende a essere più preciso nelle sue decisioni di accettazione per la Florida rispetto ai candidati in California.
Differenza di specificità
La differenza di specificità misura la differenza di specificità, nota anche come tasso di veri e propri negativi, tra la sezione 1 e la sezione 2. Possiamo considerarla come la differenza di richiamo, ma per risultati negativi etichettati:
(Veri negativi per la sezione 1/(veri negativi per la sezione 1 + falsi positivi per la sezione 1)) - (veri negativi per la sezione 2/(veri negativi per la sezione 2 + falsi positivi per la sezione 2))
Nel nostro set di dati di esempio:
(120 rifiuti californiani previsti correttamente/(120 rifiuti californiani previsti correttamente + 20 accettazioni californiane previste correttamente)) - (50 rifiuti della Florida previsti correttamente/(50 rifiuti della Florida previsti correttamente + 30 accettazioni della Florida previste in modo errato)) = 120/140- 50/80 = 0,23
Il valore positivo indica che, per le domande rifiutate, il modello ha un ricordo migliore per i candidati in California rispetto a quelli in Florida. In altre parole, il modello tende a essere più corretto nelle decisioni di rifiuto per i candidati provenienti dalla California rispetto a quelli della Florida.
Differenza nel rapporto dei tipi di errore
La differenza nel rapporto dei tipi di errore misura la differenza nella modalità di distribuzione degli errori (falsi negativi e falsi positivi) tra la sezione 1 e 2. Il Rapporto del tipo di errore viene calcolato come (Falsi negativi (errore di tipo I)/Falso positivo (errore di tipo II)). La differenza nel rapporto dei tipi di errore può anche essere chiamata Uguaglianza di trattamento.
(Falsi negativi per la sezione 1/Falsi positivi per la sezione 1) - (Falsi negativi per la sezione 2/Falsi positivi per la sezione 2)
Nel nostro set di dati di esempio:
(10 hanno previsto in modo errato le accettazioni della California/20 hanno previsto in modo errato le accettazioni della California) - (0 hanno previsto in modo errato i rifiuti della Florida/30 hanno previsto erroneamente le accettazioni della Florida) = (10/20 - 0/30) = 0,5
Sebbene il modello commetta 30 errori sia per i candidati in California sia per quelli della Florida, il valore positivo per la differenza nel rapporto dei tipi di errore indica che il modello tende a sovrastimare i risultati positivi (falsi positivi più alti) e quindi a prevedere risultati negativi (errori falsi negativi inferiori) per i candidati californiani, rispetto ai candidati della Florida.
Il segno della differenza nel rapporto dei tipi di errore può essere generalmente interpretato come:
Valore positivo: indica che il modello restituisce errori falsi positivi in modo sproporzionato rispetto agli errori falsi negativi per la sezione 1.
Valore zero: indica che il modello genera la stessa quantità di errori falsi positivi per entrambe le sezioni.
Valore negativo: indica che il modello restituisce errori falsi positivi in modo sproporzionato rispetto agli errori falsi negativi per la sezione 2.
Il segno di questa metrica non indica necessariamente un bias nel modello, perché la nocività dei falsi negativi o dei falsi positivi dipende dall'applicazione del modello.
Passaggi successivi
Leggi il riferimento del componente della pipeline di valutazione del modello.
Scopri di più sulle metriche di equità nel sondaggio sui bias e sull'equità nel machine learning.