Auf dieser Seite werden Messwerte für die Modellbewertung beschrieben, mit denen Sie die Modellverzerrung erkennen können. Diese können in der Ausgabe der Modellvorhersage angezeigt werden, nachdem Sie das Modell trainiert haben. Für die Beispiele und Notation auf dieser Seite verwenden wir ein hypothetisches Dataset für Hochschulbewerbungen, das wir unter Einführung in die Modellbewertung für Fairness ausführlich beschreiben.
Eine Beschreibung der Messwerte, die aus den Daten vor dem Training generiert werden, finden Sie unter Daten-Verzerrungsmesswerte.
Überblick
In unserem Beispiel-Dataset für Hochschulbewerbungen befinden sich 200 Bewerber aus Kalifornien in Slice 1 und 100 Bewerber aus Florida in Slice 2. Nach dem Training des Modells haben wir die folgenden Wahrheitsmatrizes:
| Bewerber aus Kalifornien | Zulassungen (prognostiziert) | Ablehnungen (prognostiziert) |
|---|---|---|
| Zulassungen (Ground Truth) | 50 (richtig positiv) | 10 (falsch negativ) |
| Ablehnungen (Ground Truth) | 20 (falsch positiv) | 120 (richtig negativ) |
| Bewerber aus Florida | Zulassungen (prognostiziert) | Ablehnungen (prognostiziert) |
|---|---|---|
| Zulassungen (Ground Truth) | 20 (richtig positiv) | 0 (falsch negativ) |
| Ablehnungen (Ground Truth) | 30 (falsch positiv) | 50 (richtig negativ) |
Im Allgemeinen können Sie das Vorzeichen für die meisten Messwerte so interpretieren:
Positiver Wert: gibt eine mögliche Verzerrung an, bei der Slice 1 gegenüber Slice 2 bevorzugt wird.
Nullwert: gibt keine Verzerrung zwischen Slice 1 und Slice 2 an.
Negativer Wert: gibt eine mögliche Verzerrung an, bei der Slice 2 gegenüber Slice 1 bevorzugt wird.
Wir weisen darauf hin, wenn dies für einen Messwert nicht zutrifft.
Genauigkeitsdifferenz
Die Genauigkeitsdifferenz misst die Differenz in der Genauigkeit zwischen Slice 1 und Slice 2:
((Richtig positive Ergebnisse für Slice 1 + Richtig negative Ergebnisse für Slice 1)/Gesamtzahl der Instanzen für Slice 1) - ((Richtig positive Ergebnisse für Slice 2 + Richtig negative Ergebnisse für Slice 2)/Gesamtzahl der Instanzen für Slice 2)
In unserem Beispiel-Dataset:
((50 richtig vorhergesagte Zulassungen aus Kalifornien + 120 richtig vorhergesagte Ablehnungen aus Kalifornien)/ 200 Bewerber aus Kalifornien) - ((20 richtig vorhergesagte Zulassungen aus Florida + 50 richtig vorhergesagte Ablehnungen aus Florida)/ 100 Bewerber aus Florida) = 170/200 - 70/100 = 0,15
Der positive Wert der Genauigkeitsdifferenz zeigt an, dass das Modell für Bewerber aus Kalifornien genauer ist als das für Bewerber aus Florida. Dies könnte auf eine mögliche Verzerrung hinweisen, bei der Bewerber aus Kalifornien bevorzugt werden.
Differenz in den positiven Anteilen der vorhergesagten Labels (DPPPL)
Die Differenz in den positiven Anteilen der vorhergesagten Labels (DPPPL) misst, ob das Modell dazu neigt, unverhältnismäßig mehr positive Vorhersagen für einen Slice als für den anderen zu treffen. DPPPL berechnet die Differenz in den positiven Anteilen der vorhergesagten Labels, wobei die positiven Anteile der vorhergesagten Labels (vorhergesagte positive Ergebnisse/Gesamtzahl der Instanzen) für ein Slice ist:
((Richtig positive Ergebnisse für Slice 1 + falsch positive Ergebnisse für Slice 1)/Gesamtzahl der Instanzen für Slice 1) - ((Richtig positive Ergebnisse für Slice 2 + falsch positive Ergebnisse für Slice 2)/Gesamtzahl der Instanzen für Slice 2)
Für unser Beispiel-Dataset gilt:
(50 korrekt vorhergesagte Zulassungen aus Kalifornien + 20 falsch vorhergesagte Zulassungen aus Kalifornien)/ 200 Bewerber aus Kalifornien) - (20 richtig vorhergesagte Zulassungen aus Florida + 30 falsch vorhergesagte Zulassungen aus Florida)/ 100 Bewerber aus Florida) = 70/200 - 50/100 = -0,15
Der negative Wert der DPPPL zeigt an, dass das Modell unverhältnismäßig viele Bewerber aus Florida im Vergleich zu Bewerbern aus Kalifornien zulässt.
Recall-Differenz
Die Recall-Differenz misst die Differenz des Recall zwischen Slice 1 und Slice 2 und berücksichtigt nur die positiven Ergebnisse mit Label. Die Recall-Differenz wird auch als Chancengleichheit bezeichnet.
(Richtig positive Ergebnisse für Slice 1/(Richtig positive Ergebnisse für Slice 1 + Falsch negative Ergebnisse für Slice 1)) - (Richtig positive Ergebnisse für Slice 2/(Richtig positive Ergebnisse für Slice 2 + Falsch negative Ergebnisse für Slice 2))
In unserem Beispiel-Dataset:
(50 korrekt vorhergesagte Zulassungen aus Kalifornien/(50 korrekt vorhergesagte Zulassungen aus Kalifornien + 10 falsch vorhergesagte Ablehnungen aus Kalifornien)) - (20 richtig vorhergesagte Zulassungen aus Florida/(20 richtig vorhergesagte Zulassungen aus Florida + 0 falsch vorhergesagte Ablehnungen aus Florida)) = 50/60 - 20/20 = -0.17
Der negative Wert zeigt an, dass das Modell Bewerber aus Florida besser berücksichtigt als Bewerber aus Kalifornien. Mit anderen Worten: Das Modell trifft seine Zulassungsentscheidungen für Bewerber aus Florida tendenziell genauer als für Bewerber aus Kalifornien.
Spezifitätsdifferenz
Der Spezifitätsdifferenz misst die Differenz der Spezifität, auch als richtig negative Rate zwischen dem Slice 1 und dem Slice 2 bezeichnet. Wir können uns dies als Recall-Differenz vorstellen, aber für negative Ergebnisse mit Label:
(Richtig negative Ergebnisse für Slice 1/(Richtig negative Ergebnisse für Slice 1 + falsch negative Ergebnisse für Slice 1)) - (Richtig negative Ergebnisse für Slice 2/(Richtig negative Ergebnisse für Slice 2 + falsch negative Ergebnisse für Slice 2))
In unserem Beispiel-Dataset:
(120 richtig vorhergesagte Ablehnungen aus Kalifornien/(120 richtig vorhergesagte Ablehnungen aus Kalifornien + 20 falsch vorhergesagte Zulassungen aus Kalifornien)) - (50 richtig vorhergesagte Ablehnungen aus Florida/(50 richtig vorhergesagte Ablehnungen aus Florida + 30 falsch vorhergesagte Zulassungen aus Florida)) = 120/140–50/80 = 0,23
Der positive Wert zeigt an, dass das Modell bei der Ablehnung von Bewerbern für Bewerber aus Kalifornien einen besseren Recall aufweist als für Bewerber aus Florida. Mit anderen Worten: Das Modell liegt mit seinen Ablehnungsentscheidungen für Bewerber aus Kalifornien tendenziell richtiger als für Bewerber aus Florida.
Differenz im Verhältnis der Fehlertypen
Die Differenz im Verhältnis der Fehlertypen misst die Differenz in der Verteilung der Fehler (falsch negative und falsch positive) zwischen Slice 1 und 2. Das Verhältnis der Fehlertypen wird berechnet als (falsch negativer (Fehler vom Typ I)/falsch positiver (Fehler vom Typ II)). Die Differenz im Verhältnis der Fehlertypen kann auch als Verarbeitungsgleichheit bezeichnet werden.
(Falsch negative Ergebnisse für Slice 1/falsch positive Ergebnisse für Slice 1) - (falsch negative Ergebnisse für Slice 2/falsch positive Ergebnisse für Slice 2)
In unserem Beispiel-Dataset:
(10 falsch vorhergesagte Ablehnungen aus Kalifornien/20 falsch vorhergesagte Zulassungen aus Kalifornien) - (0 falsch vorhergesagte Ablehnungen aus Florida/30 falsch vorhergesagte Zulassungen aus Florida) = (10/20 – 0/30) = 0,5
Obwohl das Modell sowohl für die Bewerber aus Kalifornien als auch für die Bewerber aus Florida 30 Fehler macht, zeigt der positive Wert für die Differenz im Verhältnis der Fehlertypen an, dass das Modell für die Bewerber aus Kalifornien im Vergleich zu den Bewerbern aus Florida eher zu einer Überprognose der positiven Ergebnisse (höhere falsch positiv) und daher zu einer Unterprognose der negativen Ergebnisse (niedrigere falsch negativ) neigt.
Das Vorzeichen der Differenz im Verhältnis der Fehlertypen kann im Allgemeinen so interpretiert werden:
Positiver Wert: gibt an, dass das Modell unverhältnismäßig mehr falsch positive Fehler als falsch negative Fehler für Slice 1 zurückgibt.
Nullwert: gibt an, dass das Modell für beide Slices die gleiche Menge an falsch positiven Fehlern zurückgibt.
Negativer Wert: gibt an, dass das Modell unverhältnismäßig mehr falsch positive Fehler als falsch negative Fehler für Slice 2 zurückgibt.
Das Vorzeichen diesen Messwert deutet nicht unbedingt auf eine Verzerrung des Modells hin, da die Schädlichkeit falsch negativer oder falsch positiver Ergebnisse von der Anwendung des Modells abhängt.
Nächste Schritte
Weitere Informationen zu Fairness-Messwerten finden Sie unter Eine Überblick über Verzerrungen und Fairness beim maschinellen Lernen.