Auf dieser Seite werden Bewertungsmesswerte beschrieben, mit denen Sie Datenverzerrungen erkennen können. Diese können in Rohdaten und Ground-Truth-Werten bereits vor dem Trainieren des Modells enthalten sein. Für die Beispiele und Notation auf dieser Seite verwenden wir ein hypothetisches Dataset für Hochschulbewerbungen, das wir unter Einführung in die Modellbewertung für Fairness ausführlich beschreiben.
Eine Beschreibung der Messwerte, die aus den Daten nach dem Training generiert werden, finden Sie unter Modell-Verzerrungsmesswerte.
Überblick
In unserem Beispiel-Dataset für Hochschulbewerbungen befinden sich 200 Bewerber aus Kalifornien in Slice 1 und 100 Bewerber aus Florida in Slice 2 mit den folgenden Labels.
| Slice | Ablehnen | Akzeptieren |
|---|---|---|
| Kalifornien | 140 | 60 |
| Florida | 80 | 20 |
Im Allgemeinen können Sie das Vorzeichen für die meisten Messwerte so interpretieren:
Positiver Wert: gibt eine mögliche Verzerrung an, bei der Slice 1 gegenüber Slice 2 bevorzugt wird.
Nullwert: gibt keine Verzerrung zwischen Slice 1 und Slice 2 an.
Negativer Wert: gibt eine mögliche Verzerrung an, bei der Slice 2 gegenüber Slice 1 bevorzugt wird.
Wir weisen darauf hin, wenn dies für einen Messwert nicht zutrifft.
Differenz bei Populationsgröße
Differenz in Populationsgröße Der Unterschied in der Populationsgröße misst, ob es mehr Beispiele in Slice 1 als in Slice 2 gibt, normiert durch die Gesamtpopulation der beiden Slices:
(Gesamtpopulation von Slice 1 - Gesamtpopulation von Slice 2)/(Summe der Populationen von Slice 1 und 2)
In unserem Beispiel-Dataset:
(200 Bewerber aus Kalifornien - 100 Bewerber aus Florida)/ 300 Bewerber insgesamt = 100/300 = 0,33
Der positive Wert der Differenz bei Populationsgröße gibt an, dass es unverhältnismäßig mehr Bewerber aus Kalifornien als aus Florida gibt. Der positive Wert kann auf eine Verzerrung hindeuten oder auch nicht, aber wenn ein Modell auf diese Daten trainiert wird, könnte das Modell lernen, für Bewerber aus Kalifornien besser abzuschneiden.
Differenz der positiven Proportionen bei den tatsächlichen Labels (DPPTL).
Die Differenz der positiven Proportionen bei den tatsächlichen Labels misst, ob ein Dataset unverhältnismäßig mehr positive Ground-Truth-Labels für einen Slice als für den anderen aufweist. Dieser Messwert berechnet die Differenz der positiven Anteile an tatsächlichen Labels zwischen Slice 1 und Slice 2, wobei die positiven Anteile an tatsächlichen Labels für ein Slice gleich sind (positive Ergebnisse mit Labels / Gesamtpopulationsgröße). Dieser Messwert wird auch als Label-Ungleichgewicht bezeichnet:
(Positive Ergebnisse mit Label für Slice 1/Gesamtgröße von Slice 1) - (Positive Ergebnisse mit Label für Slice 2/Gesamtgröße von Slice 2)
In unserem Beispiel-Dataset:
(60 akzeptierte Bewerber aus Kalifornien/200 Bewerber aus Kalifornien) - (20 akzeptierte Bewerber aus Florida/100 Bewerber aus Florida) = 60/200 - 20/100 = 0,1
Der positive Wert des DPPTL gibt an, dass das Dataset überproportional positive Ergebnisse für Bewerber aus Kalifornien im Vergleich zu Bewerbern aus Florida aufweist. Der positive Wert kann, muss aber nicht auf eine Verzerrung hindeuten, aber wenn ein Modell auf diesen Daten trainiert wird, könnte das Modell lernen, unverhältnismäßig mehr positive Ergebnisse für Bewerber aus Kalifornien vorherzusagen.
Nächste Schritte
Informationen zu den von Vertex AI unterstützten Modell-Verzerrungsmesswerten.