Cette page décrit les métriques d'évaluation de modèle que vous pouvez utiliser pour détecter les biais de modèle, qui peuvent apparaître dans les résultats de la prédiction du modèle une fois entraîné. Pour les exemples et les notations de cette page, nous utilisons un ensemble de données hypothétique de candidatures à l'université, que nous décrivons en détail dans la Présentation de l'évaluation de modèle pour l'impartialité.
Pour obtenir une description des métriques générées à partir des données de pré-entraînement, consultez la section Métriques de biais de données.
Présentation
Dans notre exemple d'ensemble de données de candidatures à l'université, nous avons 200 candidats en Californie dans la tranche 1, et 100 candidats en Floride dans la tranche 2. Après l'entraînement du modèle, nous avons les matrices de confusion suivantes :
| Candidats en Californie | Acceptations (prédites) | Refus (prédits) |
|---|---|---|
| Acceptations (vérité terrain) | 50 (vrais positifs) | 10 (faux négatifs) |
| Refus (vérité terrain) | 20 (faux positifs) | 120 (vrais négatifs) |
| Candidats en Floride | Acceptations (prédites) | Refus (prédits) |
|---|---|---|
| Acceptations (vérité terrain) | 20 (vrais positifs) | 0 (faux négatifs) |
| Refus (vérité terrain) | 30 (faux positifs) | 50 (vrais négatifs) |
Vous pouvez généralement interpréter le signe pour la plupart des métriques comme suit :
Valeur positive : indique un biais potentiel favorisant la tranche 1 par rapport à la tranche 2.
Valeur nulle : indique l'absence de biais entre la tranche 1 et la tranche 2.
Valeur négative : indique un biais potentiel favorisant la tranche 2 par rapport à la tranche 1.
Nous en prenons note lorsque cela ne s'applique pas à une métrique.
Différence de justesse
La différence de justesse mesure la différence de justesse entre la tranche 1 et la tranche 2 :
((Vrais positifs pour la tranche 1 + Vrais négatifs pour la tranche 1)/Nombre total d'instances pour la tranche 1) - ((Vrais positifs pour la tranche 2 + Vrais négatifs pour la tranche 2)/Nombre total d’instances pour tranche 2)
Dans notre exemple d'ensemble de données :
((50 acceptations en Californie correctement prédites + 120 refus en Californie correctement prédits)/ 200 candidats en Californie) - ((20 acceptations en Floride correctement prédites + 50 refus en Floride correctement prédits)/ 100 candidats en Floride) = 170/200 - 70/100 = 0,15
La valeur positive de la différence de justesse indique que le modèle est plus juste pour les candidats en Californie que pour les candidats en Floride. Cela pourrait indiquer un biais potentiel favorisant les candidats en Californie.
Différence de proportions positives dans les étiquettes prédites (DPPPL)
La Différence de proportions positives dans les étiquettes prédites (DPPPL) mesure si le modèle a tendance à faire plus de prédictions positives pour une tranche par rapport à l'autre de façon disproportionnée. La DPPPL calcule la différence de proportions positives dans les étiquettes prédites, où les proportions positives dans les étiquettes prédites se trouvent (résultats positifs prédits/nombre total d'instances) pour une tranche :
((Vrais positifs pour la tranche 1 + Faux positifs pour la tranche 1)/Nombre total d'instances pour la tranche 1) - ((Vrais positifs pour la tranche 2 + Faux positifs pour la tranche 2)/Nombre total d’instances pour tranche 2)
Pour notre exemple d'ensemble de données :
((50 acceptations en Californie correctement prédites + 20 acceptations en Californie incorrectement prédites)/ 200 candidats en Californie) - ((20 acceptations en Floride correctement prédites + 30 acceptations en Floride incorrectement prédites)/ 100 candidats en Floride) = 70/200 - 50/100 = -0,15
La valeur négative de la DPPPL indique que le modèle accepte de façon disproportionnée plus de candidats en Floride comparé aux candidats en Californie.
Différence de rappel
La Différence de rappel mesure la différence de rappel entre la tranche 1 et la tranche 2, en tenant compte uniquement des résultats positifs étiquetés. La différence de rappel est aussi appelée Opportunité égale.
(Vrais positifs pour la tranche 1/(Vrais positifs pour la tranche 1 + faux négatifs pour la tranche 1)) - (Vrais positifs pour la tranche 2/(Vrais positifs pour la tranche 2 + faux négatifs pour la tranche 2))
Dans notre exemple d'ensemble de données :
(50 acceptations en Californie correctement prédites/(50 acceptations en Californie correctement prédites + 10 refus en Californie incorrectement prédits)) - (20 acceptations en Floride correctement prédites/(20 acceptations en Floride correctement prédites + 0 refus en Floride incorrectement prédits)) = 50/60 - 20/20 = -0,17
La valeur négative indique que le modèle est meilleur pour le rappel des candidats en Floride que pour les candidats en Californie. En d'autres termes, le modèle a tendance à être plus juste dans ses décisions d'acceptation pour les candidats en Floride comparé aux candidats en Californie.
Différence de spécificité
La Différence de spécificité mesure la différence de spécificité, également nommée le taux de vrais négatifs, entre la tranche 1 et la tranche 2. Il est possible de l'assimiler à la différence de rappel, mais pour les résultats négatifs étiquetés :
(Vrais négatifs pour la tranche 1/(Vrais négatifs pour la tranche 1 + Faux positifs pour la tranche 1)) - (Vrais négatifs pour la tranche 2/(Vrais négatifs pour la tranche 2 + Faux positifs pour la tranche 2))
Dans notre exemple d'ensemble de données :
(120 refus en Californie correctement prédits/(120 refus en Californie correctement prédits + 20 acceptations en Californie incorrectement prédites)) - (50 refus en Floride correctement prédits/(50 refus en Floride correctement prédits + 30 acceptations en Floride incorrectement prédites)) = 120/140- 50/80 = 0,23
La valeur positive indique que, pour les rejets de candidature, le modèle présente un meilleur rappel pour les candidats en Californie que pour les candidats en Floride. En d'autres termes, le modèle a tendance à être plus juste dans ses décisions de rejet pour les candidats de Californie comparé aux candidats de Floride.
Différence de ratio des types d'erreur
La différence de ratio des types d'erreur mesure la différence dans la façon dont les erreurs (faux négatifs et faux positifs) sont réparties entre les tranches 1 et 2. Le ratio des types d'erreur est calculé comme suit : (faux négatifs (erreur de type I)/faux positifs (erreur de type II)). La différence de ratio des types d'erreurs peut également être appelée Égalité de traitement.
(Faux négatifs pour la tranche 1/Faux positifs pour la tranche 1) - (Faux négatifs pour la tranche 2/Faux positifs pour la tranche 2)
Dans notre exemple d'ensemble de données :
(10 refus en Californie incorrectement prédits/20 acceptations en Californie incorrectement prédites) - (0 refus en Floride incorrectement prédits/30 acceptations en Floride incorrectement prédites) = (10/20 - 0/30) = 0,5
Bien que le modèle fasse 30 erreurs pour les candidats en Californie et en Floride, la valeur positive de la Différence de ratio des types d'erreurs indique que le modèle a tendance à sur-prédire les résultats positifs (faux positifs plus élevés) et donc à sous-prédire les résultats négatifs (erreurs de faux négatifs plus faibles) pour les candidats en Californie, en comparaison avec les candidats en Floride.
Le signe de la différence de ratio des types d'erreur peut généralement être interprété comme suit :
Valeur positive : indique que le modèle fait de façon disproportionnée plus d'erreurs de faux positifs que de faux négatifs pour la tranche 1.
Valeur nulle : indique que le modèle fait la même quantité d'erreurs de faux positifs pour les deux tranches.
Valeur négative : indique que le modèle fait de façon disproportionnée plus d'erreurs de faux positifs que de faux négatifs pour la tranche 2.
Le signe pour cette métrique n'indique pas nécessairement un biais dans le modèle, car les conséquences potentiellement indésirables des faux négatifs ou des faux positifs dépendent de l'application de votre modèle.
Étapes suivantes
Consultez la documentation de référence sur les composants du pipeline d'évaluation de modèle.
Consultez l'article A Survey on Bias and Fairness in Machine Learning (Une enquête sur les biais et l'impartialité en machine learning) pour en apprendre plus sur les métriques d'impartialité.