Il est essentiel d'évaluer l'équité des modèles pour éviter de perpétuer les biais et la discrimination. Cette page met l'accent sur l'importance de l'évaluation de l'équité dans les modèles d'évaluation des risques AML, fournit des informations sur l'application de l'égalité de cotes (comme un exemple de mesure) et fournit des moyens potentiels d'atténuation.
Pertinence
L'équité d'un modèle doit être évaluée pour plusieurs raisons, parmi lesquelles:
- Créer ou amplifier des préjugés et des préjudices sociétaux négatifs: l'équité des modèles est essentielle pour éviter toute discrimination à l'encontre d'un individu en fonction de ses caractéristiques démographiques, telles que le genre, l'origine ethnique ou l'âge.
- Conformité réglementaire: les banques doivent adhérer à des normes juridiques et éthiques, y compris les lois et règlements anti-discrimination.
- Préserver la confiance: l'équité dans les modèles d'évaluation des risques AML contribue à préserver la confiance des clients et favorise une réputation positive pour la banque.
Calculer l'équité d'un modèle
Il existe plusieurs façons d'évaluer l'équité en matière de machine learning (consultez les bonnes pratiques générales). Nous vous recommandons de tenir compte de l'égalité des chances pour évaluer l'équité du modèle. Dans ce contexte, l'égalité des chances détermine si le modèle offre un traitement égal aux parties de différents groupes démographiques en fonction de leurs scores de risque.
Pour calculer l'égalité de probabilités, procédez comme suit:
- Définissez les groupes protégés pour lesquels vous souhaitez tester l'équité du modèle :
- Votre banque a généralement mis en place un modèle de gouvernance pour les catégories protégées. Il peut s'agir du genre, de l'origine ethnique, de l'âge réparti entre les tranches d'âge et d'autres catégories.
- Dans la table Party, les champs que nous vous recommandons d'utiliser affichent la note "Généralement également utilisé pour l'évaluation de l'équité".
Pour chaque catégorie protégée, calculez les métriques suivantes:
Taux de vrais positifs (TVP): proportion d'individus correctement classés comme à risque élevé parmi ceux qui présentent un risque vraiment élevé d'après les scores de risque attribués par le modèle.
Le taux de faux négatifs (FNR) correspond à (1 - TVP). Il s'agit d'une autre façon de mesurer la fréquence à laquelle un modèle manque à tort la cible d'un groupe donné.
Taux de faux positifs (TFP): proportion d'individus incorrectement classés comme à risque élevé parmi ceux qui présentent un risque faible, d'après les scores de risque attribués par le modèle.
Vous pouvez utiliser ce modèle de script SQL pour le calcul, en l'ajustant si nécessaire aux dimensions sensibles spécifiques pour lesquelles vous devez effectuer une analyse d'équité.
Comparez les valeurs du TVP et du TFP dans différents groupes démographiques.
Voici quelques points importants à prendre en compte pour calculer le TVP et le TFP:
- Indiquez avec soin l'ensemble complet d'exemples pour lesquels le TVP et le TFP seront calculés (par exemple, en comptant toutes les parties dans un même secteur d'activité une seule fois à une date précise d).
- Spécifiez soigneusement ce qui définit un exemple positif réel ; par exemple, une partie pour laquelle une alerte d'un système ou une enquête commençant après la date d a entraîné le déclenchement du processus de sortie du client pour des raisons liées à l'AML.
- Spécifiez soigneusement ce qui est considéré comme une prédiction positive. Par exemple, tous les clients pour lesquels les scores de risque AML AI pour la date d dépassent un seuil de score de risque choisi, qui serait utilisé pour déclencher des alertes.
Comment interpréter les résultats et les approches d'atténuation
Un taux de faux positifs plus élevé pour une tranche ou un groupe démographique spécifique signifie que le modèle est plus susceptible de classer à tort des individus de ce groupe comme présentant un risque élevé, ce qui conduit à des enquêtes inutiles. Cela indique que des individus de ce groupe démographique font l'objet d'un signalement disproportionné pour enquête, ce qui peut entraîner un examen plus approfondi ou des désagréments pour ceux qui ne présentent pas un risque plus élevé.
Un taux de vrais positifs inférieurs pour une tranche ou un groupe démographique spécifique signifie que le modèle est moins efficace pour classer correctement les individus de ce groupe comme étant à risque élevé, ce qui génère un taux de faux négatifs plus élevé. Cela indique que les individus de ce groupe démographique devant être signalés pour une enquête sont plus susceptibles d'être manqués ou négligés par le modèle par rapport aux autres groupes.
Dans le processus de gouvernance des risques du modèle, vous devez tenir compte des disparités entre les valeurs TFP et TPR, ainsi que les seuils à prendre en compte pour les examiner plus en détail. Lorsque vous décidez que le risque mérite d'être examiné plus en détail, vous pouvez prendre en compte les causes racines suivantes et les stratégies d'atténuation suivantes.
Causes possibles
La liste suivante présente les causes possibles des disparités entre le taux de faux positifs et le taux de vrais positifs entre les groupes démographiques:
- Exemples positifs insuffisants: vous n'avez pas assez détecté ce type de client (pas assez d'enquêtes positives ou d'alertes). Vous n'effectuez peut-être pas assez d'enquêtes ou ce type de client ne présente pas de risques très souvent.
- De nombreux exemples positifs qui ne sont pas correctement justifiés: vous détectez un biais défensif de rapport d'activité suspecte (DAS) ou un biais de sortie client vers un groupe de clients particulier.
- Exemples de totaux insuffisants: vous n'avez pas assez de clients de ce type dans votre base de clients.
D'autres aspects de la qualité des données et de la génération de modèles peuvent également avoir une incidence sur l'impartialité.
Options d'atténuation
La liste suivante décrit les options d'atténuation des causes à l'origine de l'incident dans la section précédente:
- Envisagez de réorienter la capacité des enquêteurs vers des groupes de clients ayant un TPR plus élevé et / ou un TFP plus bas afin de rééquilibrer ces valeurs à l'avenir.
- Examinez le processus d'enquête et l'historique des enquêtes afin de détecter les résultats biaisés pour les tranches présentant des disparités importantes dans le TVP ou le TVP.
- Randomisez les enquêtes pour obtenir plus d'exemples positifs
- Examinez les données supplémentaires de votre groupe (voir Données supplémentaires). Envisagez de supprimer les données étroitement liées aux catégories sensibles et d'ajouter des données qui expriment le facteur de risque sous-jacent (impartial). Prenons l'exemple d'un cas où les alertes du modèle sont concentrées dans certains codes postaux. Le facteur de risque sous-jacent pourrait être une concentration d'entreprises génératrices de liquidités plutôt que la zone géographique elle-même.
Les pratiques suivantes sont déconseillées:
- Supprimez des parties ou des événements de cas de risque pour des groupes de clients spécifiques afin de rééquilibrer le TFP ou le TPR (en vigueur, sous-échantillonnage). En raison de la nature mise en réseau des données et des caractéristiques d'AML AI, cela peut avoir un impact imprévisible sur le comportement et les performances des modèles.
Si vous constatez toujours que la gouvernance des risques du modèle est bloquée pour des raisons d'équité, nous vous suggérons de continuer à utiliser l'ensemble de données ou la version de votre moteur actuel, et de contacter l'assistance pour obtenir des conseils supplémentaires.