Modellgerechtigkeit bewerten

Es ist wichtig, die Modellgerechtigkeit zu bewerten, um zu vermeiden, dass Verzerrungen und Diskriminierung fortgeführt werden. Auf dieser Seite geht es um die Bedeutung der Fairness-Bewertung in AML-Risikobewertungsmodellen, sie bietet Einblicke in die Anwendung der Chancengleichheit (als ein Beispielmesswert) und bietet potenzielle Möglichkeiten zur Risikominderung.

Relevanz

Es gibt mehrere Gründe, warum die Modellgerechtigkeit bewertet werden sollte, darunter:

  • Negative gesellschaftliche Vorurteile und Schäden schaffen oder verstärken: Modellgerechtigkeit ist entscheidend, um Diskriminierung von Personen aufgrund ihrer demografischen Merkmale wie Geschlecht, ethnische Herkunft oder Alter zu verhindern.
  • Einhaltung gesetzlicher Vorschriften: Banken müssen rechtliche und ethische Standards einhalten, einschließlich Antidiskriminierungsgesetzen und -vorschriften.
  • Aufrechterhaltung des Vertrauens: Fairness bei AML-Risikobewertungsmodellen trägt dazu bei, das Vertrauen der Kunden aufrechtzuerhalten und einen positiven Ruf der Bank zu fördern.

Modell-Fairness berechnen

Es gibt mehrere Möglichkeiten, Fairness beim maschinellen Lernen zu bewerten (siehe allgemeine Best Practices). Wir empfehlen, die Wahrscheinlichkeitsgleichung zu berücksichtigen, um die Modellgerechtigkeit zu beurteilen. In diesem Kontext misst die Wahrscheinlichkeitsgleichheit, ob das Modell Parteien aus verschiedenen demografischen Gruppen in Bezug auf ihre Risikobewertungen gleichbehandelt.

So berechnen Sie die Ungeradengleichheit:

  • Definieren Sie geschützte Gruppen, für die Sie die Modellgerechtigkeit testen möchten:
    • Ihre Bank nutzt in der Regel eine Modell-Governance für geschützte Kategorien. Diese können das Geschlecht, die ethnische Herkunft, das gruppierte Alter und andere Kategorien umfassen.
    • In der Tabelle Party enthalten die von uns empfohlenen Felder den Hinweis „In der Regel auch für die Fairness-Bewertung verwendet“.

  • Berechnen Sie für jede geschützte Kategorie die folgenden Messwerte:

    • Richtig positive Rate (TPR): Der Anteil der Personen, die aufgrund der vom Modell zugewiesenen Risikobewertungen richtig als hohes Risiko eingestuft wurden, unter denjenigen mit einem wirklich hohen Risiko.

      Die falsch negative Rate (FNR) ist (1 - TPR). Dies ist eine weitere Möglichkeit zu messen, wie oft ein Modell das Ziel einer bestimmten Gruppe fälschlicherweise verfehlt.

    • Falsch positive Rate (FPR): Der Anteil der Personen, die aufgrund der vom Modell zugewiesenen Risikobewertungen fälschlicherweise als hohes Risiko eingestuft wurden, unter denjenigen, die tatsächlich ein geringes Risiko haben.

      Sie können diese SQL-Skriptvorlage für die Berechnung verwenden und nach Bedarf an die jeweiligen sensiblen Dimensionen anpassen, für die Sie eine Fairness-Analyse durchführen müssen.

  • Die TPR- und FPR-Werte verschiedener demografischer Gruppen vergleichen

Wichtige Überlegungen bei der Berechnung von TPR und FPR sind unter anderem:

  • Geben Sie sorgfältig alle Beispiele an, für die der TPR und die FPR berechnet werden sollen. Beispiel: Alle Parteien in einer einzelnen Geschäftssparte werden einmal zu einem bestimmten Datum d gezählt.
  • Geben Sie genau an, was ein tatsächlich positives Beispiel definiert. Beispiel: Eine Partei, für die eine Benachrichtigung von einem System und einer Prüfung, die nach dem Datum d beginnt, aus AML-Gründen den Ausstiegsprozess des Kunden ausgelöst hat.
  • Geben Sie genau an, was als positive Vorhersage zählt. Beispielsweise können alle Kunden, für die AML AI-Risikobewertungen für das Datum d über einem ausgewählten Risikowertschwellenwert liegen, den Sie zum Auslösen von Benachrichtigungen verwenden würden.

Ergebnisse und Lösungsansätze interpretieren

Eine höhere Rate falsch positiver Ergebnisse für ein bestimmtes Segment oder eine bestimmte demografische Gruppe bedeutet, dass das Modell Personen aus dieser Gruppe mit höherer Wahrscheinlichkeit fälschlicherweise als hohes Risiko einstuft, was zu unnötigen Untersuchungen führt. Dies deutet darauf hin, dass Personen aus dieser demografischen Gruppe unverhältnismäßig oft zur Untersuchung gemeldet werden, was zu einer vermehrten Überprüfung oder Unannehmlichkeiten für Personen führen kann, die möglicherweise kein höheres Risiko darstellen.

Eine niedrigere Rate echt positiver Ergebnisse für ein bestimmtes Segment oder eine bestimmte demografische Gruppe bedeutet, dass das Modell Personen aus dieser Gruppe weniger effektiv als hohes Risiko einstuft. Dies führt zu einer höheren Rate falsch negativer Ergebnisse. Dies deutet darauf hin, dass Personen aus dieser demografischen Gruppe, die zur Untersuchung gekennzeichnet werden sollten, im Vergleich zu anderen Gruppen eher übersehen oder übersehen werden.

Unterschiede bei den FPRs und TPRs sowie Schwellenwerte für die weitere Untersuchung dieser sollten in Ihrem Modell-Risiko-Governance-Prozess berücksichtigt werden. Wenn Sie entscheiden, ob eine weitere Untersuchung erforderlich ist, können folgende mögliche Ursachen und Maßnahmen in Betracht gezogen werden.

Mögliche Ursachen

In der folgenden Liste sind die möglichen Ursachen für Ungleichheiten zwischen der Rate falsch positiver Ergebnisse und der Rate richtig positiver Ergebnisse zwischen demografischen Gruppen aufgeführt:

  • Nicht genügend positive Beispiele: Sie haben nicht genug von dieser Art von Kunden erfasst (nicht genug positive Untersuchungen oder Warnungen). Vielleicht werden Sie zu wenig untersucht oder diese Art von Kundschaft stellt nicht sehr oft ein Risiko dar.
  • Viele positive Beispiele, die nicht ordnungsgemäß gerechtfertigt sind: Sie stellen Defensive Berichte zu verdächtigen Aktivitäten (SAR) oder Verzerrungen bei Kundenausstiegen in Bezug auf eine bestimmte Kundengruppe fest.
  • Nicht genügend Beispiele: Sie haben nicht genügend Kunden dieser Art.

Auch andere Aspekte der Datenqualität und der Modellgenerierung können sich auf Fairness auswirken.

Risikominderungsoptionen

In der folgenden Liste sind die Möglichkeiten zur Schadensbegrenzung für die Ursachen des vorherigen Abschnitts aufgeführt:

  • Ziehen Sie in Betracht, die Kapazität der Ermittler an Kundengruppen mit einer höheren TPR und / oder niedrigeren FPR umzuleiten, um diese Werte in Zukunft auszugleichen.
  • Überprüfen Sie den Untersuchungsprozess und historische Untersuchungen auf verzerrte Ergebnisse für Bereiche mit
  • Die Untersuchungen zufällig auswählen, um mehr positive Beispiele zu erhalten
  • Prüfen Sie die ergänzenden Daten Ihrer Partei (siehe Ergänzende Daten). Ziehen Sie in Betracht, Daten zu entfernen, die stark mit sensiblen Kategorien korrelieren, und fügen Sie Daten hinzu, die den zugrunde liegenden (unverzerrten) Risikofaktor ausdrücken. Angenommen, Modellbenachrichtigungen konzentrieren sich auf einige bestimmte Postleitzahlen. Der zugrunde liegende Risikofaktor könnte eine Konzentration von finanzintensiven Unternehmen dort und nicht die geografische Region selbst sein.

Folgendes wird nicht empfohlen:

  • Entfernen Sie Parteien oder Risikofallereignisse für bestimmte Kundengruppen, um FPR oder TPR auszugleichen (Untersampling). Da AML AI-Daten und -Features miteinander verknüpft sind, kann dies unvorhersehbare Auswirkungen auf Modellverhalten und -leistung haben.

Wenn Sie weiterhin feststellen, dass die Risiko-Governance des Modells aus Gründen der Fairness blockiert ist, empfehlen wir Ihnen, weiterhin Ihre aktuelle Engine-Version oder Ihr aktuelles Dataset zu verwenden und den Support zu kontaktieren, um weitere Unterstützung zu erhalten.