Fairness des Modells bewerten

Es ist wichtig, die Fairness von Modellen zu bewerten, um Voreingenommenheit und Diskriminierung zu vermeiden. Auf dieser Seite geht es um die Bedeutung der Fairnessbewertung in Modellen zur AML-Risikobewertung. Außerdem erhalten Sie Einblicke in die Anwendung des Gleichbehandlungsgrundsatzes (als Beispielmaßnahme) und Informationen zu möglichen Maßnahmen zur Risikominderung.

Relevanz

Es gibt mehrere Gründe, warum die Fairness von Modellen bewertet werden sollte, darunter:

  • Negative gesellschaftliche Voreingenommenheiten und Schäden schaffen oder verstärken: Die Fairness von Modellen ist entscheidend, um Diskriminierung von Personen aufgrund ihrer demografischen Merkmale wie Geschlecht, ethnische Zugehörigkeit oder Alter zu verhindern.
  • Einhaltung der gesetzlichen Bestimmungen: Banken müssen rechtliche und ethische Standards einhalten, einschließlich Gesetzen und Bestimmungen zur Diskriminierung.
  • Vertrauen wahren: Fairness bei Modellen zur Risikobewertung von Geldwäsche trägt dazu bei, das Vertrauen der Kunden zu wahren und einen positiven Ruf für die Bank zu schaffen.

Fairness von Modellen berechnen

Es gibt mehrere Möglichkeiten, Fairness beim maschinellen Lernen zu bewerten (siehe allgemeine Best Practices). Wir empfehlen, die Gleichbehandlung der Chancen zu berücksichtigen, um die Fairness des Modells zu beurteilen. In diesem Zusammenhang wird mit der Chancengleichheit gemessen, ob das Modell Personen aus verschiedenen demografischen Gruppen hinsichtlich ihrer Risikobewertungen gleich behandelt.

So berechnen Sie die Chancengleichheit:

  • Definieren Sie geschützte Gruppen, für die Sie die Fairness des Modells testen möchten:
    • Ihre Bank hat in der Regel eine Modellverwaltung für geschützte Kategorien. Dazu gehören unter anderem Geschlecht, ethnische Zugehörigkeit, Alter und andere Kategorien.
    • In der Tabelle Partei sind die von uns empfohlenen Felder mit dem Hinweis „Normalerweise auch für die Fairnessbewertung verwendet“ gekennzeichnet.

  • Berechnen Sie für jede geschützte Kategorie die folgenden Messwerte:

    • True Positive Rate (TPR): Der Anteil der Personen, die auf Grundlage der vom Modell zugewiesenen Risikobewertungen korrekt als Hochrisikogruppe eingestuft wurden.

      Die False Negative Rate (FNR) ist (1 – TPR). Dies ist eine weitere Möglichkeit, zu messen, wie oft ein Modell das Ziel für eine bestimmte Gruppe fälschlicherweise verfehlt.

    • Falsch-Positiv-Rate (FPR): Der Anteil der Personen, die auf Grundlage der vom Modell zugewiesenen Risikobewertungen fälschlicherweise als Hochrisikokunden eingestuft wurden, obwohl sie ein geringes Risiko haben.

      Sie können diese SQL-Script-Vorlage für die Berechnung verwenden und sie nach Bedarf an die spezifischen sensiblen Dimensionen anpassen, für die Sie eine Fairnessanalyse durchführen müssen.

  • Vergleichen Sie die Werte für die Richtig-Positiv-Rate und die Falsch-Positiv-Rate für verschiedene demografische Gruppen.

Wichtige Aspekte bei der Berechnung von TPR und FPR:

  • Geben Sie alle Beispiele an, für die TPR und FPR berechnet werden. Zählen Sie beispielsweise alle Parteien in einer einzelnen Branche einmal an einem bestimmten Datum d.
  • Geben Sie genau an, was ein tatsächlich positives Beispiel ist. Beispiel: Eine Partei, für die jede Warnung aus einem beliebigen System und jede Untersuchung, die nach dem d begonnen hat, zum Auslösen des Kundenausstiegs aus AML-bezogenen Gründen geführt hat.
  • Geben Sie genau an, was als positive Vorhersage gilt, z. B. alle Kunden, deren AML AI-Risikobewertungen für das Datum d über einem bestimmten Grenzwert liegen, der zum Auslösen von Benachrichtigungen verwendet wird.

Ergebnisse und Maßnahmen zur Risikobewältigung auswerten

Eine höhere Falsch-Positiv-Rate für einen bestimmten Ausschnitt oder eine bestimmte demografische Gruppe bedeutet, dass das Modell Personen aus dieser Gruppe mit höherer Wahrscheinlichkeit fälschlicherweise als hochrisikoreich klassifiziert, was zu unnötigen Prüfungen führt. Das bedeutet, dass Personen aus dieser demografischen Gruppe überproportional für eine Überprüfung gemeldet werden, was möglicherweise zu einer verstärkten Prüfung oder Unannehmlichkeiten für Personen führt, die möglicherweise kein höheres Risiko darstellen.

Eine niedrigere Rate echt positiver Ergebnisse für einen bestimmten Ausschnitt oder eine bestimmte demografische Gruppe bedeutet, dass das Modell Personen aus dieser Gruppe weniger effektiv als hochrisikoreich klassifiziert. Dies führt zu einer höheren Rate falsch negativer Ergebnisse. Das bedeutet, dass Personen aus dieser demografischen Gruppe, die für eine Überprüfung gekennzeichnet werden sollten, im Vergleich zu anderen Gruppen mit höherer Wahrscheinlichkeit vom Modell übersehen werden.

Abweichungen bei den FPRs und TPRs sowie Grenzwerte für die weitere Untersuchung sollten bei der Risikogovernance für Modelle berücksichtigt werden. Wenn Sie der Meinung sind, dass das Risiko einer weiteren Untersuchung bedarf, sind die folgenden möglichen Ursachen und Abhilfemaßnahmen zu berücksichtigen.

Mögliche Ursachen

In der folgenden Liste sind mögliche Grundursachen für Unterschiede bei der Rate falsch positiver Ergebnisse und der Rate richtig positiver Ergebnisse zwischen demografischen Gruppen aufgeführt:

  • Zu wenige positive Beispiele: Sie haben nicht genügend Kunden dieser Art erwischt (nicht genügend positive Prüfungen oder Warnungen). Möglicherweise führen Sie nicht genügend Prüfungen durch oder diese Art von Kunden ist nicht sehr riskant.
  • Viele positive Beispiele, die nicht richtig begründet sind: Sie stellen eine defensive Voreingenommenheit bei Meldungen zu verdächtigen Aktivitäten oder bei Kundenabgängen in Bezug auf eine bestimmte Kundengruppe fest.
  • Zu wenige Beispiele insgesamt: Sie haben nicht genügend Kunden dieser Art in Ihrem Kundenstamm.

Auch andere Aspekte der Datenqualität und Modellgenerierung können sich auf die Fairness auswirken.

Optionen zur Risikobewältigung

In der folgenden Liste sind die Optionen zur Behebung der Grundursachen aus dem vorherigen Abschnitt aufgeführt:

  • Überlegen Sie, die Kapazität der Prüfer auf Kundengruppen mit höherer TPR und / oder niedriger FPR umzuverteilen, um diese Werte in Zukunft auszugleichen.
  • Prüfen Sie den Untersuchungsprozess und frühere Untersuchungen auf verzerrte Ergebnisse für Segmente mit erheblichen Abweichungen bei der FPR oder TPR.
  • Stichprobenerhebungen zufällig auswählen, um mehr positive Beispiele zu erhalten
  • Sehen Sie sich Ihre ergänzenden Daten zu Ihrer Partei an (siehe Ergänzende Daten). Sie sollten Daten entfernen, die stark mit sensiblen Kategorien korrelieren, und Daten hinzufügen, die den zugrunde liegenden (unvoreingenommenen) Risikofaktor ausdrücken. Angenommen, Modellwarnungen sind auf bestimmte Postleitzahlen konzentriert. Der zugrunde liegende Risikofaktor könnte eher eine Konzentration von bargeldintensiven Unternehmen als das Gebiet selbst sein.

Folgendes wird nicht empfohlen:

  • Entfernen Sie Parteien oder Risikofallereignisse für bestimmte Kundengruppen, um die FPR oder TPR neu auszugleichen (d. h. Unterstichprobe). Aufgrund der Vernetzung von AML-KI-Daten und -Funktionen kann dies unvorhersehbare Auswirkungen auf das Modellverhalten und die Leistung haben.

Wenn die Risikobewältigung für Modelle aufgrund von Fairness weiterhin blockiert ist, empfehlen wir Ihnen, die aktuelle Engine-Version oder den aktuellen Datensatz weiter zu verwenden und sich an den Support zu wenden, um weitere Unterstützung zu erhalten.