Modellgerechtigkeit bewerten

Es ist wichtig, die Modellgerechtigkeit zu bewerten, um zu vermeiden, dass Voreingenommenheiten und Diskriminierung fortgeführt werden. Auf dieser Seite geht es um die Bedeutung der Fairness-Bewertung in AML-Risikobewertungsmodellen, sie bietet Einblicke in die Anwendung der Wahrscheinlichkeitsgleichheit (als Beispielmesswert) und bietet potenzielle Möglichkeiten zur Risikominderung.

Relevanz

Es gibt mehrere Gründe, warum die Modellgerechtigkeit bewertet werden sollte, darunter:

  • Schaffung oder Verstärkung negativer gesellschaftlicher Vorurteile und Schäden: Fairness ist wichtig, um Diskriminierung von Personen aufgrund ihrer demografischen Merkmale wie Geschlecht, ethnische Herkunft oder Alter zu verhindern.
  • Einhaltung gesetzlicher Vorschriften: Banken müssen rechtliche und ethische Standards einhalten, einschließlich Antidiskriminierungsgesetzen und -vorschriften.
  • Aufrechterhaltung des Vertrauens: Fairness bei AML-Risikobewertungsmodellen trägt dazu bei, das Vertrauen der Kunden aufrechtzuerhalten und einen positiven Ruf für die Bank zu fördern.

Modellgerechtigkeit berechnen

Es gibt mehrere Möglichkeiten, Fairness beim maschinellen Lernen zu bewerten (siehe Allgemeine Best Practices). Wir empfehlen, die Wahrscheinlichkeitsgleichheit zu berücksichtigen, um die Fairness von Modellen zu beurteilen. In diesem Kontext misst die Wahrscheinlichkeitsgleichheit, ob das Modell Parteien aus verschiedenen demografischen Gruppen in Bezug auf ihre Risikobewertungen gleich behandelt.

So berechnen Sie die Wahrscheinlichkeitsgleichung:

  • Definieren Sie geschützte Gruppen, für die Sie die Modellgerechtigkeit testen möchten:
    • Ihre Bank nutzt in der Regel eine Modell-Governance für geschützte Kategorien. Dazu können Geschlecht, ethnische Herkunft, gruppiertes Alter und andere Kategorien gehören.
    • In der Tabelle Party haben die von uns empfohlenen Felder den Hinweis „Normalerweise auch für die Fairness-Bewertung verwendet“.

  • Berechnen Sie für jede geschützte Kategorie die folgenden Messwerte:

    • Richtig positive Rate (TPR): Der Anteil der Personen, die korrekt als hohes Risiko klassifiziert wurden, unter denjenigen, die ein wirklich hohes Risiko haben, basierend auf den vom Modell zugewiesenen Risikobewertungen.

      Die falsch negative Rate (FNR) ist (1 – TPR). Dies ist eine weitere Möglichkeit, zu messen, wie oft ein Modell das Ziel einer bestimmten Gruppe fälschlicherweise verfehlt.

    • Falsch positive Rate (FPR): Der Anteil von Personen, die fälschlicherweise als hohes Risiko eingestuft wurden, unter denjenigen, die tatsächlich ein geringes Risiko haben, basierend auf den vom Modell zugewiesenen Risikobewertungen.

      Sie können diese SQL-Skriptvorlage für die Berechnung verwenden und nach Bedarf an die jeweiligen sensiblen Dimensionen anpassen, für die Sie eine Fairness-Analyse durchführen müssen.

  • Die Werte für „TPR“ und „FPR“ bei verschiedenen demografischen Gruppen vergleichen

Wichtige Überlegungen bei der Berechnung von TPR und FPR sind unter anderem:

  • Geben Sie sorgfältig alle Beispiele an, für die TPR und FPR berechnet werden sollen. Beispiel: Alle Parteien einer einzelnen Geschäftssparte werden an einem bestimmten Datum d gezählt.
  • Geben Sie genau an, was ein tatsächliches positives Beispiel definiert. Beispiel: Eine Partei, für die jede Benachrichtigung aus einem System und einer Prüfung, die nach dem Datum d beginnt, dazu geführt hat, dass der Abbruchprozess durch den Kunden aus AML-Gründen ausgelöst wurde.
  • Geben Sie sorgfältig an, was als positive Vorhersage gezählt werden soll. Beispiel: Alle Kunden, für die AML AI-Risikobewertungen für das Datum d über einem ausgewählten Risikowertungsschwellenwert liegen, den Sie zum Auslösen von Benachrichtigungen verwenden würden.

Ergebnisse und Lösungsansätze interpretieren

Eine höhere Falsch-Positiv-Rate für ein bestimmtes Segment oder eine bestimmte demografische Gruppe bedeutet, dass das Modell Personen aus dieser Gruppe mit höherer Wahrscheinlichkeit fälschlicherweise als hohes Risiko einstuft, was zu unnötigen Untersuchungen führt. Dies deutet darauf hin, dass Personen aus dieser demografischen Gruppe unverhältnismäßig oft für eine Untersuchung gemeldet werden, was zu einer erhöhten Überprüfung oder zu Unannehmlichkeiten für Personen führt, die tatsächlich kein höheres Risiko darstellen.

Eine niedrigere echt positive Rate für ein bestimmtes Segment oder eine bestimmte demografische Gruppe bedeutet, dass das Modell Personen aus dieser Gruppe weniger effektiv als hohes Risiko einstuft. Dies führt zu einer höheren Rate falsch negativer Ergebnisse. Dies weist darauf hin, dass Personen aus dieser demografischen Gruppe, die zur Prüfung gekennzeichnet werden sollten, im Vergleich zu anderen Gruppen eher vom Modell übersehen oder übersehen werden.

Unterschiede bei den FPRs und TPRs sowie Grenzwerten, wann diese weiter untersucht werden sollten, sollten in Ihrem Modell-Risiko-Governance-Prozess berücksichtigt werden. Wenn Sie entscheiden, ob das Risiko eine weitere Untersuchung rechtfertigt, sind die folgenden möglichen Ursachen und Maßnahmen zur Risikominderung zu berücksichtigen.

Mögliche Ursachen

In der folgenden Liste sind die möglichen Ursachen für Abweichungen bei der Rate falsch positiver Ergebnisse und der Rate richtig positiver Ergebnisse zwischen demografischen Gruppen aufgeführt:

  • Nicht genügend positive Beispiele: Sie haben nicht genug von dieser Art von Kunden erreicht (nicht genügend positive Untersuchungen oder Warnungen). Vielleicht sind Sie zu wenig Untersuchung oder diese Art von Kundschaft ist nicht sehr oft riskant.
  • Viele positive Beispiele, die nicht ordnungsgemäß gerechtfertigt sind: Sie erkennen eine Verzerrung des Defensivberichts zu verdächtigen Aktivitäten (SAR) oder eine Verzerrung durch Kundenausstiege in Bezug auf eine bestimmte Kundengruppe.
  • Unzureichende Beispiele: Ihr Kundenstamm verfügt nicht über genügend Kunden dieser Art.

Auch andere Aspekte der Datenqualität und der Modellerstellung können sich auf Fairness auswirken.

Risikominderungsoptionen

In der folgenden Liste sind die Optionen zur Risikominderung für die Ursachen im vorherigen Abschnitt aufgeführt:

  • Ziehen Sie in Betracht, die Kapazität der Ermittler an Kundengruppen mit einer höheren oder niedrigeren FPR umzuleiten, um diese Werte in Zukunft auszugleichen.
  • Untersuchen Sie den Untersuchungsprozess und historische Untersuchungen auf verzerrte Ergebnisse für Segmente mit erheblichen Ungleichheiten bei der FPR oder TPR.
  • Die Untersuchungen zufällig anordnen, um mehr positive Beispiele zu erhalten
  • Prüfen Sie die ergänzenden Daten Ihrer Partei (siehe Ergänzende Daten). Ziehen Sie in Betracht, Daten zu entfernen, die stark mit sensiblen Kategorien korrelieren, und fügen Sie Daten hinzu, die den zugrunde liegenden (unverzerrten) Risikofaktor ausdrücken. Angenommen, Modellbenachrichtigungen konzentrieren sich auf einige bestimmte Postleitzahlen. Der zugrunde liegende Risikofaktor könnte eine Konzentration von zahlungsintensiven Unternehmen dort und nicht in der geografischen Region selbst sein.

Folgendes wird nicht empfohlen:

  • Entfernen Sie Parteien oder Risikofallereignisse für bestimmte Kundengruppen, um FPR oder TPR auszugleichen (Untersampling). Da AML AI-Daten und -Features vernetzt sind, kann dies unvorhersehbare Auswirkungen auf Modellverhalten und -leistung haben.

Wenn Sie weiterhin feststellen, dass die Risiko-Governance des Modells aus Fairness blockiert ist, empfehlen wir Ihnen, weiterhin Ihre aktuelle Engine-Version oder Ihr aktuelles Dataset zu verwenden und den Support zu kontaktieren, um weitere Unterstützung zu erhalten.