Valutare l'equità del modello

È fondamentale valutare l'equità del modello per evitare di perpetuare bias e discriminazione. Questa pagina si concentra sull'importanza della valutazione dell'equità nei modelli di punteggio del rischio AML, fornisce approfondimenti sull'applicazione dell'equità delle probabilità (come misura di esempio) e fornisce potenziali percorsi per le mitigazioni.

Esistono diversi motivi per cui è necessario valutare l'equità del modello, tra cui:

  • Creazione o amplificazione di pregiudizi e danni sociali negativi: l'equità del modello è fondamentale per evitare la discriminazione nei confronti degli individui in base ai loro attributi demografici, come genere, etnia o età.
  • Conformità alle normative: le banche devono rispettare standard legali ed etici, incluse leggi e normative antidiscriminatorie.
  • Mantenimento della fiducia: l'equità nei modelli di determinazione del rischio AML contribuisce a mantenere la fiducia dei clienti e a promuovere una reputazione positiva della banca.

Come calcolare l'equità del modello

Esistono diversi modi per valutare l'equità del machine learning (consulta le best practice generali). Ti consigliamo di prendere in considerazione la parità delle probabilità per valutare l'equità del modello. In questo contesto, l'uguaglianza delle probabilità misura se il modello offre un trattamento uguale alle parti di diversi gruppi demografici in base ai loro punteggi di rischio.

Per calcolare l'uguaglianza delle probabilità:

  • Definisci i gruppi protetti per i quali vuoi testare l'equità del modello:
    • In genere, la tua banca ha implementato la governance dei modelli per le categorie protette. Ad esempio, genere, etnia, età in fasce e altre categorie.
    • Nella tabella Partito, i campi che consigliamo di utilizzare sono contrassegnati dalla nota "In genere utilizzato anche per la valutazione dell'equità".
  • Per ogni categoria protetta, calcola le seguenti metriche:

    • Tasso di vero positivo (TPR): la proporzione di persone classificate correttamente come ad alto rischio tra quelle che sono effettivamente ad alto rischio in base ai punteggi di rischio assegnati dal modello.

      La percentuale di falsi negativi (FNR) è (1 - TPR). Questo è un altro modo per misurare la frequenza con cui un modello non raggiunge erroneamente il target per un determinato gruppo.

    • Tasso di falsi positivi (FPR): la proporzione di persone classificate erroneamente come ad alto rischio tra quelle che presentano effettivamente un rischio basso in base ai punteggi di rischio assegnati dal modello.

      Puoi utilizzare questo modello di script SQL per il calcolo, modificandolo in base alle particolari dimensioni sensibili per le quali devi eseguire l'analisi dell'equità.

  • Confronta i valori TPR e FPR in diversi gruppi demografici.

Di seguito sono riportate alcune considerazioni importanti per il calcolo di TPR e FPR:

  • Specifica con attenzione l'insieme completo di esempi per i quali verranno calcolati TPR e FPR, ad esempio conteggiando tutte le parti in un'unica attività una volta in una data specifica d.
  • Specifica con attenzione cosa definisce un esempio positivo effettivo; ad esempio, una persona per la quale qualsiasi avviso di qualsiasi sistema e indagine iniziata dopo la data d ha comportato l'attivazione della procedura di uscita del cliente per motivi correlati al RML.
  • Specifica attentamente cosa deve essere considerato una previsione positiva. Ad esempio, tutti i clienti per i quali i punteggi di rischio dell'IA AML per la data d sono superiori a una soglia di punteggio di rischio scelta, che utilizzerai per attivare gli avvisi.

Come interpretare i risultati e gli approcci di mitigazione

Un tasso di falsi positivi più elevato per un segmento o un gruppo demografico specifico indica che il modello ha maggiori probabilità di classificare erroneamente gli individui di quel gruppo come ad alto rischio, conducendo a indagini non necessarie. Ciò indica che le persone appartenenti a questo gruppo demografico vengono segnalate in modo sproporzionato per essere sottoposte a indagine, con un potenziale aumento degli accertamenti o dei disagi per le persone che potrebbero non rappresentare un rischio maggiore.

Un tasso di veri positivi più basso per uno specifico segmento o gruppo demografico indica che il modello è meno efficace nel classificare correttamente gli individui di quel gruppo come ad alto rischio, con un tasso di falsi negativi più elevato. Ciò indica che le persone appartenenti a questo gruppo demografico che dovrebbero essere segnalate per essere sottoposte a indagine hanno maggiori probabilità di essere perse o trascurate dal modello rispetto ad altri gruppi.

Le disparità nei valori FPR e TPR e le soglie per stabilire quando approfondire devono essere prese in considerazione nel processo di governance del rischio del modello. Se decidi che il rischio merita ulteriori accertamenti, di seguito sono riportate le possibili cause principali e le mitigazioni da prendere in considerazione.

Potenziali cause principali

Il seguente elenco illustra le potenziali cause alla base delle disparità nella percentuale di falsi positivi e nella percentuale di veri positivi tra i gruppi demografici:

  • Esempi positivi insufficienti: non hai rilevato un numero sufficiente di questo tipo di clienti (non sono stati effettuati abbastanza accertamenti o avvisi positivi). Potresti non eseguire indagini approfondite o questo tipo di cliente non è molto rischioso.
  • Molti esempi positivi non adeguatamente giustificati: rilevi un bias difensivo delle segnalazioni di attività sospette (SAR) o un bias di uscita dei clienti verso un determinato gruppo di clienti.
  • Esempi totali insufficienti: non hai un numero sufficiente di questo tipo di clienti nella tua base di clienti.

Anche altri aspetti della qualità dei dati e della generazione di modelli possono influire sull'equità.

Opzioni di mitigazione

L'elenco seguente illustra le opzioni di mitigazione per le cause principali riportate nella sezione precedente:

  • Valuta la possibilità di reindirizzare la capacità degli investigatori verso gruppi di clienti con un TPR più elevato e / o un FPR più basso per riequilibrare questi valori in futuro
  • Esamina la procedura di indagine e le indagini storiche per verificare la presenza di risultati biassati per i segmenti con una disparità significativa in FPR o TPR
  • Randomizza le indagini per ottenere più esempi positivi
  • Esamina i dati supplementari del partito (vedi Dati supplementari). Valuta la possibilità di rimuovere i dati correlati in modo significativo alle categorie sensibili e di aggiungere dati che esprimano il fattore di rischio sottostante (non distorto). Ad esempio, prendiamo il caso in cui gli avvisi del modello siano concentrati in alcuni codici postali. Il fattore di rischio sottostante potrebbe essere una concentrazione di attività che richiedono un uso intensivo di denaro piuttosto che l'area geografica stessa.

Non è consigliabile:

  • Rimuovi le parti o gli eventi relativi alle richieste di rischio per gruppi di clienti specifici per riequilibrare FPR o TPR (in pratica, sottocampionamento). A causa della natura in rete delle funzionalità e dei dati dell'AI AML, questo potrebbe avere un impatto imprevedibile sul comportamento e sulle prestazioni del modello.

Se continui a riscontrare che la gestione del rischio del modello è bloccata per equità, ti consigliamo di continuare a utilizzare la versione o il set di dati dell'engine corrente e di contattare l'assistenza per ulteriori indicazioni.