Es fundamental evaluar la equidad de los modelos para evitar que se perpetúen los sesgos y la discriminación. Esta página se centra en la importancia de evaluar la imparcialidad en los modelos de puntuación de riesgo de lucha contra el blanqueo de capitales, ofrece información valiosa sobre la aplicación de la igualdad de oportunidades (como ejemplo de medida) y proporciona posibles vías de mitigación.
Relevancia
Hay varios motivos por los que se debe evaluar la equidad de los modelos, entre los que se incluyen los siguientes:
- Crear o amplificar sesgos y daños sociales negativos: la equidad de los modelos es fundamental para evitar la discriminación de las personas en función de sus atributos demográficos, como el sexo, la raza o la edad.
- Cumplimiento de la normativa: los bancos deben cumplir las normas legales y éticas, incluidas las leyes y los reglamentos contra la discriminación.
- Mantener la confianza: la equidad en los modelos de puntuación de riesgo de blanqueo de capitales ayuda a mantener la confianza de los clientes y fomenta una buena reputación del banco.
Cómo calcular la equidad de un modelo
Hay varias formas de evaluar la ecuanimidad en el aprendizaje automático (consulta las prácticas recomendadas generales). Te recomendamos que tengas en cuenta la igualdad de oportunidades para evaluar la equidad del modelo. En este contexto, la igualdad de oportunidades mide si el modelo trata por igual a las partes de diferentes grupos demográficos en lo que respecta a sus puntuaciones de riesgo.
Para calcular la igualdad de oportunidades, haz lo siguiente:
- Define los grupos protegidos para los que quieras probar la equidad del modelo:
- Normalmente, tu banco tiene un sistema de gobernanza de modelos para las categorías protegidas. Entre ellos, se incluyen el sexo, la raza, la edad agrupada en intervalos y otras categorías.
- En la tabla Partido, los campos que recomendamos usar tienen una nota que dice "También se suele usar para evaluar la imparcialidad".
Calcula las siguientes métricas de cada categoría protegida:
Tasa de verdaderos positivos (TVP): proporción de personas clasificadas correctamente como de alto riesgo entre las que realmente lo son según las puntuaciones de riesgo asignadas por el modelo.
La tasa de falsos negativos (FNR) es (1 - TPR). Esta es otra forma de medir la frecuencia con la que un modelo no acierta con el objetivo de un grupo determinado.
Tasa de falsos positivos: proporción de personas clasificadas incorrectamente como de alto riesgo entre las que realmente tienen un riesgo bajo según las puntuaciones de riesgo asignadas por el modelo.
Puede usar esta plantilla de secuencia de comandos SQL para hacer el cálculo y ajustarla según sea necesario a las dimensiones sensibles concretas para las que necesite hacer un análisis de equidad.
Compara los valores de VPR y VFP en diferentes grupos demográficos.
Para calcular la VVP y la VFP, es importante tener en cuenta lo siguiente:
- Especifica cuidadosamente el conjunto completo de ejemplos para los que se calcularán la tasa de verdaderos positivos y la tasa de falsos positivos. Por ejemplo, cuenta todas las partes de una sola línea de negocio una vez en una fecha específica d.
- Especifica con cuidado qué define un ejemplo positivo real. Por ejemplo, una parte para la que cualquier alerta de cualquier sistema y cualquier investigación que se inicie después de la fecha d haya provocado que se active el proceso de abandono del cliente por motivos relacionados con la lucha contra el blanqueo de capitales.
- Especifica con cuidado qué se considera una predicción positiva. Por ejemplo, todos los clientes cuya puntuación de riesgo de la IA de lucha contra el blanqueo de dinero del día d sea superior a un umbral de puntuación de riesgo elegido, que usarías para activar alertas.
Cómo interpretar los resultados y los enfoques de mitigación
Una tasa de falsos positivos más alta en un segmento o grupo demográfico concreto significa que es más probable que el modelo clasifique incorrectamente a las personas de ese grupo como de alto riesgo, lo que conlleva investigaciones innecesarias. Esto indica que se está señalando de forma desproporcionada a personas de ese grupo demográfico para que se investiguen sus cuentas, lo que puede provocar que se les someta a un mayor escrutinio o que tengan que hacer más trámites, aunque no supongan un riesgo mayor.
Una tasa de verdaderos positivos más baja en un segmento o grupo demográfico concreto significa que el modelo es menos eficaz a la hora de clasificar correctamente a las personas de ese grupo como de alto riesgo, lo que da lugar a una tasa de falsos negativos más alta. Esto indica que es más probable que el modelo no detecte o pase por alto a las personas de ese grupo demográfico que deberían marcarse para investigar en comparación con otros grupos.
En el proceso de gestión de riesgos de tu modelo, debes tener en cuenta las disparidades en las tasas de falsos positivos y verdaderos positivos, así como los umbrales para investigar más a fondo esos casos. Si decides que el riesgo merece una investigación más a fondo, puedes tener en cuenta las siguientes causas principales y medidas de mitigación.
Posibles causas
En la siguiente lista se indican las posibles causas principales de las disparidades en la tasa de falsos positivos y la tasa de verdaderos positivos entre grupos demográficos:
- No hay suficientes ejemplos positivos: no has detectado suficientes clientes de este tipo (no hay suficientes investigaciones o alertas positivas). Puede que no estés investigando lo suficiente o que este tipo de cliente no suponga un riesgo con mucha frecuencia.
- Muchos ejemplos positivos que no están debidamente justificados: detectas un sesgo en los informes de actividades sospechosas defensivas o un sesgo de abandono de los clientes hacia un grupo de clientes concreto.
- Número total de ejemplos insuficiente: no tienes suficientes clientes de este tipo en tu base de clientes.
Otros aspectos de la calidad de los datos y de la generación de modelos también pueden influir en la equidad.
Opciones de mitigación
En la siguiente lista se describen las opciones de mitigación de las causas principales de la sección anterior:
- Considera la posibilidad de redirigir la capacidad de los investigadores hacia grupos de clientes con una tasa de falsos positivos más alta o una tasa de falsos negativos más baja para reequilibrar estos valores en el futuro.
- Revisa el proceso de investigación y las investigaciones anteriores para detectar resultados sesgados en las porciones con una disparidad significativa en la tasa de falsos positivos o en la tasa de verdaderos positivos.
- Aleatoriza las investigaciones para obtener más ejemplos positivos
- Revisa los datos complementarios de tu partido (consulta la sección Datos complementarios). Te recomendamos que elimines los datos que se correlacionen en gran medida con categorías sensibles y que añadas datos que expresen el factor de riesgo subyacente (imparcial). Por ejemplo, supongamos que las alertas de modelo se concentran en unos pocos códigos postales. El factor de riesgo subyacente podría ser una concentración de empresas con un uso intensivo de efectivo en esa zona, en lugar de la zona geográfica en sí.
No se recomienda lo siguiente:
- Quitar partes o eventos de casos de riesgo de grupos de clientes específicos para reequilibrar la tasa de falsos positivos o la tasa de verdaderos positivos (en efecto, un submuestreo). Debido a la naturaleza conectada de los datos y las funciones de IA de AML, esto puede tener un impacto impredecible en el comportamiento y el rendimiento del modelo.
Si sigues viendo que la gestión de riesgos del modelo está bloqueada por la imparcialidad, te recomendamos que sigas usando la versión actual del motor o del conjunto de datos y que te pongas en contacto con el equipo de Asistencia para obtener más ayuda.