Es fundamental evaluar la equidad del modelo para evitar perpetuar sesgos y discriminación. Esta página se centra en la importancia de la evaluación de la equidad en los modelos de puntuación de riesgos contra el lavado de dinero, proporciona estadísticas sobre la aplicación de la igualdad de probabilidades (como una medida de ejemplo) y proporciona rutas potenciales para las mitigaciones.
Relevancia
Existen varios motivos por los que se debe evaluar la equidad del modelo, incluidos los siguientes:
- Crear o amplificar los sesgos y daños negativos en la sociedad: La equidad en el modelo es fundamental para evitar la discriminación contra las personas por sus atributos demográficos, como el género, la raza o la edad.
- Cumplimiento de las normas: Los bancos deben cumplir con los estándares legales y éticos, incluidas las leyes y reglamentaciones antidiscriminación.
- Mantener la confianza: La equidad en los modelos de puntuación de riesgos contra el lavado de dinero ayuda a mantener la confianza de los clientes y promueve una reputación positiva del banco.
Cómo calcular la equidad del modelo
Existen varias formas de evaluar la equidad en el aprendizaje automático (consulta las prácticas recomendadas generales). Recomendamos considerar la igualdad de probabilidades para evaluar la equidad del modelo. En este contexto, la igualdad de probabilidades mide si el modelo proporciona un trato igual a las partes de diferentes grupos demográficos con respecto a sus puntuaciones de riesgo.
Para calcular la igualdad de probabilidades, haz lo siguiente:
- Define los grupos protegidos para los que deseas probar la equidad del modelo:
- Por lo general, el banco tiene una administración de modelos implementada en las categorías protegidas. Estos pueden incluir género, raza, edad agrupada y otras categorías.
- En la tabla Parte, los campos que recomendamos usar tienen una nota que dice “Por lo general, también se usa para la evaluación de la equidad”.
Para cada categoría protegida, calcula las siguientes métricas:
Tasa de verdaderos positivos (TPR): Es la proporción de personas clasificadas de forma correcta como de alto riesgo entre aquellas que realmente son de alto riesgo según las puntuaciones de riesgo asignadas por el modelo.
La tasa de falsos negativos (FNR) es (1 - TPR). Esta es otra forma de medir la frecuencia con la que un modelo no cumple con el objetivo de un grupo determinado.
Tasa de falsos positivos (FPR): Es la proporción de personas clasificadas de forma incorrecta como de alto riesgo entre aquellas que en realidad tienen un riesgo bajo según las puntuaciones de riesgo asignadas por el modelo.
Puedes usar esta plantilla de secuencia de comandos de SQL para el cálculo y ajustar según sea necesario a las dimensiones sensibles particulares para las que necesitas realizar el análisis de equidad.
Comparar los valores de TPR y FPR en diferentes grupos demográficos
Las consideraciones importantes para calcular TPR y FPR incluyen lo siguiente:
- Especifica con cuidado el conjunto completo de ejemplos para los que se calcularán las TPR y FPR; por ejemplo, contar todas las partes de una misma línea de negocio una vez en una fecha específica d.
- Especifica con cuidado lo que define un ejemplo real positivo; por ejemplo, una parte para la que una alerta de cualquier sistema y una investigación que comenzó después de la fecha d generó la activación del proceso de salida del cliente por motivos relacionados con el lavado de dinero.
- Especifica con cuidado qué cuenta como una predicción positiva; por ejemplo, todos los clientes para los que las puntuaciones de riesgo de la IA contra el lavado de dinero para la fecha d superan un umbral de puntuación de riesgo elegido, que usarías a fin de activar alertas.
Cómo interpretar los resultados y los enfoques de mitigación
Una tasa de falsos positivos más alta para una porción o un grupo demográfico específico significa que es más probable que el modelo clasifique de forma incorrecta a los individuos de ese grupo como de alto riesgo, lo que genera investigaciones innecesarias. Esto indica que se marca a las personas de ese grupo demográfico de manera desproporcionada para que se la investigue, lo que podría causar un mayor escrutinio o un inconveniente para las personas que, en realidad, no representan un riesgo mayor.
Una tasa más baja de verdaderos positivos para una porción o un grupo demográfico específico significa que el modelo es menos eficaz para clasificar correctamente a los individuos de ese grupo como de alto riesgo, lo que da como resultado una tasa más alta de falsos negativos. Esto indica que es más probable que el modelo los omita o los pase por alto a las personas de ese grupo demográfico que deberían marcarse para su investigación en comparación con otros grupos.
Las disparidades en las FPR y TPR, y los umbrales sobre cuándo investigarlos más a fondo deben considerarse en el proceso de administración de riesgos del modelo. Cuando decides que el riesgo amerita una investigación más profunda, las siguientes son posibles causas raíz y mitigaciones que debes considerar.
Posibles causas principales
En la siguiente lista, se describen las posibles causas raíz de las disparidades en la tasa de falsos positivos y la tasa de verdaderos positivos entre los grupos demográficos:
- Ejemplos positivos insuficientes: No atrapaste una cantidad suficiente de clientes de este tipo (no hay suficientes investigaciones ni alertas positivas). Es posible que no investigues lo suficiente o que este tipo de clientes no sea riesgoso con mucha frecuencia.
- Muchos ejemplos positivos que no están debidamente justificados: se detectan un sesgo de informe de actividad sospechosa defensiva (SAR) o un sesgo de salida del cliente hacia un grupo de clientes en particular.
- Ejemplos de totales insuficientes: no tienes suficiente de este tipo de clientes en tu base de clientes.
Otros aspectos de la calidad de los datos y la generación de modelos también pueden afectar la equidad.
Opciones de mitigación
En la siguiente lista, se describen las opciones de mitigación para las causas raíz de la sección anterior:
- Considera redireccionar la capacidad de los investigadores hacia los grupos de clientes con TPR más altos o FPR más bajos para volver a equilibrar estos valores en el futuro.
- Revisar el proceso de investigación y las investigaciones históricas en busca de resultados sesgados para porciones con una disparidad significativa en FPR o TPR
- Aleatorizar las investigaciones para obtener ejemplos más positivos
- Revisa los datos complementarios de tu parte (consulta Datos complementarios). Considera quitar los datos que se correlacionan en gran medida con las categorías sensibles y agregar datos que expresen el factor de riesgo subyacente (imparcial). Por ejemplo, considera un caso en el que las alertas del modelo se concentran en algunos códigos postales. El factor de riesgo subyacente podría ser una concentración de empresas con grandes cantidades de dinero en esa área en lugar de la propia área geográfica.
No se recomienda hacer lo siguiente:
- Quita partes o eventos de casos de riesgo para grupos de clientes específicos a fin de volver a balancear la FPR o TPR (en efecto, submuestreo). Debido a la naturaleza en red de los datos y las funciones de la IA contra el lavado de dinero, esto puede tener un impacto impredecible en el comportamiento y el rendimiento del modelo.
Si aún encuentras que la administración de riesgos del modelo está bloqueada por la equidad, te sugerimos que continúes usando la versión actual del motor o el conjunto de datos y comunícate con el equipo de asistencia para obtener orientación adicional.