É fundamental avaliar a imparcialidade do modelo para evitar a perpetuação de preconceitos e discriminação. Esta página foca-se na importância da avaliação da imparcialidade nos modelos de classificação de risco de combate ao branqueamento de capitais, fornece estatísticas sobre a aplicação da igualdade de probabilidades (como uma medida de exemplo) e apresenta potenciais formas de mitigações.
Relevância
Existem vários motivos pelos quais a imparcialidade do modelo deve ser avaliada, incluindo o seguinte:
- Criar ou amplificar danos e preconceitos sociais negativos: a imparcialidade do modelo é fundamental para evitar a discriminação contra indivíduos com base nos respetivos atributos demográficos, como género, raça ou idade.
- Conformidade regulamentar: os bancos têm de cumprir as normas legais e éticas, incluindo as leis e os regulamentos antidiscriminação.
- Manter a confiança: a equidade nos modelos de classificação de risco de LBC ajuda a manter a confiança dos clientes e promove uma reputação positiva para o banco.
Como calcular a equidade do modelo
Existem várias formas de avaliar a equidade na aprendizagem automática (consulte as práticas recomendadas gerais). Recomendamos que considere a igualdade de probabilidades para avaliar a imparcialidade do modelo. Neste contexto, a igualdade de probabilidades mede se o modelo oferece tratamento igual a partes de diferentes grupos demográficos relativamente às respetivas pontuações de risco.
Para calcular a igualdade de probabilidades, faça o seguinte:
- Defina grupos protegidos para os quais quer testar a imparcialidade do modelo:
- Normalmente, o seu banco tem uma gestão de modelos implementada em categorias protegidas. Estas podem incluir o género, a raça, a idade agrupada e outras categorias.
- Na tabela Party, os campos que recomendamos usar têm uma nota a indicar "Normalmente, também são usados para a avaliação da imparcialidade".
Para cada categoria protegida, calcule as seguintes métricas:
Taxa de verdadeiros positivos (TPR): a proporção de indivíduos corretamente classificados como de alto risco entre os que são verdadeiramente de alto risco com base nas pontuações de risco atribuídas pelo modelo.
A taxa de falsos negativos (FNR) é (1 - TPR). Esta é outra forma de medir a frequência com que um modelo falha incorretamente o alvo para um determinado grupo.
Taxa de falsos positivos (FPR): a proporção de indivíduos classificados incorretamente como de risco elevado entre os que são efetivamente de risco baixo com base nas classificações de risco atribuídas pelo modelo.
Pode usar este modelo de script SQL para o cálculo, ajustando-o conforme necessário às dimensões confidenciais específicas para as quais precisa de fazer uma análise de equidade.
Compare os valores de VPR e FPR em diferentes grupos demográficos.
As considerações importantes no cálculo da TPR e da FPR incluem o seguinte:
- Especifique cuidadosamente o conjunto completo de exemplos para os quais o VPR e o FPR vão ser calculados; por exemplo, contabilizar todas as partes numa única linha de negócio uma vez numa data específica d.
- Especifique cuidadosamente o que define um exemplo positivo real; por exemplo, uma parte para a qual qualquer alerta de qualquer sistema e investigação iniciada após a data d resultou no acionamento do processo de saída do cliente por motivos relacionados com a AML.
- Especifique cuidadosamente o que conta como uma previsão positiva; por exemplo, todos os clientes para os quais as pontuações de risco da IA de AML para a data d estão acima de um limite de pontuação de risco escolhido, que usaria para acionar alertas.
Como interpretar os resultados e as abordagens de mitigação
Uma taxa de falsos positivos mais elevada para uma fatia ou um grupo demográfico específico significa que o modelo tem maior probabilidade de classificar incorretamente indivíduos desse grupo como de alto risco, o que leva a investigações desnecessárias. Isto indica que os indivíduos desse grupo demográfico estão a ser denunciados desproporcionadamente para investigação, o que pode resultar num maior controlo ou inconveniência para os indivíduos que podem não representar um risco mais elevado.
Uma taxa de verdadeiros positivos mais baixa para uma fatia ou um grupo demográfico específico significa que o modelo é menos eficaz na classificação correta de indivíduos desse grupo como de alto risco, o que resulta numa taxa mais elevada de falsos negativos. Isto indica que é mais provável que o modelo não detete ou ignore indivíduos desse grupo demográfico que devem ser denunciados para investigação em comparação com outros grupos.
As disparidades nos FPRs e TPRs, e os limites sobre quando investigar esses casos mais detalhadamente, devem ser consideradas no seu processo de gestão de riscos do modelo. Quando decide que o risco justifica uma investigação mais aprofundada, seguem-se possíveis causas principais e mitigações a considerar.
Potenciais causas
A lista seguinte descreve as potenciais causas principais das disparidades na taxa de falsos positivos e na taxa de verdadeiros positivos entre grupos demográficos:
- Exemplos positivos insuficientes: não detetou clientes deste tipo suficientes (não existem investigações ou alertas positivos suficientes). Pode não estar a investigar o suficiente ou este tipo de cliente não é arriscado com muita frequência.
- Muitos exemplos positivos que não estão devidamente justificados: deteta um relatório de atividade suspeita (SAR) defensivo ou uma tendência de saída de clientes em relação a um grupo de clientes específico.
- Exemplos totais insuficientes: não tem clientes deste tipo suficientes na sua base de clientes.
Outros aspetos da qualidade dos dados e da geração de modelos também podem afetar a equidade.
Opções de mitigação
A lista seguinte descreve as opções de mitigação para as causas principais na secção anterior:
- Considere redirecionar a capacidade de investigação para grupos de clientes com uma TPR mais elevada e / ou uma FPR mais baixa para reequilibrar estes valores no futuro
- Reveja o processo de investigação e as investigações históricas para resultados tendenciosos para fatias com disparidade significativa na FPR ou na TPR
- Aleatorize as investigações para obter mais exemplos positivos
- Reveja os dados suplementares originais (consulte a secção Dados suplementares). Considere remover dados que tenham uma correlação forte com categorias sensíveis e adicionar dados que expressem o fator de risco subjacente (imparcial). Por exemplo, considere um caso em que os alertas do modelo estão concentrados em alguns códigos postais específicos. O fator de risco subjacente pode ser uma concentração de empresas com grande volume de dinheiro nessa área, em vez da própria área geográfica.
Não é recomendado:
- Remova partes ou eventos de casos de risco para grupos de clientes específicos para reequilibrar a FPR ou a TPR (na prática, subamostragem). Devido à natureza em rede dos dados e das funcionalidades de IA de AML, isto pode ter um impacto imprevisível no comportamento e no desempenho do modelo.
Se continuar a considerar que a gestão de riscos do modelo está bloqueada na equidade, sugerimos que continue a usar a versão do motor ou o conjunto de dados atual e contacte o apoio técnico para receber orientações adicionais.