É fundamental avaliar a imparcialidade do modelo para evitar perpetuar vieses e discriminações. Esta página se concentra na importância da avaliação de imparcialidade em modelos de pontuação de risco de AML, fornece insights sobre a aplicação da igualdade de chances (como uma medida de exemplo) e fornece possíveis rotas para mitigações.
Relevância
Há vários motivos para avaliar a imparcialidade do modelo, incluindo:
- Criação ou amplificação de preconceitos e danos sociais negativos: a imparcialidade do modelo é fundamental para evitar a discriminação contra indivíduos com base em atributos demográficos, como gênero, raça ou idade.
- Conformidade regulatória: os bancos precisam aderir a padrões legais e éticos, incluindo leis e regulamentações contra discriminação.
- Manter a confiança: a imparcialidade nos modelos de pontuação de risco de AML ajuda a manter a confiança do cliente e promove uma reputação positiva para o banco.
Como calcular a imparcialidade do modelo
Há várias maneiras de avaliar a imparcialidade no aprendizado de máquina. Consulte as práticas recomendadas gerais. Recomendamos considerar igualdade de probabilidades para avaliar a imparcialidade do modelo. Nesse contexto, a igualdade de probabilidades mede se o modelo oferece tratamento igual às partes de diferentes grupos demográficos em relação às pontuações de risco.
Para calcular a igualdade de probabilidades, faça o seguinte:
- Defina os grupos protegidos em que você quer testar a imparcialidade do modelo:
- Normalmente, o banco tem governança de modelo em vigor em categorias protegidas. que podem incluir gênero, raça, idade agrupada por classes e outras categorias.
- Na tabela Party, os campos que recomendamos usar têm uma nota que diz "Normalmente usado também para avaliação de imparcialidade".
Para cada categoria protegida, calcule as seguintes métricas:
Taxa de verdadeiro positivo (TPR, na sigla em inglês): a proporção de indivíduos corretamente classificados como de alto risco entre aqueles que são realmente de alto risco com base nas pontuações de risco atribuídas pelo modelo.
A taxa de falso negativo (FNR, na sigla em inglês) é (1 - TPR). Essa é outra maneira de medir com que frequência um modelo perde incorretamente o destino de um determinado grupo.
Taxa de falso positivo (FPR, na sigla em inglês): a proporção de indivíduos classificados incorretamente como de alto risco entre aqueles que realmente são de baixo risco com base nas pontuações de risco atribuídas pelo modelo.
Use este modelo de script SQL para o cálculo, ajustando conforme necessário às dimensões confidenciais específicas que precisam ser analisadas.
Compare os valores de TPR e FPR em diferentes grupos demográficos.
Considerações importantes ao calcular o TPR e o FPR incluem o seguinte:
- Especifique cuidadosamente o conjunto completo de exemplos para os quais o TPR e o FPR serão calculados. Por exemplo, contando todas as partes de uma única linha de negócios uma vez em uma data específica d.
- Especifique com cuidado o que define um exemplo positivo real. Por exemplo, uma parte para quem um alerta de qualquer sistema e investigação iniciada após a data d resultou no acionamento do processo de saída do cliente por motivos relacionados ao AML.
- Especifique cuidadosamente o que conta como uma previsão positiva. Por exemplo, todos os clientes com pontuações de risco da AML AI para a data d estão acima de um limite de pontuação de risco escolhido, que você usaria para acionar alertas.
Como interpretar resultados e abordagens de mitigação
Uma taxa de falsos positivos mais alta para uma parcela ou um grupo demográfico específico significa que o modelo tem mais probabilidade de classificar incorretamente os indivíduos desse grupo como alto risco, levando a investigações desnecessárias. Isso indica que indivíduos desse grupo demográfico estão sendo sinalizados de forma desproporcional para investigação, possivelmente resultando em maior investigação ou inconveniência para indivíduos que não representam de fato um risco maior.
Uma taxa de verdadeiro positivo menor para uma parcela ou um grupo demográfico específico significa que o modelo é menos eficaz em classificar corretamente os indivíduos desse grupo como alto risco, resultando em uma taxa maior de falsos negativos. Isso indica que os indivíduos desse grupo demográfico que precisam ser sinalizados para investigação têm mais chances de serem ignorados ou ignorados pelo modelo em comparação com outros grupos.
Leve em consideração as disparidades entre FPRs e TPRs e os limites sobre quando investigar mais a fundo no processo de governança de risco do modelo. Quando você decide que o risco merece uma investigação mais detalhada, veja a seguir as possíveis causas raiz e mitigações a serem consideradas.
Possíveis causas
A lista a seguir descreve as possíveis causas raiz para disparidades entre as taxas de falsos positivos e os verdadeiros positivos entre os grupos demográficos:
- Exemplos positivos insuficientes: você não capturou o suficiente desse tipo de cliente (não há investigações ou alertas positivos suficientes). Talvez você não esteja investigando o suficiente ou esse tipo de cliente não seja arriscado com muita frequência.
- Muitos exemplos positivos que não são adequadamente justificados: você detecta um viés defensivo de relatório de atividades suspeitas (SAR, na sigla em inglês) ou de saída do cliente em relação a um grupo de clientes específico.
- Total de exemplos insuficiente: você não tem esse tipo de cliente suficiente em sua base de clientes.
Outros aspectos da qualidade de dados e da geração de modelos também podem afetar a imparcialidade.
Opções de mitigação
A lista a seguir descreve as opções de mitigação para as causas raiz na seção anterior:
- Considere redirecionar a capacidade do investigador para grupos de clientes com TPR maior e / ou FPR menor para reequilibrar esses valores no futuro
- Analisar o processo de investigação e as investigações históricas em busca de resultados tendenciosos para parcelas com disparidade significativa na FPR ou TPR
- Ordem aleatória das investigações para receber mais exemplos positivos
- Analise os dados suplementares da sua parte (consulte Dados complementares). Remova dados que se relacionem muito com categorias sensíveis e adicione dados que expressem o fator de risco subjacente (imparcial). Por exemplo, considere um caso em que os alertas de modelo estão concentrados em alguns CEPs específicos. O fator de risco subjacente pode ser uma concentração de empresas que consomem dinheiro, em vez da própria área geográfica.
Não é recomendado:
- Remova as partes ou os eventos de caso de risco de grupos de clientes específicos para reequilibrar o FPR ou o TPR (na verdade, subamostragem). Devido à natureza em rede dos dados e recursos da AML AI, isso pode ter um impacto imprevisível no comportamento e no desempenho do modelo.
Se você ainda acha que a governança de risco do modelo está bloqueada na imparcialidade, recomendamos que você continue usando a versão atual do mecanismo ou do conjunto de dados e entre em contato com o suporte para receber mais orientações.