Avaliar um modelo

Os resultados do backtest fornecem um resumo da performance do modelo em um período especificado. Elas são geradas pela previsão de todos os clientes em um período de backtest e pela avaliação da performance do modelo em relação aos eventos de risco disponíveis.

Os resultados do backtest podem ser usados para medir a performance do modelo em um período diferente do usado no treinamento ou ao longo do tempo para verificar a degradação do desempenho.

Como fazer backtest

Para criar um recurso BacktestResult, consulte Criar e gerenciar resultados de backtest.

Mais especificamente, você precisa selecionar o seguinte:

  • Os dados a serem usados para o backtest:

    Especifique um conjunto de dados e um horário de término dentro do período do conjunto de dados.

    O treinamento usa rótulos e recursos com base em meses completos até o mês da data de término selecionada, mas não incluindo ela. Para mais informações, consulte Intervalos de tempo do conjunto de dados.

    Especifique quantos meses de dados rotulados usar para o backtest, ou seja, o número de períodos de backtest.

  • Um modelo criado usando um conjunto de dados consistente:

    Consulte Criar um modelo.

Períodos de backtest

O campo backtestPeriods especifica quantos meses do calendário consecutivos usar para usar recursos e rótulos na avaliação de performance desse modelo.

As seguintes regras se aplicam aos dados de backtest:

  • Os meses usados na avaliação são os meses completos mais recentes antes do endTime especificado. Por exemplo, se endTime for 2023-04-15T23:21:00Z e backtestPeriods for 5, os rótulos dos meses a seguir serão usados: 2023-03, 2023-02, 2023-01, 2022-12 e 2022-11.
  • Use os dados mais recentes disponíveis para o backtesting ao avaliar um modelo em preparação para uso em produção.

  • Os períodos de backtest precisam ser definidos como 3 ou mais. Dois meses do período de backtest são reservados para considerar alertas repetidos, e os meses restantes são usados para gerar rótulos positivos para avaliação de performance.

  • Evite usar meses sobrepostos para treinamento e backtesting, porque isso pode causar superajuste. Verifique se os horários de término do backtest e do treinamento estão com pelo menos backtestPeriods de diferença. Ou seja,

    (mês de término do tempo dos resultados do backtest) >= (mês de término do tempo do modelo) + backtestPeriods

Também é possível criar resultados de previsão para um modelo e realizar suas próprias análises de desempenho do modelo no nível da parte.

Saída do backtest

Os metadados dos resultados do backtest contêm as seguintes métricas. Mais especificamente, essas métricas mostram o seguinte:

  • Como o modelo se sai em comparação com rótulos de um período diferente e para vários volumes de investigação ou limites de pontuação de risco

  • Medidas que podem ser usadas para avaliar a consistência do conjunto de dados (por exemplo, comparando os valores de ausência de famílias de recursos de diferentes operações)

Nome da métrica Descrição da métrica Exemplo de valor da métrica
ObservedRecallValues Métrica de recall medida no conjunto de dados especificado para o backtest. A API inclui 20 dessas medições, em diferentes pontos de operação, distribuídas uniformemente de 0 (não incluída) até 2 * partyInvestigationsPerPeriodHint. A API adiciona uma métrica de recuperação final em partyInvestigationsPerPeriodHint. 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
Ausência

Porcentagem de valores ausentes em todos os atributos em cada família de atributos.

O ideal é que todas as famílias de recursos de IA de AML tenham uma falta próxima de 0. Exceções podem ocorrer quando os dados subjacentes dessas famílias de recursos não estão disponíveis para integração.

Uma mudança significativa nesse valor para qualquer família de recursos entre o ajuste, o treinamento, a avaliação e a previsão pode indicar inconsistência nos conjuntos de dados usados. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
Desvio

Métricas que mostram a distorção entre os conjuntos de dados de treinamento e previsão ou de teste retrospectivo. A distorção da família indica mudanças na distribuição dos valores de um atributo em uma família de atributos, ponderada pela importância do atributo nessa família. A distorção máxima indica a distorção máxima de qualquer recurso nessa família.

Os valores de distorção variam de 0, que representa nenhuma mudança significativa na distribuição de valores dos recursos na família, a 1, que representa a mudança mais significativa. Um valor alto para o desvio máximo ou de família indica uma mudança significativa na estrutura dos dados que pode afetar a performance do modelo. A distorção da família assume o valor -1 quando nenhum recurso da família é usado pelo modelo.

Para valores de distorção grandes, faça o seguinte:

  • Investigar as mudanças nos dados usados por essa família de recursos (consulte os materiais de suporte à governança do modelo) e corrigir os problemas de dados de entrada
  • Treinar novamente um modelo com dados mais recentes

Defina limites para agir em valores de família e de distorção máxima com base na variação natural das métricas de distorção ao longo de vários meses. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}