Evaluar un modelo

Los resultados de la prueba preliminar te proporcionan un resumen del rendimiento del modelo en un período específico. Esto se puede usar para medir el rendimiento del modelo en un intervalo de tiempo distinto del que se usa en el entrenamiento, o también con el tiempo para verificar si hay una degradación del rendimiento.

Cómo realizar una prueba inversa

Para crear un recurso BacktestResult, consulta Cómo crear y administrar los resultados de la prueba interna.

En particular, debes seleccionar lo siguiente:

  • Los datos que se usarán para el backtesting:

    Especifica un conjunto de datos y una hora de finalización dentro del período del conjunto de datos.

    El entrenamiento usa etiquetas y funciones basadas en meses calendario completos hasta el mes de la hora de finalización seleccionada, sin incluirlo. Para obtener más información, consulta Intervalos de tiempo del conjunto de datos.

    Especifica cuántos meses de datos etiquetados se usarán para la prueba retrospectiva (es decir, la cantidad de períodos de prueba retroactiva).

  • Un modelo creado con un conjunto de datos coherente:

    Consulta Configura un motor.

Períodos de backtest

El campo backtestPeriods especifica la cantidad de meses calendario consecutivos que se usarán en la evaluación del rendimiento de este modelo.

Lo siguiente se aplica a los datos de la prueba inversa:

  • Los meses que se usan en la evaluación son los meses calendario completos más recientes antes del endTime especificado. Por ejemplo, si endTime es 2023-04-03T23:21:00Z y backtestPeriods es 5, se usan las etiquetas de los siguientes meses: 2023-03, 2023-02, 2023-01, 2022-12 y 2022-11.
  • Debes usar los datos disponibles más recientes para hacer una prueba inversa cuando evalúes un modelo a fin de prepararlo para la producción.

  • Los períodos de la prueba de fondo se deben establecer en 3 o más. Se requiere un mínimo de 3 meses para que la IA de AML pueda tener en cuenta las alertas repetidas cuando se estiman investigaciones por período.

  • Evita usar meses superpuestos para el entrenamiento y el backtesting, ya que esto corre el riesgo de sobreajustar. Asegúrate de que las horas de finalización del backtest y del entrenamiento estén al menos backtestPeriods de distancia. Es decir,

    (hora de finalización de los resultados de la prueba inversa, mes de la hora de finalización del modelo) >= (mes de la hora de finalización del modelo) + backtestPeriods

De manera opcional, también puedes crear resultados de predicción para un modelo y realizar tus propios análisis del rendimiento del modelo a nivel de grupo.

Resultado de la prueba

Los metadatos de resultados de la prueba inversa contienen las siguientes métricas. En particular, estas métricas te muestran lo siguiente:

  • El rendimiento del modelo en comparación con las etiquetas de un período distinto y para una variedad de volúmenes de investigación o umbrales de puntuación de riesgo diferentes

  • Cualquier cambio grande en las familias de atributos que admite el conjunto de datos (entre el ajuste del motor, el entrenamiento, la evaluación y la predicción)

Nombre de la métrica Descripción de la métrica Ejemplo de valor de métrica
ObservedRecallValues Métrica de recuperación que se mide en el conjunto de datos especificado para el backtesting. La API incluye 20 de estas medidas, en diferentes puntos de operación, distribuidas de manera uniforme desde 0 (no incluido) hasta 2 * partyInvestigationsPerPeriodHint. La API agrega una medición de recuperación final en partyInvestigationsPerPeriodHint. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
Falta de contenido

Porcentaje de valores faltantes en todos los atributos de cada familia de funciones.

Idealmente, todas las familias de atributos de AML AI deberían tener un valor faltante cercano a 0. Es posible que se produzcan excepciones cuando los datos subyacentes de esas familias de funciones no estén disponibles para la integración.

Un cambio significativo en este valor para cualquier familia de atributos entre el ajuste, el entrenamiento, la evaluación y la predicción puede indicar una incoherencia en los conjuntos de datos usados. 


{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}