Evaluar un modelo

Esta página es válida para las versiones del motor que se incluyen en las siguientes agrupaciones de versiones principales del motor. Para ver la página de otras versiones del motor, usa el selector situado en la parte superior de esta página.

En resumen, estos son los cambios de las versiones del buscador v003 a v004 (hasta la v004.008):

  • Se ha añadido la métrica ObservedRecallValuesPerTypology a los resultados de la prueba retrospectiva.
  • Se han añadido partiesCount y identifiedPartiesCount al valor de la métrica ObservedRecallValues.

Información general

Los resultados de las pruebas retrospectivas te ofrecen un resumen del rendimiento del modelo en un periodo específico. Se generan prediciendo el comportamiento de todos los clientes en un periodo de prueba retrospectiva y evaluando el rendimiento del modelo en función de los eventos de riesgo disponibles.

Los resultados de las pruebas retrospectivas se pueden usar para medir el rendimiento del modelo en un periodo distinto al utilizado en el entrenamiento o a lo largo del tiempo para comprobar si el rendimiento se ha deteriorado.

Cómo hacer una prueba retrospectiva

Para crear un recurso BacktestResult, consulta Crear y gestionar resultados de pruebas retrospectivas.

En concreto, debes seleccionar lo siguiente:

  • Los datos que se van a usar para el backtesting:

    Especifica un conjunto de datos y una hora de finalización dentro del periodo del conjunto de datos.

    El entrenamiento usa etiquetas y funciones basadas en meses naturales completos hasta el mes de la hora de finalización seleccionada, pero sin incluirlo. Para obtener más información, consulta Intervalos de tiempo de los conjuntos de datos.

    Especifica cuántos meses de datos etiquetados quieres usar para la prueba retrospectiva (es decir, el número de periodos de prueba retrospectiva).

    Especifique el número de terceros que se van a evaluar en la prueba mediante el campo PerformanceTarget.

  • El volumen de investigaciones previsto en función de los modelos:

    Especifica partyInvestigationsPerPeriodHint. Las pruebas retrospectivas evalúan el modelo de IA de lucha contra el blanqueo de capitales en un intervalo de volúmenes de investigación mensuales, en función de la cantidad que especifiques. Para obtener más información, consulta Resultados de la prueba retrospectiva.

  • Un modelo creado con un conjunto de datos coherente:

    Consulta Crear un modelo.

Periodos de prueba retrospectiva

El campo backtestPeriods especifica cuántos meses consecutivos del calendario se deben usar para las funciones y las etiquetas en la evaluación del rendimiento de este modelo.

Los datos de las pruebas retrospectivas se rigen por lo siguiente:

  • Los meses que se usan en la evaluación son los meses naturales completos más recientes anteriores al endTime especificado. Por ejemplo, si endTime es 2023-04-15T23:21:00Z y backtestPeriods es 5, se usarán las etiquetas de los siguientes meses: 2023-03, 2023-02, 2023-01, 2022-12 y 2022-11.
  • Debe usar los datos más recientes disponibles para hacer pruebas retrospectivas al evaluar un modelo antes de usarlo en producción.

  • Los periodos de prueba retrospectiva deben ser de 3 o más. Se reservan dos meses del periodo de prueba retrospectiva para tener en cuenta las alertas repetidas, y los meses restantes se usan para generar etiquetas positivas para la evaluación del rendimiento.

  • No uses meses superpuestos para el entrenamiento y las pruebas retrospectivas, ya que esto puede provocar un sobreajuste. Asegúrate de que las horas de finalización de la prueba retrospectiva y del entrenamiento tengan una diferencia de al menos backtestPeriods. Es decir,

    (mes de finalización de los resultados de la prueba retrospectiva) >= (mes de finalización del modelo) + backtestPeriods

También puede crear resultados de predicción para un modelo y llevar a cabo sus propios análisis a nivel de partido del rendimiento del modelo.

Resultados de la prueba retrospectiva

Los metadatos de los resultados de la prueba retrospectiva contienen las siguientes métricas. En concreto, estas métricas le muestran lo siguiente:

  • El rendimiento del modelo en comparación con las etiquetas de otro periodo y con distintos volúmenes de investigación o umbrales de puntuación de riesgo

  • Mediciones que se pueden usar para evaluar la coherencia del conjunto de datos (por ejemplo, comparando los valores que faltan de las familias de características de diferentes operaciones)

Nombre de la métrica Descripción de la métrica Valor de métrica de ejemplo
ObservedRecallValues Métrica de recuperación medida en el conjunto de datos especificado para la prueba retrospectiva. La API incluye 20 de estas mediciones, en diferentes puntos de funcionamiento, distribuidas uniformemente desde 0 (no incluido) hasta 2 * partyInvestigationsPerPeriodHint. La API añade una medición de recuerdo final en partyInvestigationsPerPeriodHint.

Junto con el valor de la recuperación, también proporcionamos el numerador y el denominador como partiesCount y identifiedPartiesCount respectivamente. 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "partiesCount": 60,
      "identifiedPartiesCount": 48,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "partiesCount": 60,
      "identifiedPartiesCount": 51,
      "scoreThreshold": 0.30,
    },
  ],
}
ObservedRecallValuesPerTypology Métrica de recuperación a nivel de tipología de riesgo medida en el conjunto de datos especificado para las pruebas retrospectivas. Las mediciones siguen el mismo enfoque que ObservedRecallValues. 
{
  "recallValuesPerTypology": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "riskTypology": "risk_typology_id_1",
      "recallValue": 0.80,
      "partiesCount": 60,
      "identifiedPartiesCount": 48,
      "scoreThreshold": 0.42,
    },
    {
      "partyInvestigationsPerPeriod": 8000,
      "riskTypology": "risk_typology_id_1",
      "recallValue": 0.90,
      "partiesCount": 60,
      "identifiedPartiesCount": 54,
      "scoreThreshold": 0.30,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "riskTypology": "risk_typology_id_2",
      "recallValue": 0.75,
      "partiesCount": 4
      "identifiedPartiesCount": 3,
      "scoreThreshold": 0.30,
    },
  ],
}
Faltan datos

Porcentaje de valores que faltan en todas las funciones de cada familia de funciones.

Lo ideal es que todas las familias de funciones de IA de AML tengan un valor de Missingness cercano a 0. Puede haber excepciones en las que los datos subyacentes de esas familias de funciones no estén disponibles para la integración.

Un cambio significativo en este valor para cualquier familia de funciones entre la optimización, el entrenamiento, la evaluación y la predicción puede indicar una incoherencia en los conjuntos de datos utilizados. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
Skew

Métricas que muestran el sesgo entre los conjuntos de datos de entrenamiento y predicción o de retropuebas. El sesgo familiar indica cambios en la distribución de los valores de las características de una familia de características, ponderados por la importancia de la característica en esa familia. La desviación máxima indica la desviación máxima de cualquier característica de esa familia.

Los valores de asimetría van de 0 (no hay cambios significativos en la distribución de los valores de las funciones de la familia) a 1 (el cambio más significativo). Un valor alto de la asimetría de la familia o de la asimetría máxima indica un cambio significativo en la estructura de los datos que puede afectar al rendimiento del modelo. La asimetría familiar toma el valor -1 cuando el modelo no usa ninguna función de la familia.

Si los valores de asimetría son elevados, debe hacer lo siguiente:

  • Investiga los cambios en los datos que usa esa familia de funciones (consulta los materiales de asistencia sobre el gobierno de modelos) y soluciona cualquier problema con los datos de entrada.
  • Volver a entrenar un modelo con datos más recientes

Debe definir umbrales para actuar en función de los valores de sesgo máximo y de familia observando la variación natural de las métricas de sesgo durante varios meses. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}