评估模型

回测结果为您提供了 时间范围。这些指标是通过对回测期内的所有客户进行预测，并根据可用的风险事件评估模型性能而生成的。

回测结果可用于衡量模型在与训练中使用的时段不同的时段内的性能，也可以用于检查一段时间内的性能是否有所下降。

如何回测

要创建 BacktestResult 资源， 请参阅 创建和管理回测结果。

具体而言，您需要选择以下选项：

  • 要用于回测的数据：

    指定数据集以及数据集日期范围内的结束时间。

    训练会根据截至所选结束时间（但不包括该时间）的完整日历月来使用标签和特征。如需更多信息 请参阅 数据集时间范围。

    指定要将加标签的数据用于回测的月数（即 回测期数）。

  • 使用一致的数据集创建的模型：

    请参阅创建模型。

回测期间

通过 backtestPeriods 字段指定使用特征和标签的连续日历月数 模型的性能评估。

以下说明适用于回测数据：

  • 评估中使用的月份是指定 endTime 之前最近的完整日历月。例如，如果 endTime 为 2023-04-15T23:21:00Z 和 backtestPeriods 为 5，则 以下月份为：2023-03、2023-02、2023-01、2022-12 和 2022 年 11 月。
  • 在评估模型以准备在生产环境中使用时，您应使用最新的可用数据进行回溯测试。

  • 回测周期必须设置为 3 或更大。回测期中的两个月用于考虑重复提醒，其余月份用于生成正例标签以进行效果评估。

  • 避免使用重叠的月份进行训练和回测，因为这可能会导致过度拟合。确保回测和训练结束时间至少为 backtestPeriods。即，

    （回测结果结束时间月份）>=（模型结束时间月份）+ backtestPeriods

您还可以选择 创建预测结果 并自行对模型性能进行方方面面分析。

回测输出

通过 回测结果元数据 包含以下指标。具体而言，这些指标会显示以下信息：

  • 模型的效果如何（与其他时间段的标签相比），以及在各种不同的调查量或风险评分阈值下的效果

  • 可用于评估数据集一致性的测量结果（例如，通过比较 不同运算中特征系列的缺失值）

指标名称 指标说明 指标值示例
ObservedRecallValues 针对指定回测的数据集衡量的召回率指标。该 API 包含 20 个此类测量值，这些测量值在不同的操作点处均匀分布，从 0（不包括）到 2 * partyInvestigationsPerPeriodHint。API 会添加最终调用 partyInvestigationsPerPeriodHint。 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
缺失率

每个特征系列中所有特征的缺失值份额。

理想情况下，所有 AML AI 特征族的缺失率都应接近 0。如果这些功能族的基础数据无法集成，则可能会出现例外情况。

在调优、 训练、评估和预测可能表明 数据集。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
偏差

显示训练与预测或回测数据集之间偏差的指标。族偏差表示特征族中特征值分布的变化，并按该族中特征的重要性进行加权。最大偏差表示该系列中任何特征的最大偏差。

偏差值的范围为 0（表示家族中特征值的分布没有明显变化）到 1（表示变化最明显）。如果家族偏差或最大偏差值较大，则表示数据结构发生了重大变化，可能会影响模型性能。如果模型未使用族系中的任何特征，则族系偏差的值为 -1。

对于较大的偏差值，您应执行以下操作之一：

  • 调查该特征族所用数据的变化（请参阅模型治理支持材料），并修正所有输入数据问题
  • 使用较新的数据重新训练模型

您应根据在几个月内观察到的偏差指标的自然变化，设置针对系列和最大偏差值采取行动的阈值。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}