评估模型

回测结果为您提供了 时间范围。它们是通过在回测中预测所有客户而生成的 并根据可用风险事件评估模型性能。

回测结果可用于衡量模型在不同时间的性能 或者随着时间的推移， 性能下降。

如何回测

要创建 BacktestResult 资源， 请参阅 创建和管理回测结果。

具体而言，您需要选择以下选项：

  • 要用于回测的数据：

    请指定数据集，并指定该数据集日期范围内的结束时间。

    训练会根据整个日历月（截至 、 但不包括选定结束时间的月份。如需更多信息 请参阅 数据集时间范围。

    指定要将加标签的数据用于回测的月数（即 回测期数）。

  • 使用一致的数据集创建的模型：

    请参阅 创建模型。

回测期间

通过 backtestPeriods 字段指定使用特征和标签的连续日历月数 模型的性能评估。

以下内容适用于回测数据：

  • 评估中使用的月份是最近的完整日历月 endTime 之前。例如，如果 endTime 为 2023-04-15T23:21:00Z 和 backtestPeriods 为 5，则 以下月份为：2023-03、2023-02、2023-01、2022-12 和 2022 年 11 月。
  • 在以下情况下，您应使用最新可用数据进行回测 评估模型以准备投入生产使用。

  • 回测周期必须设置为 3 或更大。两个月的回测 为接收重复提醒而预留的时间段，而剩余月份 用于生成正面标签以进行性能评估。

  • 避免在训练和回测中使用重叠的月份，因为这样会带来风险 过拟合。确保回测和训练结束时间至少为 backtestPeriods。也就是说，

    （回测结果结束时间月份）>=（模型结束时间月份）+ backtestPeriods

您还可以选择 创建预测结果 并自行对模型性能进行方方面面分析。

回测输出

通过 回测结果元数据 包含以下指标。具体而言，这些指标可向您展示 以下：

  • 与不同时间段的标签相比，模型的表现如何，以及 进行各种不同的调查或 风险得分阈值

  • 可用于评估数据集一致性的测量结果（例如，通过比较 不同运算中特征系列的缺失值）

指标名称 指标说明 指标值示例
ObservedRecallValues 针对为回测而指定的数据集测量的召回率指标。API 包括 20 种测量结果，在不同工作点均匀分布 从 0（不包括）分布到 2 * partyInvestigationsPerPeriodHint。API 会添加最终调用 partyInvestigationsPerPeriodHint。 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
缺失

每个特征系列中所有特征的缺失值份额。

理想情况下，所有 AML AI 功能系列都应具有 缺失值接近于 0。如果底层数据的底层为数据， 这些功能系列无法集成。

在调优、 训练、评估和预测可能表明 使用的数据集。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
偏差

显示训练与预测或回测数据集之间偏差的指标。族系偏差表示特征系列中特征值分布的变化，根据特征系列中特征的重要性进行加权。最大偏差表示该系列内任何特征的最大偏差。

偏差值的范围为 0（表示族系中特征值的分布没有显著变化）到 1（表示变化最大）。如果家族偏差或最大偏差值较大，则表示数据结构发生了重大变化，可能会影响模型性能。如果模型未使用族系中的任何特征，则族系偏差的值为 -1。

对于较大的偏差值，您应执行以下操作之一：

  • 调查该特征系列所用数据的变化（请参阅模型治理支持材料），并修复所有输入数据问题
  • 使用较新的数据重新训练模型

您应根据在几个月内观察到的偏差指标的自然变化情况，设置针对系列和最大偏差值采取行动的阈值。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}