回测结果可为您提供指定时间范围内的模型性能摘要。这可用于衡量模型在训练中所用时间范围内的性能，也可衡量一段时间内的性能是否下降。
如何回测
如需创建 BacktestResult 资源，请参阅创建和管理回测结果。
具体而言，您需要选择以下选项：
用于回测的数据：
请在数据集的日期范围内指定数据集和结束时间。
训练会根据截至所选结束时间所在月份的完整日历月使用标签和功能。如需了解详情，请参阅数据集时间范围。
指定用于回测的已加标签数据月数（即回测期的数量）。
使用一致的数据集创建的模型：
请参阅配置引擎。
回测周期
backtestPeriods 字段指定在此模型的性能评估中使用特征和标签的连续日历月数。
以下内容适用于回测数据：
- 用于评估的月份是指定
endTime之前最近的完整日历月。例如，如果endTime为2023-04-03T23:21:00Z且backtestPeriods为5，则会使用以下月份的标签：2023-03、2023-02、2023-01、2022-12 和 2022-11。 - 在评估模型以准备用于生产环境时，您应该使用最新的可用数据进行回测。
回测周期必须设置为不小于
3。至少需要 3 个月的时间，以便 AML AI 在估算每个周期的调查情况时能够考虑重复的提醒。请避免在训练和回测中使用重叠的月份，因为这可能会导致过拟合。确保回测和训练结束时间至少相隔
backtestPeriods。也就是说，（回测结果结束时间月份）>=（模型结束时间月份）+
backtestPeriods
或者，您也可以为模型创建预测结果，并对模型性能自行进行方级分析。
回测输出
回测结果元数据包含以下指标。具体而言，这些指标向您展示了以下内容：
模型与不同时间段的标签以及各种不同调查量或风险评分阈值的效果对比
数据集支持的特征系列的任何重大更改（在引擎调整、训练、评估和预测之间）
| 指标名称 | 指标说明 | 指标值示例 |
|---|---|---|
| ObservedRecallValues | 根据指定用于回测的数据集测量的召回率指标。该 API 包含 20 项处于不同操作点的测量结果，测量结果为从 0（不包括）到 2 * partyInvestigationsPerPeriodHint 均匀分布的。该 API 在 partyInvestigationsPerPeriodHint 处添加了最终的召回率测量值。
|
{
"recallValues": [
{
"partyInvestigationsPerPeriod": 5000,
"recallValue": 0.80,
"scoreThreshold": 0.42,
},
...
...
{
"partyInvestigationsPerPeriod": 8000,
"recallValue": 0.85,
"scoreThreshold": 0.30,
},
],
}
|
| 缺失 |
每个功能系列中所有特征的缺失值所占百分比。 理想情况下，所有 AML AI 特征系列的缺失值都应接近于 0。当这些功能系列的底层数据无法集成时，可能会发生例外情况。 如果此值在调整、训练、评估和预测之间出现任何特征系列的显著变化，则可能表示所用数据集存在不一致。 |
{
"featureFamilies": [
{
"featureFamily": "unusual_wire_credit_activity",
"missingnessValue": 0.00,
},
...
...
{
"featureFamily": "party_supplementary_data_id_3",
"missingnessValue": 0.45,
},
],
}
|