本页面简要介绍了配置引擎背后的概念。
超参数支持的来源
配置引擎时,您可以选择用于创建模型的超参数的来源。支持以下来源:
- 自动调优:在您创建 EngineConfig 资源时,AML AI 会调优超参数(默认行为)
- 继承:从同一调优版本中使用较低引擎版本创建的先前引擎配置继承超参数。通过此设置,您可以避免每次采用新模型引擎版本时都重新调整。
何时进行调整或继承
以下部分概述了何时应选择自动调优,以及何时应继承之前引擎配置中的超参数。
何时进行调整
您可以选择调整每个新的引擎配置,如果有疑问,您应始终进行调整以获得最佳性能结果。如需了解详情,请参阅如何调整引擎部分。
为获得最佳性能,当出现以下任一情况时,您应考虑进行引擎调优:
- 您对数据集逻辑进行了重大更改。例如,当以下任一项发生更改时:
- 用于填充字段的逻辑
- 选择要填充的“推荐”字段
- PartySupplementaryData 表中提供的数据的逻辑或选择
- 您即将让引擎为新区域训练模型。
何时继承超参数
为了在采用新引擎版本时节省时间和费用,您可以使用相同的调优版本继承旧引擎中的超参数。请参阅如何在不重新调整的情况下采用引擎版本部分。
具有调优版本 v003 的引擎版本以及 2024 年 2 月 22 日之前发布的引擎版本不支持继承超参数,但这些版本可以用作超参数的来源。
如何调整引擎
如需触发调整,请参阅创建和管理引擎配置。
具体而言,您需要选择以下选项:
用于调整引擎的数据:
指定数据集以及数据集日期范围内的结束时间。
引擎优化会根据截至所选结束时间(不包括该月)的完整自然月来使用标签和特征。如需了解详情,请参阅数据集时间范围。
用于引擎调优的引擎版本:
您希望根据模型进行的调查数量:
指定
partyInvestigationsPerPeriodHint
。引擎调优、训练和回溯测试会使用此参数,以确保 AML AI 能够根据您的每月调查量提供相应的效果。
引擎调校输出
引擎调优会生成 EngineConfig 资源,该资源可用于创建 Model 资源。
引擎配置元数据包含以下指标。具体而言,这些指标可让您了解以下信息:
与使用默认超参数相比,通过引擎调优预计可获得的性能提升
可用于评估数据集一致性的衡量指标(例如,通过比较不同操作中地图项族的缺失值)
指标名称 | 指标说明 | 指标值示例 |
---|---|---|
ExpectedRecallPreTuning | 使用引擎版本的默认超参数时,在测试集上测量的召回率指标。
此召回率衡量假定 |
{ "recallValues": [ { "partyInvestigationsPerPeriod": 5000, "recallValue": 0.72, "scoreThreshold": 0.42, }, ], } |
ExpectedRecallPostTuning | 使用调优的超参数时,在测试集中衡量的召回率指标。
此召回率衡量假定 |
{ "recallValues": [ { "partyInvestigationsPerPeriod": 5000, "recallValue": 0.80, "scoreThreshold": 0.43, }, ], } |
缺失率 |
每个特征族中所有特征的缺失值所占的比例。 理想情况下,所有 AML AI 特征族的缺失值都应接近 0。如果这些功能族的基础数据无法集成,则可能会出现例外情况。 如果在调优、训练、评估和预测期间,任何特征族的此值发生显著变化,则可能表明所用数据集不一致。 |
{ "featureFamilies": [ { "featureFamily": "unusual_wire_credit_activity", "missingnessValue": 0.00, }, ... ... { "featureFamily": "party_supplementary_data_id_3", "missingnessValue": 0.45, }, ], } |
如何采用引擎版本而无需重新调整
如需重复使用之前引擎配置中的超参数,请参阅创建和管理引擎配置页面上的创建会继承超参数的引擎配置部分。具体而言,您需要选择以下选项:
- 超参数来源类型:选择
INHERITED
作为hyperparameterSourceType
。如果您未指定来源类型,超参数来源类型会设为TUNING
,以实现向后兼容性。 - 超参数来源:在
hyperparameterSource
对象中指定源引擎配置的完整资源名称。源引擎配置的输出用于新引擎配置。源引擎配置必须是使用您当前使用的同一优化引擎版本中的较低引擎版本创建的。 - 要用于引擎配置的引擎版本:选择与您要使用的模型的业务领域(零售或商业)相符的引擎版本。如果继承超参数,业务领域必须与超参数来源使用的业务领域一致。
继承时的输出和谱系
从其他引擎版本继承超参数会创建 EngineConfig 资源,该资源可用于使用源引擎配置中的超参数创建 Model 资源。
对于谱系,从其他引擎配置继承超参数时,EngineConfig 资源中的以下字段会按如下方式设置:
hyperparameterSourceType
:INHERITED
hyperparameterSource
:用作超参数来源的引擎配置tuning
:原始tuning
对象,包括对用于原始引擎调优的数据集的引用 (primaryDataset
),以及最近一次使用数据生成用于训练的特征的时间 (endTime
)performanceTarget
:原始performanceTarget
对象,包括根据指定模型预计的调查量 (partyInvestigationsPerPeriodHint
)- 原始引擎调优中的引擎配置元数据