配置引擎

本页简要介绍了配置引擎背后的概念。

本页面适用于以下主要引擎版本分组中的引擎版本。如需查看其他引擎版本的页面，请使用本页面顶部的选择器。

总而言之，以下是引擎版本从 v003 到 v004（最高到 v004.008）的变更：

  • 向 ExpectedRecallPreTuning 和 ExpectedRecallPostTuning 指标值添加了 partiesCount 和 identifiedPartiesCount。

支持的超参数来源

配置引擎时，您可以选择用于创建模型的超参数的来源。支持以下来源：

  • 自动调优：当您创建 EngineConfig 资源时，AML AI 会自动调优超参数（默认行为）
  • 继承：从之前使用同一调节版本中的早期引擎版本创建的引擎配置继承超参数。借助此设置，您无需在每次采用新的模型引擎版本时都重新调整。

何时进行调优或继承

以下部分概述了您应何时选择自动调优，以及何时应从之前的引擎配置中继承超参数。

何时调整

您可以选择调整每个新的引擎配置，如果遇到疑问，您应始终调整为获得最佳性能结果。如需了解详情，请参阅如何调整引擎部分。

为获得最佳性能，在出现以下任何情况时，您都应考虑调整引擎：

  • 您对数据集逻辑进行了重大更改。例如，当以下任一内容发生变化时：
    • 填充字段的逻辑
    • 填充的推荐字段的选择
    • PartySupplementaryData 表中提供的数据的逻辑或选择
  • 您即将让引擎为新的区域训练模型。

何时继承超参数

为了在采用新版引擎时节省时间和费用，您可以沿用之前使用相同调优版本的引擎的超参数。请参阅如何在不重新调优的情况下采用引擎版本部分。

调优版本为 v003 的引擎版本以及 2024-02-22 之前发布的引擎版本不支持继承超参数，但这些版本可用作超参数的来源。

如何调校引擎

如需触发调优，请参阅创建和管理引擎配置。

具体而言，您需要选择以下内容：

  • 用于引擎调优的数据：

    指定数据集和数据集日期范围内的结束时间。

    引擎调优使用基于完整日历月的标签和特征，但不会使用所选结束时间所在月份的标签和特征。如需了解详情，请参阅数据集时间范围。

  • 用于引擎调优的引擎版本：

    选择与您将使用关联模型的业务线（零售或商业）相匹配的引擎版本。

  • 根据模型预测的调查量：

    指定 partyInvestigationsPerPeriodHint。引擎调优、训练和回测会使用此数据，以确保 AML AI 在您的月度调查量下提供理想的性能。

引擎调谐输出

引擎调优会生成一个 EngineConfig 资源，该资源可用于创建模型资源。

引擎配置元数据包含以下指标。具体而言，这些指标可显示以下信息：

  • 与使用默认超参数相比，通过引擎调优获得的预期性能提升

  • 可用于评估数据集一致性的指标（例如，通过比较不同操作中特征族的缺失值）

指标名称 指标说明 指标值示例
ExpectedRecallPreTuning 使用引擎版本的默认超参数时，在测试集上测得的召回率指标。

此召回测量假设每月调查次数为 partyInvestigationsPerPeriodHint 中指定的次数。 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "partiesCount": 100,
      "identifiedPartiesCount": 72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning 使用调节后的超参数时，在测试集上测得的召回率指标。

此召回测量假设每月调查次数为 partyInvestigationsPerPeriodHint 中指定的次数。 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "partiesCount": 100,
      "identifiedPartiesCount": 80,
      "scoreThreshold": 0.43,
    },
  ],
}
缺失

每个特征系列中所有特征的缺失值占比。

理想情况下，所有 AML AI 功能系列都应具有接近 0 的缺失率。在某些情况下，由于无法获取这些功能系列的基础数据，因此无法进行集成。

如果任何特征系列在调优、训练、评估和预测之间的此值发生显著变化，则可能表明所使用的数据集存在不一致性。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

如何在不重新调整的情况下采用引擎版本

如需重复使用之前引擎配置中的超参数，请参阅创建和管理引擎配置页面上的创建继承超参数的引擎配置部分。具体而言，您需要选择以下内容：

继承时的输出和沿袭

从其他引擎版本继承超参数会创建 EngineConfig 资源，该资源可用于使用源引擎配置中的超参数创建 Model 资源。

对于沿袭，当从另一个引擎配置继承超参数时，EngineConfig 资源中的以下字段会按如下方式设置：

  • hyperparameterSourceType：INHERITED
  • hyperparameterSource：用作超参数来源的引擎配置
  • tuning：原始 tuning 对象，包括用于原始引擎调优的数据集的引用 (primaryDataset) 和用于生成训练特征的数据的最新时间 (endTime)
  • performanceTarget：原始 performanceTarget 对象，包括基于指定模型预计的调查量 (partyInvestigationsPerPeriodHint)
  • 来自原始引擎调优的引擎配置元数据