配置引擎

本页面简要介绍了配置引擎背后的概念。

支持的超参数来源

配置引擎时，您可以选择用于创建模型的超参数的来源。支持以下来源：

  • 自动调整：在您创建 EngineConfig 资源时，AML AI 会调整超参数（默认行为）
  • 继承：从使用同一调整版本中的早期引擎版本创建的先前引擎配置继承超参数。此设置可让您避免在每次采用新的模型引擎版本时都进行重新调整。

何时调整或继承

以下部分概述了何时应选择自动调节，以及何时应从以前的引擎配置继承超参数。

调优时间

您可以选择对每项新引擎配置进行调参，如有疑问，则应始终进行调整，以获得最佳性能结果。如需了解详情，请参阅“如何调整引擎”部分。

为获得最佳性能，在发生以下任一情况时，您应该考虑引擎调整：

  • 您对数据集逻辑进行了重大更改。例如，当发生以下任一变化时：
    • 填充字段所依据的逻辑
    • 选择填充的推荐字段
    • PartySupplementaryData 表中提供的数据的逻辑或选择
  • 您即将让引擎为新的区域训练模型。

何时继承超参数

为了在采用新引擎版本时节省时间和费用，您可以使用同一调整版本从先前的引擎继承超参数。请参阅“如何在不重新调整的情况下采用引擎版本”部分。

调参版本为 v003 的引擎版本以及 2024 年 2 月 22 日之前发布的引擎版本不支持超参数继承，但这些版本可以用作超参数来源。

如何调整引擎

如需触发调参，请参阅创建和管理引擎配置。

具体而言，您需要选择以下选项：

  • 用于引擎调整的数据：

    请指定数据集，并指定该数据集日期范围内的结束时间。

    引擎调整使用基于完整日历月的标签和特征，截至（但不包括）所选结束时间的月份。如需了解详情，请参阅数据集时间范围。

  • 用于引擎调整的引擎版本：

    根据您要将关联模型用于哪些业务领域（零售或商业），选择引擎版本。

  • 根据模型您期望的调查量：

    指定 partyInvestigationsPerPeriodHint。AML AI 用于引擎调优、训练和回测，以确保 AML AI 在您的每月调查量中提供性能。

引擎调参输出

引擎调整会生成 EngineConfig 资源，该资源可用于创建模型资源。

引擎配置元数据包含以下指标。具体而言，这些指标会向您显示以下信息：

  • 引擎调整与使用默认超参数的预期性能增益对比

  • 数据集支持的特征系列的任何重大更改（在引擎调优、训练、评估和预测之间）

指标名称 指标说明 指标值示例
ExpectedRecallPreTuning 使用引擎版本的默认超参数时，在测试集上测量的召回率指标。

此召回率测量假设 partyInvestigationsPerPeriodHint 中指定的每月调查次数。

 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning 使用经调整的超参数时，在测试集上测量的召回率指标。

此召回率测量假设 partyInvestigationsPerPeriodHint 中指定的每月调查次数。

 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
缺失

每个特征系列中所有特征的缺失值份额。

理想情况下，所有 AML AI 功能系列的缺失值应接近 0。如果这些功能系列的基础数据无法进行集成，可能会出现例外情况。

对于调优、训练、评估和预测之间的任何特征系列的此值出现显著变化，可能表示所用数据集不一致。

 
{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

如何在不重新调整的情况下采用引擎版本

如需重复使用先前引擎配置中的超参数，请参阅创建继承超参数的引擎配置部分（位于创建和管理引擎配置页面上）。具体而言，您需要选择以下各项：

  • 超参数来源类型：选择 INHERITED 作为 hyperparameterSourceType。如果您未指定来源类型，则超参数来源类型会设置为 TUNING 以实现向后兼容性。
  • 超参数来源：在 hyperparameterSource 对象中指定来源引擎配置的完整资源名称。源引擎配置的输出会用于新的引擎配置。源引擎配置必须是使用您当前所用调优引擎版本中的较低引擎版本创建的。
  • 要用于引擎配置的引擎版本：为您要使用的车型选择与业务范围（零售或商业）匹配的引擎版本。此业务线必须与您用作超参数源的引擎配置中的业务线匹配。

继承时的输出和沿袭

从其他引擎版本继承超参数会创建 EngineConfig 资源，该资源可用于使用来源引擎配置中的超参数创建模型资源。

对于沿袭，当您从其他引擎配置继承超参数时，将按如下方式设置 EngineConfig 资源中的以下字段：

  • hyperparameterSourceType：INHERITED
  • hyperparameterSource：用作超参数来源的引擎配置
  • tuning：原始 tuning 对象，包括对用于原始引擎调整的数据集的引用 (primaryDataset) 以及数据用于生成训练特征的最新时间 (endTime)
  • performanceTarget：原始 performanceTarget 对象，包括根据指定模型预计进行的调查量 (partyInvestigationsPerPeriodHint)
  • 来自原始引擎调整的引擎配置元数据