このページでは、エンジンの構成に関するコンセプトについて簡単に説明します。
調整または再調整を行うタイミング
AML AI は、EngineConfig リソースの作成時にハイパーパラメータを調整します。 エンジンがモデルをトレーニングする前に、これはどのエンジン バージョンでも必要な手順です。モデルの作成時にエンジン構成を指定する必要があるためです。
最適なパフォーマンスを得るには、次のいずれかが発生した場合にエンジンの調整を検討する必要があります。
- データセットのロジックに大幅な変更を加える。たとえば、次のいずれかの変更を行う場合。
- フィールドに入力する際のロジック
- 入力されている RECOMMENDED フィールドの選択
- PartySupplementaryData テーブルで提供されるデータのロジックまたは選択
- エンジンが新しいリージョンのモデルをトレーニングしようとしている。
エンジンを調整する方法
調整をトリガーするには、エンジン構成の作成と管理をご覧ください。
特に、次の項目を選択する必要があります。
エンジンの調整に使用するデータ:
データセットと、データセットの期間内での終了時間を指定します。
エンジンの調整では、選択した終了時間の暦月（ただしその歴月を含まない）までの完全な暦月に基づくラベルと特徴が使用されます。詳細については、データセットの時間範囲をご覧ください。
エンジンの調整に使用するエンジン バージョン:
関連するモデルを使用する事業部門（リテールまたはコマーシャル）に一致するエンジン バージョンを選択します。
モデルに基づいて予想される調査の量:
partyInvestigationsPerPeriodHintを指定します。これは、エンジンの調整、トレーニング、バックテストで使用され、AML AI が調査量でパフォーマンスを確保します。
エンジンの調整出力
エンジンの調整では、ModelConfig リソースが生成されます。このリソースを使用して、モデルリソースを作成できます。
エンジン構成メタデータには、次の指標が含まれます。特に、これらの指標から次のことがわかります。
デフォルトのハイパーパラメータを使用した場合に比べて、エンジンの調整からの想定されるパフォーマンスの向上
データセットでサポートされている特徴ファミリーに対する大きな変更（エンジンの調整、トレーニング、評価、予測の間）
| 指標名 | 指標の説明 | 指標値の例 |
|---|---|---|
| ExpectedRecallPreTuning | エンジン バージョンのデフォルトのハイパーパラメータを使用するときにテストセットで測定される再現率の指標。
この再現率の測定では、 |
{
"recallValues": [
{
"partyInvestigationsPerPeriod": 5000,
"recallValue": 0.72,
"scoreThreshold": 0.42,
},
],
}
|
| ExpectedRecallPostTuning | 調整されたハイパーパラメータを使用してテストセットで測定される再現率の指標。
この再現率の測定では、 |
{
"recallValues": [
{
"partyInvestigationsPerPeriod": 5000,
"recallValue": 0.80,
"scoreThreshold": 0.43,
},
],
}
|
| 欠損 |
各特徴ファミリーのすべての特徴の欠損値の割合。 理想的には、すべての AML AI 特徴ファミリーで、欠損が 0 に近いことが推奨されます。これらの特徴ファミリーの基礎となるデータが統合に使用できない場合、例外が発生する可能性があります。 調整、トレーニング、評価、予測の間の特徴ファミリーの値の大幅な変化は、使用されるデータセットに不整合があることを示している可能性があります。 |
{
"featureFamilies": [
{
"featureFamily": "unusual_wire_credit_activity",
"missingnessValue": 0.00,
},
...
...
{
"featureFamily": "party_supplementary_data_id_3",
"missingnessValue": 0.45,
},
],
}
|