モデルを評価する

バックテスト結果によって、指定された時間枠におけるモデルのパフォーマンスの概要がわかります。バックテスト期間中にすべての顧客を予測し、利用可能なリスクイベントに対するモデルのパフォーマンスを評価することによって生成されます。

バックテストの結果は、トレーニングで使用したものとは別の時間範囲でモデルのパフォーマンスを測定したり、経時的にパフォーマンスの低下をチェックしたりするために使用できます。

バックテストの方法

BacktestResult リソースを作成するには、バックテスト結果の作成と管理をご覧ください。

特に、次のものを選択する必要があります。

  • バックテストに使用するデータ:

    データセットと、データセットの期間内での終了時間を指定します。

    トレーニングでは、選択した終了時間の暦月（ただしその歴月を含まない）までの完全な暦月に基づくラベルと特徴が使用されます。詳細については、データセットの時間範囲をご覧ください。

    バックテストに使用するラベル付きデータの月数（つまりバックテスト期間）を指定します。

  • 一貫性のあるデータセットを使用して作成されたモデル:

    モデルの作成をご覧ください。

バックテスト期間

backtestPeriods フィールドには、このモデルのパフォーマンス評価で特徴とラベルを使用する連続する歴月を指定します。

バックテスト データには、以下が適用されます。

  • 評価に使用される月は、指定された endTime より前の直近の完全な暦月です。たとえば、endTime が 2023-04-15T23:21:00Z で backtestPeriods が 5 の場合、次の月が使用されます。: 2023-03、2023-02、2023-01、2022-12、2022-11。
  • 本番環境で使用するためにモデルを評価する場合は、バックテストに使用可能な最新のデータを使用してください。

  • バックテスト期間は 3 以上に設定する必要があります。バックテスト期間は 2 か月間で、繰り返しアラートを考慮して予約され、残りの月はパフォーマンス評価のためのポジティブ ラベルの生成に使用されます。

  • 過学習のリスクがあるため、トレーニングとバックテストに重複する月を使用しないでください。バックテストとトレーニングの終了時間が少なくとも backtestPeriods 離れていることを確認します。つまり、次のようになります。

    （バックテスト結果の終了時間の月）>=（モデルの終了時間の月）+ backtestPeriods

必要に応じて、モデルの予測結果を作成し、独自の当事者レベルのモデル パフォーマンスを分析することもできます。

バックテストの出力

バックテスト結果のメタデータには、次の指標が含まれます。特に、これらの指標には次の情報が表示されます。

  • 別の期間のラベルや、さまざまな調査量やリスクスコアのしきい値と比較して、モデルがどのように機能するか

  • データセットの整合性を評価するために使用できる測定（たとえば、異なるオペレーションによる特徴ファミリーの欠損値を比較するなど）

指標名 指標の説明 指標値の例
ObservedRecallValues バックテストに指定されたデータセットで測定された再現率の指標。API には、これらの測定値のうち 20 個が含まれ、異なる動作ポイントで 0（含まれていない）から 2 * partyInvestigationsPerPeriodHint まで均等に分配されます。この API は、最終的な再現率の測定値を partyInvestigationsPerPeriodHint で追加します。 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
欠損

各特徴ファミリーのすべての特徴の欠損値の割合。

理想的には、すべての AML AI 特徴ファミリーで、欠損が 0 に近いことが推奨されます。これらの特徴ファミリーの基礎となるデータが統合に使用できない場合、例外が発生する可能性があります。

調整、トレーニング、評価、予測の間の特徴ファミリーの値の大幅な変化は、使用されるデータセットに不整合があることを示している可能性があります。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
スキュー

トレーニング データセットと予測データセットとの間、またはバックテスト データセットとの間のスキューを示す指標。ファミリー スキューは、特徴ファミリー内の特徴値の分布の変化を示し、そのファミリー内の特徴の重要度によって重み付けされます。最大スキューは、そのファミリー内の特徴の最大スキューを示します。

スキュー値の範囲は、ファミリー内の特徴値の分布に大幅な変化がないことを示す 0 から、最も大きな変化を表す 1 までです。ファミリー スキューまたは最大スキューのいずれかの値が大きい場合は、データの構造が大幅に変化し、モデルのパフォーマンスに影響する可能性があることを示しています。ファミリー スキューは、ファミリー内の特徴がモデルで使用されない場合、-1 になります。

スキュー値が大きい場合は、次のいずれかを行う必要があります。

  • その特徴ファミリーで使用されるデータの変更を調査し（モデル ガバナンスのサポート資料を参照）、入力データの問題を修正する
  • より新しいデータでモデルを再トレーニングする

数か月にわたるスキュー指標の自然な変動の観察に基づいて、ファミリー スキューと最大スキューの値を操作するしきい値を設定する必要があります。

 
{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}