エンジンを構成する

このページでは、エンジンの構成に関するコンセプトについて簡単に説明します。

ハイパーパラメータのサポートされるソース

エンジンを構成するときに、モデルの作成に使用するハイパーパラメータのソースを選択できます。次のソースがサポートされています。

  • 自動調整: EngineConfig リソースの作成時に AML AI がハイパーパラメータを調整します（デフォルトの動作）。
  • 継承: 同じ調整バージョン内の以前のエンジン バージョンで作成された以前のエンジン構成から、ハイパーパラメータを継承します。この設定により、新しいモデルエンジン バージョンを採用するたびに再調整を行う必要がなくなります。

調整または継承すべき状況

以下のセクションでは、自動チューニングを選択する場合と、以前のエンジン構成からハイパーパラメータを継承する場合の概要を説明します。

調整のタイミング

新しいエンジン構成ごとに調整することもできます。疑わしい場合は、常に最適なパフォーマンスを得られるよう調整する必要があります。詳細については、エンジンを調整する方法をご覧ください。

最高のパフォーマンスを得るには、次のいずれかに該当する場合、エンジンの調整を検討する必要があります。

  • データセットのロジックに大幅な変更を加える。たとえば、次のいずれかの変更を行う場合。
    • フィールドに入力されるロジック
    • 入力された RECOMMENDED フィールドの選択
    • PartySupplementaryData テーブルで提供されるロジックまたはデータの選択
  • エンジンが新しいリージョンのモデルをトレーニングしようとしている。

ハイパーパラメータを継承する場合

新しいエンジン バージョンを採用する際の時間と費用を節約するには、同じ調整バージョンを使用して以前のエンジンからハイパーパラメータを継承します。再調整せずにエンジン バージョンを採用する方法をご覧ください。

調整バージョン v003 のエンジン バージョンと、2024 年 2 月 22 日より前にリリースされたエンジン バージョンでは、ハイパーパラメータの継承はサポートされていませんが、これらのバージョンはハイパーパラメータのソースとして使用できます。

エンジンの調整方法

調整をトリガーするには、エンジン構成を作成して管理するをご覧ください。

特に、次のものを選択する必要があります。

  • エンジンの調整に使用するデータ:

    データセットと、データセットの期間内での終了時間を指定します。

    エンジンの調整では、選択した終了時間の暦月（ただしその歴月を含まない）までの完全な暦月に基づくラベルと特徴が使用されます。詳細については、データセットの時間範囲をご覧ください。

  • エンジンの調整に使用するエンジン バージョン:

    関連するモデルを使用する事業部門（リテールまたはコマーシャル）に一致するエンジン バージョンを選択します。

  • モデルに基づいて予想される調査量:

    partyInvestigationsPerPeriodHint を指定します。エンジンの調整、トレーニング、バックテストでこれを使用することにより、AML AI は毎月の調査量に応じてパフォーマンスを確保できます。

エンジン調整の出力

エンジンの調整では、EngineConfig リソースが生成されます。これは、Model リソースの作成に使用できます。

エンジン構成メタデータには、次の指標が含まれています。特に、これらの指標から次のことがわかります。

  • デフォルトのハイパーパラメータを使用した場合に比べて、エンジンの調整からの想定されるパフォーマンスの向上

  • データセットの整合性を評価するために使用できる測定（たとえば、さまざまなオペレーションからの特徴ファミリーの欠損値を比較するなど）

指標名 指標の説明 指標値の例
ExpectedRecallPreTuning エンジン バージョンのデフォルトのハイパーパラメータを使用するときにテストセットで測定される再現率の指標。

この再現率の測定では、partyInvestigationsPerPeriodHint で指定された 1 か月あたりの調査数を想定しています。 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning 調整されたハイパーパラメータを使用するときにテストセットで測定される再現率の指標。

この再現率の測定では、partyInvestigationsPerPeriodHint で指定された 1 か月あたりの調査数を想定しています。 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
欠損

各特徴ファミリーのすべての特徴の欠損値の割合。

理想的には、すべての AML AI 特徴ファミリーで、欠損が 0 に近いことが推奨されます。これらの特徴ファミリーの基礎となるデータが統合に使用できない場合、例外が発生する可能性があります。

調整、トレーニング、評価、予測の間の特徴ファミリーの値の大幅な変化は、使用されるデータセットに不整合があることを示している可能性があります。 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

再調整せずにエンジン バージョンを導入する方法

以前のエンジン構成のハイパーパラメータを再利用するには、ハイパーパラメータを継承するエンジン構成を作成するセクション（[エンジン構成の作成と管理] ページ）をご覧ください。特に、次のものを選択する必要があります。

  • ハイパーパラメータのソースタイプ: hyperparameterSourceType として INHERITED を選択します。ソースタイプを指定しない場合、下位互換性を確保するために、ハイパーパラメータのソースタイプは TUNING に設定されます。
  • ハイパーパラメータのソース: hyperparameterSource オブジェクトでソースのエンジン構成の完全なリソース名を指定します。ソースエンジン構成の出力は、新しいエンジン構成に使用されます。移行元のエンジン構成は、現在使用している同じ調整エンジン バージョン内の以前のエンジン バージョンで作成されている必要があります。
  • エンジン構成に使用するエンジン バージョン: 使用するモデルの事業部門（小売またはコマーシャル）に一致するエンジン バージョンを選択します。ハイパーパラメータを継承する場合は、事業部門がハイパーパラメータ ソースに使用される事業部門と一致する必要があります。

継承時の出力とリネージ

別のエンジン バージョンからハイパーパラメータを継承すると、EngineConfig リソースが作成され、これを使用して、ソースエンジン構成のハイパーパラメータを使用してモデルリソースを作成できます。

リネージの場合、別のエンジン構成からハイパーパラメータを継承するときに、EngineConfig リソースの次のフィールドは次のように設定されます。

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: ハイパーパラメータのソースとして使用されるエンジン構成
  • tuning:　元の　tuning オブジェクト。元のエンジン調整に使用されたデータセット（primaryDataset）への参照と、トレーニング用の特徴の生成（endTime）に使用されたデータの取得元の最新の時刻が含まれます。
  • performanceTarget:　元の　performanceTarget オブジェクト。指定されたモデルに基づいて予想される調査量（partyInvestigationsPerPeriodHint）を含む。
  • 元のエンジン調整からのエンジン構成メタデータ