Modell bewerten

Backtest-Ergebnisse bieten Ihnen eine Zusammenfassung der Modellleistung in einem Zeitraum. Sie werden generiert, indem eine Vorhersage für alle Kundschaft innerhalb eines Backtests durchgeführt wird und die Modellleistung anhand verfügbarer Risikoereignisse zu bewerten.

Backtest-Ergebnisse können verwendet werden, um die Modellleistung zu einem anderen Zeitpunkt zu messen die für das Training verwendet werden, oder auch im Laufe der Zeit, Beeinträchtigung.

Backtest durchführen

So erstellen Sie ein BacktestResult-Ressource Siehe Backtest-Ergebnisse erstellen und verwalten.

Wählen Sie insbesondere Folgendes aus:

  • Die für das Backtesting zu verwendenden Daten:

    Geben Sie einen Datensatz und eine Endzeit innerhalb des Datumsbereichs des Datensatzes an.

    Beim Training werden Labels und Funktionen anhand von abgeschlossenen Kalendermonaten bis zu ohne den Monat des ausgewählten Endes. Weitere Informationen Siehe Dataset-Zeitbereiche:

    Geben Sie an, wie viele Monate lang mit Labels versehene Daten für das Backtesting verwendet werden sollen (d. h. die Anzahl der Backtest-Zeiträume).

  • Ein Modell, das mit einem einheitlichen Dataset erstellt wurde:

    Weitere Informationen finden Sie unter Modell erstellen

Backtest-Zeiträume

Die backtestPeriods gibt an, für wie viele aufeinanderfolgende Kalendermonate die Funktionen und Labels verwendet werden sollen bei der Leistungsbewertung dieses Modells.

Für Backtest-Daten gilt Folgendes:

  • Die Monate, die bei der Bewertung verwendet werden, sind die letzten vollständigen Kalendermonate vor der angegebenen endTime. Beispiel: endTime ist 2023-04-15T23:21:00Z und backtestPeriods sind 5, dann sind die Labels aus die folgenden Monate werden verwendet: 2023-03, 2023-02, 2023-01, 2022-12 und 2022–11.
  • Verwenden Sie die neuesten verfügbaren Daten für Backtesting, wenn Bewertung eines Modells zur Vorbereitung auf den Produktionseinsatz.

  • Backtest-Zeiträume müssen auf 3 oder größer festgelegt werden. Zwei Monate Backtest werden für wiederholte Benachrichtigungen und für die verbleibenden Monate reserviert. werden verwendet, um positive Labels für die Leistungsbewertung zu generieren.

  • Vermeiden Sie es, sich überschneidende Monate für Schulungen und Backtests zu verwenden, da dies Risiken Überanpassung. Achten Sie darauf, dass die Endzeiten für Backtest und Training mindestens backtestPeriods auseinanderliegen. Das heißt:

    (Backtest results end time month) >= (model end time month) + backtestPeriods

Optional können Sie auch Vorhersageergebnisse erstellen für ein Modell und führen Sie eigene Analysen der Modellleistung durch.

Backtest-Ausgabe

Die Metadaten der Backtest-Ergebnisse enthält die folgenden Messwerte. Diese Messwerte zeigen Ihnen insbesondere, Folgendes:

  • Die Leistung des Modells im Vergleich zu Labels aus einem separaten Zeitraum unterschiedlichen Untersuchungsvolumens oder Risiko-Score-Schwellenwerte

  • Messungen, mit denen die Konsistenz von Datasets bewertet werden kann (z. B. durch den Vergleich der fehlende Werte von Featurefamilien aus verschiedenen Vorgängen)

Messwertname Beschreibung des Messwerts Beispiel für einen Messwert
ObservedRecallValues Recall-Messwert, gemessen am Dataset, das für das Backtesting angegeben wurde. Die API umfasst 20 dieser Messungen bei unterschiedlichen Betriebspunkten, gleichmäßig verteilt von 0 (nicht enthalten) bis 2 * partyInvestigationsPerPeriodHint Die API fügt einen abschließenden Recall hinzu. Messung bei partyInvestigationsPerPeriodHint. 
{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.42,
    },
    ...
    ...
    {
      "partyInvestigationsPerPeriod": 8000,
      "recallValue": 0.85,
      "scoreThreshold": 0.30,
    },
  ],
}
Fehlen

Anteil der fehlenden Werte für alle Features in jeder Featurefamilie.

Idealerweise sollten alle AML AI-Funktionsfamilien eine Fehlwert nahe 0. Ausnahmen können auftreten, wenn die zugrunde liegenden Daten für die Integration dieser Funktionsfamilien nicht verfügbar ist.

Eine erhebliche Änderung dieses Werts für eine Featurefamilie zwischen Abstimmung, Training, Bewertung und Vorhersage können auf Inkonsistenzen in der Datasets. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}
Verzerrung

Messwerte, die die Verzerrung zwischen Trainings- und Vorhersage- oder Backtest-Datasets anzeigen. Abweichungen bei der Familie zeigen Änderungen in der Verteilung der Featurewerte innerhalb einer Featurefamilie an, gewichtet nach Wichtigkeit des Features innerhalb dieser Familie. Die maximale Verzerrung gibt die maximale Verzerrung jedes Merkmals innerhalb dieser Familie an.

Die Verzerrungswerte reichen von 0, was keine signifikante Änderung in der Verteilung der Werte von Merkmalen in der Familie darstellt, bis 1 für die wichtigste Änderung. Ein hoher Wert für die Familienabweichung oder die maximale Verzerrung deutet auf eine erhebliche Änderung in der Struktur Ihrer Daten hin, die sich auf die Modellleistung auswirken kann. Eine Familienabweichung hat den Wert -1, wenn keine Features in der Familie vom Modell verwendet werden.

Führen Sie bei großen Abweichungen einen der folgenden Schritte aus:

  • Prüfen Sie Änderungen an den von dieser Feature-Familie verwendeten Daten (siehe Supportmaterialien für die Modell-Governance) und beheben Sie Probleme mit Eingabedaten
  • Modell mit neueren Daten neu trainieren

Sie sollten Schwellenwerte für das Reagieren auf die Werte der Familie und der maximalen Verzerrung basierend auf der Beobachtung der natürlichen Schwankungen der Verzerrungsmesswerte über mehrere Monate festlegen. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "familySkewValue": 0.10,
      "maxSkewValue": 0.14,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "familySkewValue": 0.11,
      "maxSkewValue": 0.11,
    },
  ],
}