Suchmaschine konfigurieren

Auf dieser Seite werden die Konzepte zur Konfiguration einer Engine kurz erläutert.

Unterstützte Quellen für Hyperparameter

Beim Konfigurieren einer Engine können Sie die Quelle der Hyperparameter auswählen, die zum Erstellen eines Modells verwendet werden. Folgende Quellen werden unterstützt:

  • Automatische Abstimmung: Die AML AI stimmt die Hyperparameter ab, wenn Sie eine EngineConfig-Ressource erstellen (Standardverhalten).
  • Übernehmen: Hyperparameter aus einer vorherigen Engine-Konfiguration übernehmen, die mit einer früheren Engine-Version innerhalb derselben Abstimmungsversion erstellt wurde. Mit dieser Einstellung müssen Sie die Optimierung nicht jedes Mal neu vornehmen, wenn Sie eine neue Modell-Engine-Version verwenden.

Wann anpassen oder übernehmen?

In den folgenden Abschnitten wird beschrieben, wann Sie die automatische Abstimmung auswählen und wann Sie Hyperparameter aus einer vorherigen Engine-Konfiguration übernehmen sollten.

Wann Sie die Einstellungen anpassen sollten

Sie haben die Möglichkeit, jede neue Engine-Konfiguration zu optimieren. Im Zweifelsfall sollten Sie immer die bestmögliche Leistung erzielen. Weitere Informationen finden Sie im Abschnitt Motoren optimieren.

Für eine optimale Leistung sollten Sie die Motoroptimierung in Betracht ziehen, wenn einer der folgenden Fälle eintritt:

  • Sie nehmen erhebliche Änderungen an der Datensatzlogik vor. Das ist beispielsweise der Fall, wenn sich eine der folgenden Angaben ändert:
    • Die Logik, mit der Felder ausgefüllt werden
    • Die Auswahl der auszufüllenden EMPFOHLENE Felder
    • Die Logik oder Auswahl der Daten in der Tabelle PartySupplementaryData
  • Sie möchten, dass ein Engine ein Modell für eine neue Region trainiert.

Wann Hyperparameter übernehmen?

Um bei der Einführung einer neuen Engine-Version Zeit und Kosten zu sparen, können Sie Hyperparameter aus einer früheren Engine mit derselben Tuning-Version übernehmen. Weitere Informationen finden Sie im Abschnitt Eine Engine-Version übernehmen, ohne sie neu zu optimieren.

Engine-Versionen mit der Tuning-Version v003 und Engine-Versionen, die vor dem 22. Februar 2024 veröffentlicht wurden, unterstützen das Übernehmen von Hyperparametern nicht. Sie können jedoch als Hyperparameterquelle verwendet werden.

Motoren tunen

Informationen zum Auslösen der Optimierung finden Sie unter Engine-Konfigurationen erstellen und verwalten.

Insbesondere müssen Sie Folgendes auswählen:

  • Daten für die Motoroptimierung:

    Geben Sie einen Datensatz und eine Endzeit innerhalb des Zeitraums des Datensatzes an.

    Für die Optimierung der Engine werden Labels und Funktionen für vollständige Kalendermonate bis zum Monat des ausgewählten Endzeitpunkts verwendet, dieser Monat ist jedoch nicht inbegriffen. Weitere Informationen finden Sie unter Zeiträume für Datasets.

  • Die für die Motoroptimierung zu verwendende Engine-Version:

    Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder kommerzielle Nutzung) entspricht, für die Sie die zugehörigen Modelle verwenden werden.

  • Das Volumen der Untersuchungen, das Sie anhand der Modelle erwarten:

    Geben Sie partyInvestigationsPerPeriodHint an. Dieser Wert wird für die Engine-Optimierung, das Training und den Backtest verwendet, um sicherzustellen, dass die AML-KI bei Ihrem monatlichen Untersuchungsvolumen eine gute Leistung erzielt.

Ausgabe der Motorabstimmung

Durch die Motoroptimierung wird eine EngineConfig-Ressource generiert, mit der eine Modellressource erstellt werden kann.

Die Metadaten der Engine-Konfiguration enthalten die folgenden Messwerte. Insbesondere sehen Sie anhand dieser Messwerte Folgendes:

  • Erwarteter Leistungsgewinn durch die Motoroptimierung im Vergleich zur Verwendung der Standardhyperparameter

  • Messwerte, mit denen die Datensatzkonsistenz bewertet werden kann (z. B. durch Vergleich der Werte für fehlende Werte von Feature-Familien aus verschiedenen Vorgängen)

Messwertname Beschreibung des Messwerts Beispiel für einen Messwert
ExpectedRecallPreTuning Der Rückrufmesswert, der für einen Testsatz bei Verwendung der Standardhyperparameter der Engine-Version gemessen wird.

Bei dieser Rückrufmessung wird die in partyInvestigationsPerPeriodHint angegebene Anzahl der Untersuchungen pro Monat zugrunde gelegt. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Der Rückrufmesswert, der in einem Test-Dataset bei Verwendung von abgestimmten Hyperparametern gemessen wird.

Bei dieser Rückrufmessung wird die in partyInvestigationsPerPeriodHint angegebene Anzahl der Untersuchungen pro Monat zugrunde gelegt. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
Fehlende Werte

Anteil der fehlenden Werte bei allen Features in jeder Feature-Familie.

Idealerweise sollte der Wert für alle AML-KI-Funktionsfamilien nahe 0 liegen. Ausnahmen können auftreten, wenn die Daten, die diesen Funktionsfamilien zugrunde liegen, nicht für die Einbindung verfügbar sind.

Eine erhebliche Änderung dieses Werts für eine beliebige Funktionsfamilie zwischen Optimierung, Training, Bewertung und Vorhersage kann auf Inkonsistenzen in den verwendeten Datensätzen hinweisen. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Engine-Version übernehmen, ohne sie neu zu optimieren

Informationen zum Wiederverwenden von Hyperparametern aus einer vorherigen Engine-Konfiguration finden Sie auf der Seite Engine-Konfigurationen erstellen und verwalten im Abschnitt Engine-Konfiguration erstellen, die Hyperparameter erbt. Insbesondere müssen Sie Folgendes auswählen:

  • Hyperparameter-Quelltyp:Wählen Sie INHERITED als hyperparameterSourceType aus. Wenn Sie den Quelltyp nicht angeben, wird der Quelltyp des Hyperparameters auf TUNING gesetzt, um für Abwärtskompatibilität zu sorgen.
  • Hyperparameterquelle:Geben Sie im Objekt hyperparameterSource den vollständigen Ressourcennamen der Quell-Engine-Konfiguration an. Die Ausgabe der Quell-Engine-Konfiguration wird für die neue Engine-Konfiguration verwendet. Die Quell-Engine-Konfiguration muss mit einer früheren Engine-Version innerhalb derselben Tuning-Engine-Version erstellt worden sein, die Sie derzeit verwenden.
  • Für die Engine-Konfiguration zu verwendende Engine-Version:Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder kommerzielle Nutzung) der zu verwendenden Modelle entspricht. Wenn Hyperparameter übernommen werden, muss die Branche mit der Branche übereinstimmen, die für die Hyperparameterquelle verwendet wird.

Ausgabe und Abstammung beim Übernehmen

Wenn Sie Hyperparameter von einer anderen Engine-Version übernehmen, wird eine EngineConfig-Ressource erstellt, mit der Sie eine Modellressource mit den Hyperparametern aus der Quell-Engine-Konfiguration erstellen können.

Für die Abstammung werden die folgenden Felder in der EngineConfig-Ressource so festgelegt, wenn Hyperparameter aus einer anderen Engine-Konfiguration übernommen werden:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: Die Engine-Konfiguration, die als Hyperparameterquelle verwendet wird
  • tuning: Ursprüngliches tuning-Objekt, einschließlich der Referenz auf das Dataset, das für die ursprüngliche Engine-Optimierung verwendet wurde (primaryDataset) und der letzten Zeit, zu der Daten zum Generieren von Funktionen für das Training verwendet wurden (endTime)
  • performanceTarget: Ursprüngliches performanceTarget-Objekt, einschließlich der Anzahl der Untersuchungen, die auf Grundlage der angegebenen Modelle erwartet werden (partyInvestigationsPerPeriodHint)
  • Metadaten zur Engine-Konfiguration aus der ursprünglichen Engine-Optimierung