Suchmaschine konfigurieren

Auf dieser Seite werden die Konzepte hinter der Konfiguration einer Engine kurz erläutert.

Diese Seite gilt für die Engine-Versionen in den folgenden Hauptgruppen von Engine-Versionen. Wenn Sie die Seite für andere Engine-Versionen aufrufen möchten, verwenden Sie die Auswahl oben auf dieser Seite.

Zusammenfassend sind das die Änderungen von den Engine-Versionen v003 bis v004 (bis v004.008):

  • Den Messwerten ExpectedRecallPreTuning und ExpectedRecallPostTuning wurden partiesCount und identifiedPartiesCount hinzugefügt.

Unterstützte Quellen für Hyperparameter

Beim Konfigurieren einer Engine können Sie die Quelle der Hyperparameter auswählen, die zum Erstellen eines Modells verwendet werden. Die folgenden Quellen werden unterstützt:

  • Automatische Optimierung: AML AI optimiert Hyperparameter, wenn Sie eine EngineConfig-Ressource erstellen (Standardverhalten).
  • Übernehmen: Hyperparameter aus einer vorherigen Engine-Konfiguration übernehmen, die mit einer früheren Engine-Version innerhalb derselben Abstimmungsversion erstellt wurde. Mit dieser Einstellung können Sie vermeiden, dass Sie jedes Mal neu abstimmen müssen, wenn Sie eine neue Version der Modell-Engine verwenden.

Wann sollten Sie abstimmen oder übernehmen?

In den folgenden Abschnitten wird beschrieben, wann Sie die automatische Optimierung auswählen und wann Sie Hyperparameter aus einer vorherigen Engine-Konfiguration übernehmen sollten.

Wann sollte ich die Einstellungen optimieren?

Sie haben die Möglichkeit, jede neue Engine-Konfiguration zu optimieren. Im Zweifelsfall sollten Sie immer auf die beste Leistung abstimmen. Weitere Informationen finden Sie im Abschnitt Engine optimieren.

Für eine optimale Leistung sollten Sie das Engine-Tuning in Betracht ziehen, wenn einer der folgenden Fälle eintritt:

  • Sie nehmen wesentliche Änderungen an der Dataset-Logik vor. Das kann beispielsweise der Fall sein, wenn sich Folgendes ändert:
    • Die Logik, nach der Felder ausgefüllt werden
    • Die Auswahl der ausgefüllten EMPFOHLENEN Felder
    • Die Logik oder Auswahl der Daten in der Tabelle PartySupplementaryData
  • Sie sind dabei, ein Modell für eine neue Region trainieren zu lassen.

Wann Hyperparameter übernommen werden

Wenn Sie Zeit und Kosten bei der Einführung einer neuen Engine-Version sparen möchten, können Sie Hyperparameter von einer vorherigen Engine mit derselben Optimierungsversion übernehmen. Weitere Informationen finden Sie im Abschnitt Engine-Version ohne erneutes Optimieren übernehmen.

Bei Engine-Versionen mit der Abstimmungsversion v003 und Engine-Versionen, die vor dem 22.02.2024 veröffentlicht wurden, werden keine Hyperparameter übernommen. Diese Versionen können jedoch als Quelle für Hyperparameter verwendet werden.

Motor abstimmen

Informationen zum Auslösen der Optimierung finden Sie unter Engine-Konfigurationen erstellen und verwalten.

Insbesondere müssen Sie Folgendes auswählen:

  • Die Daten, die für das Optimieren der Engine verwendet werden sollen:

    Geben Sie ein Dataset und eine Endzeit innerhalb des Zeitraums des Datasets an.

    Für die Optimierung der Engine werden Labels und Funktionen verwendet, die auf vollständigen Kalendermonaten bis einschließlich des Monats vor dem ausgewählten Endzeitpunkt basieren. Weitere Informationen finden Sie unter Dataset-Zeiträume.

  • Die Engine-Version, die für das Engine-Tuning verwendet werden soll:

    Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder gewerblich) entspricht, für die Sie die zugehörigen Modelle verwenden möchten.

  • Das erwartete Volumen der Untersuchungen basierend auf den Modellen:

    Geben Sie partyInvestigationsPerPeriodHint an. Dies wird für die Optimierung, das Training und das Backtesting der Engine verwendet, um sicherzustellen, dass AML AI bei Ihrem monatlichen Untersuchungsvolumen eine gute Leistung erbringt.

Ausgabe der Engine-Abstimmung

Beim Engine-Tuning wird eine EngineConfig-Ressource generiert, mit der eine Modellressource erstellt werden kann.

Die Metadaten der Engine-Konfiguration enthalten die folgenden Messwerte. Insbesondere können Sie anhand dieser Messwerte Folgendes sehen:

  • Erwartete Leistungssteigerung durch die Optimierung der Engine im Vergleich zur Verwendung der Standard-Hyperparameter

  • Messwerte, mit denen die Konsistenz von Datasets bewertet werden kann (z. B. durch Vergleichen der Werte für fehlende Daten von Feature-Familien aus verschiedenen Vorgängen)

Messwertname Beschreibung des Messwerts Beispiel für Messwert
ExpectedRecallPreTuning Messwert für den Recall, der für ein Test-Dataset gemessen wird, wenn die Standard-Hyperparameter der Engine-Version verwendet werden.

Bei dieser Rückruf-Messung wird die Anzahl der Untersuchungen pro Monat angenommen, die in partyInvestigationsPerPeriodHint angegeben ist. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "partiesCount": 100,
      "identifiedPartiesCount": 72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Messwert für den Recall, der für ein Test-Dataset berechnet wird, wenn abgestimmte Hyperparameter verwendet werden.

Bei dieser Rückruf-Messung wird die Anzahl der Untersuchungen pro Monat angenommen, die in partyInvestigationsPerPeriodHint angegeben ist. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "partiesCount": 100,
      "identifiedPartiesCount": 80,
      "scoreThreshold": 0.43,
    },
  ],
}
Fehlende Werte

Anteil der fehlenden Werte für alle Features in jeder Feature-Familie.

Im Idealfall sollte für alle AML AI-Funktionsfamilien ein Missingness-Wert nahe 0 vorliegen. Es kann Ausnahmen geben, bei denen die Daten, die diesen Funktionsfamilien zugrunde liegen, nicht für die Integration verfügbar sind.

Eine erhebliche Änderung dieses Werts für eine beliebige Feature-Familie zwischen Optimierung, Training, Auswertung und Vorhersage kann auf Inkonsistenzen in den verwendeten Datasets hindeuten. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Engine-Version ohne erneutes Abstimmen übernehmen

Informationen zum Wiederverwenden von Hyperparametern aus einer vorherigen Engine-Konfiguration finden Sie im Abschnitt Engine-Konfiguration mit übernommenen Hyperparametern erstellen auf der Seite Engine-Konfigurationen erstellen und verwalten. Insbesondere müssen Sie Folgendes auswählen:

  • Hyperparameter-Quelltyp:Wählen Sie INHERITED als hyperparameterSourceType aus. Wenn Sie den Quelltyp nicht angeben, wird der Hyperparameter-Quelltyp auf TUNING gesetzt, um die Abwärtskompatibilität zu gewährleisten.
  • Hyperparameterquelle:Geben Sie den vollständigen Ressourcennamen der Quell-Engine-Konfiguration im Objekt hyperparameterSource an. Die Ausgaben der Quell-Engine-Konfiguration werden für die neue Engine-Konfiguration verwendet. Die Konfiguration der Quell-Engine muss mit einer früheren Engine-Version innerhalb derselben Tuning-Engine-Version erstellt worden sein, die Sie jetzt verwenden.
  • Engine-Version für die Engine-Konfiguration:Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder gewerblich) für die Modelle entspricht, die Sie verwenden möchten. Wenn Sie Hyperparameter übernehmen, muss die Branche mit der Branche der Hyperparameterquelle übereinstimmen.

Ausgabe und Herkunft beim Übernehmen

Durch die Übernahme von Hyperparametern aus einer anderen Engine-Version wird eine EngineConfig-Ressource erstellt, mit der eine Modellressource mit den Hyperparametern aus der Quell-Engine-Konfiguration erstellt werden kann.

Für die Herkunft werden die folgenden Felder in der EngineConfig-Ressource so festgelegt, wenn Hyperparameter von einer anderen Engine-Konfiguration übernommen werden:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: Die als Hyperparameterquelle verwendete Engine-Konfiguration
  • tuning: Das ursprüngliche tuning-Objekt, einschließlich des Verweises auf das Dataset, das für die ursprüngliche Optimierung der Engine verwendet wurde (primaryDataset), und des letzten Zeitpunkts, ab dem Daten zum Generieren von Merkmalen für das Training verwendet wurden (endTime)
  • performanceTarget: Das ursprüngliche performanceTarget-Objekt, einschließlich des erwarteten Untersuchungsvolumens basierend auf den angegebenen Modellen (partyInvestigationsPerPeriodHint)
  • Metadaten der Engine-Konfiguration aus der ursprünglichen Engine-Optimierung