Suchmaschine konfigurieren

Auf dieser Seite werden die Konzepte zur Konfiguration einer Suchmaschine kurz erläutert.

Unterstützte Quellen für Hyperparameter

Bei der Konfiguration einer Engine können Sie die Quelle der Hyperparameter auswählen, die zum Erstellen eines Modells verwendet werden. Folgende Quellen werden unterstützt:

  • Automatische Abstimmung: AML AI stimmt Hyperparameter ab, wenn Sie eine EngineConfig-Ressource erstellen (Standardverhalten)
  • Übernehmen: Übernimmt Hyperparameter von einer vorherigen Engine-Konfiguration, die mit einer früheren Engine-Version innerhalb derselben Abstimmungsversion erstellt wurde. Mit dieser Einstellung müssen Sie nicht jedes Mal eine erneute Abstimmung vornehmen, wenn Sie eine neue Version der Modell-Engine übernehmen.

Wann abgestimmt oder übernommen werden sollte

In den folgenden Abschnitten wird beschrieben, wann Sie die automatische Abstimmung auswählen sollten und wann Sie Hyperparameter aus einer vorherigen Suchmaschinenkonfiguration übernehmen sollten.

Zeitpunkt der Abstimmung

Sie haben die Möglichkeit, jede neue Engine-Konfiguration zu optimieren. Im Zweifelsfall sollten Sie immer eine Optimierung vornehmen, um optimale Leistungsergebnisse zu erzielen. Weitere Informationen finden Sie im Abschnitt So optimieren Sie eine Suchmaschine.

Sie sollten die Engine-Abstimmung in folgenden Fällen in Betracht ziehen, um die beste Leistung zu erzielen:

  • Sie nehmen wesentliche Änderungen an der Dataset-Logik vor. Zum Beispiel, wenn sich eine der folgenden Bedingungen ändert:
    • Die Logik, nach der Felder gefüllt werden
    • Die Auswahl der Felder „EMPFOHLEN“, die ausgefüllt werden
    • Logik oder Auswahl der Daten in der Tabelle PartySupplementaryData
  • Sie sind dabei, ein Modell mit einem Motor für eine neue Region zu trainieren.

Wann Hyperparameter übernommen werden sollen

Um bei der Übernahme einer neuen Engine-Version Zeit und Kosten zu sparen, können Sie Hyperparameter von einer vorherigen Engine mit derselben Abstimmungsversion übernehmen. Weitere Informationen finden Sie im Abschnitt So übernehmen Sie eine Suchmaschinenversion ohne erneute Abstimmung.

Engine-Versionen mit Abstimmungsversion v003 und Engine-Versionen, die vor dem 22.02.2024 veröffentlicht wurden, unterstützen die Übernahme von Hyperparametern nicht. Diese Versionen können jedoch als Quelle von Hyperparametern verwendet werden.

Motor abstimmen

Informationen zum Auslösen der Abstimmung finden Sie unter Engine-Konfigurationen erstellen und verwalten.

Wählen Sie insbesondere Folgendes aus:

  • Für die Motorabstimmung werden folgende Daten verwendet:

    Geben Sie einen Datensatz und eine Endzeit innerhalb des Datumsbereichs des Datensatzes an.

    Bei der Suchmaschinenabstimmung werden Labels und Features basierend auf vollständigen Kalendermonaten bis zum Monat des ausgewählten Endes verwendet. Weitere Informationen finden Sie unter Dataset-Zeitbereiche.

  • Die für die Motorabstimmung zu verwendende Engine-Version:

    Wählen Sie eine Suchmaschinenversion aus, die der Branche (Einzelhandel oder Handel) entspricht, für die Sie die zugehörigen Modelle verwenden möchten.

  • Anzahl der Untersuchungen, die Sie basierend auf den Modellen erwarten:

    Geben Sie partyInvestigationsPerPeriodHint an. Diese wird für Engine-Abstimmung, Training und Backtesting verwendet, damit AML AI bei Ihrem monatlichen Untersuchungsvolumen eine Leistung liefert.

Ausgabe der Suchmaschinenabstimmung

Bei der Engine-Abstimmung wird eine EngineConfig-Ressource generiert, mit der eine Modellressource erstellt werden kann.

Die Metadaten für die Engine-Konfiguration enthalten die folgenden Messwerte. Diese Messwerte zeigen insbesondere Folgendes an:

  • Erwarteter Leistungssteigerung durch Engine-Abstimmung im Vergleich zur Verwendung der Standard-Hyperparameter

  • Alle größeren Änderungen bei den vom Dataset unterstützten Featurefamilien (zwischen Suchmaschinenoptimierung, Training, Bewertung und Vorhersage)

Messwertname Beschreibung des Messwerts Beispiel für einen Messwert
ExpectedRecallPreTuning Recall-Messwert, der in einem Test-Dataset gemessen wurde, wenn Standard-Hyperparameter der Suchmaschinenversion verwendet werden.

Bei dieser Recall-Messung wird von der Anzahl der Prüfungen pro Monat ausgegangen, die in partyInvestigationsPerPeriodHint angegeben ist. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Recall-Messwert, der in einem Test-Dataset gemessen wurde, wenn abgestimmte Hyperparameter verwendet werden.

Bei dieser Recall-Messung wird von der Anzahl der Prüfungen pro Monat ausgegangen, die in partyInvestigationsPerPeriodHint angegeben ist. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
Fehlen

Anteil der fehlenden Werte für alle Features in jeder Featurefamilie.

Im Idealfall sollte für alle AML AI-Featurefamilien ein „Fehlendes“ Ergebnis nahe 0 sein. Unter Umständen können Ausnahmen auftreten, wenn die Daten, die diesen Featurefamilien zugrunde liegen, nicht für die Integration verfügbar sind.

Eine erhebliche Änderung dieses Werts für eine Featurefamilie zwischen Abstimmung, Training, Bewertung und Vorhersage kann auf Inkonsistenzen in den verwendeten Datasets hindeuten. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Suchmaschinenversion ohne erneute Abstimmung verwenden

Informationen zur Wiederverwendung von Hyperparametern aus einer vorherigen Engine-Konfiguration finden Sie im Abschnitt Engine-Konfiguration erstellen, die Hyperparameter übernimmt (auf der Seite Engine-Konfigurationen erstellen und verwalten). Insbesondere müssen Sie Folgendes auswählen:

  • Hyperparameter-Quelltyp: Wählen Sie INHERITED als hyperparameterSourceType aus. Wenn Sie den Quelltyp nicht angeben, wird der Hyperparameter-Quelltyp auf TUNING gesetzt, um die Abwärtskompatibilität zu ermöglichen.
  • Hyperparameter-Quelle: Geben Sie den vollständigen Ressourcennamen der Quell-Engine-Konfiguration im Objekt hyperparameterSource an. Die Ausgaben der Quell-Engine-Konfiguration werden für die neue Engine-Konfiguration verwendet. Die Konfiguration der Quell-Engine muss mit einer früheren Engine-Version innerhalb derselben Abstimmungs-Engine-Version erstellt worden sein, die Sie jetzt verwenden.
  • Engine-Version, die für die Engine-Konfiguration verwendet werden soll: Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder Handel) für die Modelle entspricht, die Sie verwenden möchten. Dieser Geschäftsbereich muss mit dem Geschäftsbereich in der Engine-Konfiguration übereinstimmen, die Sie als Hyperparameter-Quelle verwenden.

Ausgabe und Herkunft bei Übernahme

Durch das Übernehmen von Hyperparametern von einer anderen Engine-Version wird eine EngineConfig-Ressource erstellt, die zum Erstellen einer Modellressource mithilfe der Hyperparameter aus der Konfiguration der Quell-Engine verwendet werden kann.

Für die Herkunft werden die folgenden Felder in der EngineConfig-Ressource so festgelegt, wenn Hyperparameter von einer anderen Engine-Konfiguration übernommen werden:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: Die als Hyperparameter-Quelle verwendete Engine-Konfiguration.
  • tuning: ursprüngliches tuning-Objekt, einschließlich des Verweises auf das Dataset, das für die ursprüngliche Suchmaschinenabstimmung verwendet wurde (primaryDataset), und den letzten Zeitpunkt, zu dem Daten zum Generieren von Features für das Training verwendet wurden (endTime)
  • performanceTarget: ursprüngliches performanceTarget-Objekt, einschließlich des Umfangs der Prüfungen, die auf Grundlage der angegebenen Modelle (partyInvestigationsPerPeriodHint) erwartet werden
  • Engine-Konfigurationsmetadaten aus der ursprünglichen Engine-Abstimmung