Suchmaschine konfigurieren

Auf dieser Seite werden die Konzepte zum Konfigurieren einer Suchmaschine kurz beschrieben.

Unterstützte Quellen für Hyperparameter

Beim Konfigurieren einer Suchmaschine können Sie die Quelle der Hyperparameter auswählen, die zum Erstellen eines Modells verwendet werden. Die folgenden Quellen werden unterstützt:

  • Automatische Abstimmung: AML AI stimmt Hyperparameter ab, wenn Sie eine EngineConfig-Ressource erstellen (Standardverhalten)
  • Übernehmen: Hyperparameter von einer vorherigen Engine-Konfiguration übernehmen, die mit einer früheren Engine-Version innerhalb derselben Abstimmungsversion erstellt wurde. Mit dieser Einstellung müssen Sie nicht jedes Mal eine Feinabstimmung vornehmen, wenn Sie eine neue Modell-Engine-Version verwenden.

Wann abgestimmt oder übernommen werden sollte

In den folgenden Abschnitten wird beschrieben, wann Sie die automatische Feinabstimmung auswählen und wann Sie Hyperparameter aus einer vorherigen Engine-Konfiguration übernehmen sollten.

Zeitpunkt der Abstimmung

Sie können jede neue Engine-Konfiguration anpassen und im Zweifelsfall immer Optimierungen vornehmen, um optimale Leistungsergebnisse zu erzielen. Weitere Informationen finden Sie unter Suchmaschinenoptimierung.

Für eine optimale Leistung sollten Sie eine Suchmaschinenoptimierung in folgenden Fällen in Betracht ziehen:

  • Sie nehmen wesentliche Änderungen an der Dataset-Logik vor. Das kann beispielsweise der Fall sein, wenn sich eine der folgenden Änderungen ändert:
    • Die Logik, nach der Felder ausgefüllt werden
    • Die Auswahl der Felder EMPFOHLEN, die ausgefüllt sind
    • Die Logik oder Auswahl der Daten in der Tabelle PartySupplementaryData
  • Sie sind im Begriff, ein Modell für eine neue Region von einer Suchmaschine zu trainieren.

Wann werden Hyperparameter übernommen?

Sie können Hyperparameter einer vorherigen Engine mit derselben Abstimmungsversion übernehmen, um bei der Einführung einer neuen Engine-Version Zeit und Kosten zu sparen. Weitere Informationen finden Sie unter Engine-Version ohne erneute Abstimmung übernehmen.

Engine-Versionen mit Abstimmungsversion v003 und Engine-Versionen, die vor dem 22.02.2024 veröffentlicht wurden, unterstützen die Übernahme von Hyperparametern nicht. Sie können jedoch als Quelle von Hyperparametern verwendet werden.

Eine Suchmaschine abstimmen

Informationen zur Triggerabstimmung finden Sie unter Engine-Konfigurationen erstellen und verwalten.

Insbesondere müssen Sie Folgendes auswählen:

  • Für die Motorabstimmung zu verwendende Daten:

    Geben Sie einen Datensatz und eine Endzeit innerhalb des Datumsbereichs des Datensatzes an.

    Bei der Engine-Abstimmung werden Labels und Funktionen verwendet, die auf vollständigen Kalendermonaten bis zum Monat der ausgewählten Endzeit basieren. Weitere Informationen finden Sie unter Dataset-Zeiträume.

  • Die Suchmaschinenversion, die für die Suchmaschinenoptimierung verwendet werden soll:

    Wählen Sie eine Suchmaschinenversion aus, die der Branche (Einzelhandel oder Gewerbe) entspricht, für die Sie die zugehörigen Modelle verwenden werden.

  • Das erwartete Volumen der Prüfungen basierend auf den Modellen:

    Geben Sie partyInvestigationsPerPeriodHint an. Diese wird für die Suchmaschinenoptimierung, Training und Backtests genutzt, um sicherzustellen, dass AML AI mit Ihrem monatlichen Untersuchungsvolumen Leistung erbringt.

Motorabstimmungsausgabe

Bei der Engine-Abstimmung wird eine EngineConfig-Ressource generiert, mit der eine Modellressource erstellt werden kann.

Die Metadaten für die Engine-Konfiguration enthalten die folgenden Messwerte. Diese Messwerte zeigen insbesondere Folgendes:

  • Erwarteter Leistungssteigerung durch Suchmaschinenabstimmung im Vergleich zur Verwendung der Standard-Hyperparameter

  • Alle größeren Änderungen an den vom Dataset unterstützten Featurefamilien (zwischen Suchmaschinenoptimierung, Training, Bewertung und Vorhersage)

Messwertname Messwertbeschreibung Beispiel für Messwert
ExpectedRecallPreTuning Recall-Messwert, der mit einem Test-Dataset gemessen wurde, wenn Standard-Hyperparameter der Engine-Version verwendet werden.

Bei dieser Recall-Messung wird von der in partyInvestigationsPerPeriodHint festgelegten Anzahl der Prüfungen pro Monat ausgegangen. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Recall-Messwert, der mit einem Test-Dataset unter Verwendung von abgestimmten Hyperparametern gemessen wurde.

Bei dieser Recall-Messung wird von der in partyInvestigationsPerPeriodHint festgelegten Anzahl der Prüfungen pro Monat ausgegangen. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
Fehlt

Anteil der fehlenden Werte bei allen Funktionen in jeder Featurefamilie.

Idealerweise sollten alle AML AI-Featurefamilien eine Fehlheit nahe 0 haben. Ausnahmen können auftreten, wenn die Daten, die diesen Featurefamilien zugrunde liegen, nicht integriert werden können.

Eine erhebliche Änderung dieses Werts für eine Featurefamilie zwischen Abstimmung, Training, Bewertung und Vorhersage kann auf Inkonsistenzen in den verwendeten Datasets hinweisen. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

So verwenden Sie eine Suchmaschinenversion ohne erneute Abstimmung

Informationen zum erneuten Verwenden von Hyperparametern aus einer früheren Engine-Konfiguration finden Sie auf der Seite Engine-Konfigurationen erstellen und verwalten unter Engine-Konfiguration erstellen, die Hyperparameter übernimmt. Insbesondere müssen Sie Folgendes auswählen:

  • Hyperparameter-Quelltyp: Wählen Sie INHERITED als hyperparameterSourceType aus. Wenn Sie den Quelltyp nicht angeben, wird der Quelltyp des Hyperparameters auf TUNING gesetzt, um die Abwärtskompatibilität zu ermöglichen.
  • Hyperparameter-Quelle:Geben Sie den vollständigen Ressourcennamen der Quell-Engine-Konfiguration im Objekt hyperparameterSource an. Die Ausgaben der Quell-Engine-Konfiguration werden für die neue Engine-Konfiguration verwendet. Die Quell-Engine-Konfiguration muss mit einer früheren Engine-Version in derselben Abstimmungs-Engine-Version erstellt worden sein, die Sie jetzt verwenden.
  • Engine-Version, die für die Engine-Konfiguration verwendet werden soll: Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder kommerzielle Version) für die Modelle entspricht, die Sie verwenden möchten. Diese Geschäftssparte muss mit der Branche in der Engine-Konfiguration übereinstimmen, die Sie als Hyperparameter-Quelle verwenden.

Ausgabe und Herkunft bei der Übernahme

Bei der Übernahme von Hyperparametern von einer anderen Engine-Version wird eine EngineConfig-Ressource erstellt, mit der eine Modellressource mithilfe der Hyperparameter aus der Konfiguration der Quell-Engine erstellt werden kann.

Für die Herkunft werden die folgenden Felder in der EngineConfig-Ressource bei der Übernahme von Hyperparametern aus einer anderen Engine-Konfiguration so festgelegt:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: Die als Hyperparameter-Quelle verwendete Engine-Konfiguration
  • tuning: Ursprüngliches tuning-Objekt, einschließlich des Verweises auf das Dataset, das für die ursprüngliche Engine-Abstimmung verwendet wurde (primaryDataset), und den letzten Zeitpunkt, zu dem Daten zum Generieren von Features für das Training verwendet wurden (endTime)
  • performanceTarget: Ursprüngliches performanceTarget-Objekt, einschließlich des Umfangs der Prüfungen, die auf den angegebenen Modellen (partyInvestigationsPerPeriodHint) erwartet werden
  • Metadaten der Suchmaschinenkonfiguration aus der ursprünglichen Suchmaschinenabstimmung