Suchmaschine konfigurieren

Auf dieser Seite werden die Konzepte zur Konfiguration einer Suchmaschine kurz erläutert.

Unterstützte Quellen für Hyperparameter

Bei der Konfiguration einer Suchmaschine können Sie die Quelle der Hyperparameter, die zum Erstellen eines Modells verwendet werden. Die folgenden Quellen sind unterstützt:

  • Automatische Abstimmung: AML AI stimmt Hyperparameter ab, wenn Sie Eine EngineConfig-Ressource erstellen (Standardverhalten)
  • Übernehmen: Hyperparameter aus einer vorherigen Engine-Konfiguration übernehmen, die mit einer früheren Engine-Version innerhalb derselben Abstimmungsversion erstellt wurde. Mit dieser Einstellung müssen Sie nicht jedes Mal eine erneute Abstimmung vornehmen, wenn Sie eine neue Modell-Engine übernehmen. Version.

Wann anpassen oder übernehmen?

In den folgenden Abschnitten wird beschrieben, wann Sie die automatische Abstimmung auswählen sollten und wann Sie Hyperparameter aus einer vorherigen Suchmaschinenkonfiguration übernehmen sollen.

Zeitpunkt der Abstimmung

Sie haben die Möglichkeit, jede neue Engine-Konfiguration zu optimieren. Im Zweifelsfall sollten Sie immer die bestmögliche Leistung erzielen. Siehe Abschnitt Weitere Informationen zum Abstimmen einer Suchmaschine

Für eine optimale Leistung sollten Sie die Motoroptimierung in Betracht ziehen, wenn einer der folgenden Fälle eintritt:

  • Sie nehmen wesentliche Änderungen an der Dataset-Logik vor. Das ist beispielsweise der Fall, wenn sich eine der folgenden Angaben ändert:
    • Die Logik, mit der Felder ausgefüllt werden
    • Die Auswahl der auszufüllenden EMPFOHLENE Felder
    • Die Logik oder Auswahl der Daten in der Tabelle PartySupplementaryData
  • Sie sind dabei, ein Modell mit einem Motor für eine neue Region zu trainieren.

Wann Hyperparameter übernommen werden sollen

Um bei der Einführung einer neuen Engine-Version Zeit und Kosten zu sparen, können Sie Hyperparameter aus einer früheren Engine mit derselben Tuning-Version übernehmen. Weitere Informationen finden Sie im Abschnitt Eine Engine-Version übernehmen, ohne sie neu zu optimieren.

Engine-Versionen mit der Tuning-Version v003 und Engine-Versionen, die vor dem 22. Februar 2024 veröffentlicht wurden, unterstützen das Übernehmen von Hyperparametern nicht. Sie können jedoch als Quelle für Hyperparameter verwendet werden.

Motor abstimmen

Informationen zum Auslösen der Abstimmung finden Sie unter Engine-Konfigurationen erstellen und verwalten.

Insbesondere müssen Sie Folgendes auswählen:

  • Für die Motorabstimmung werden folgende Daten verwendet:

    Geben Sie einen Datensatz und eine Endzeit innerhalb des Zeitraums des Datensatzes an.

    Bei der Suchmaschinenabstimmung werden Labels und Features basierend auf den gesamten Kalendermonaten verwendet. bis zum Monat der ausgewählten Endzeit, aber ohne diesen. Weitere Informationen finden Sie unter Dataset-Zeitbereiche.

  • Die für die Motorabstimmung zu verwendende Engine-Version:

    Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder kommerzielle Nutzung) entspricht, für die Sie die zugehörigen Modelle verwenden werden.

  • Die Anzahl der Untersuchungen, die Sie anhand der Modelle erwarten:

    Geben Sie partyInvestigationsPerPeriodHint an. Dies wird für die Suchmaschinenoptimierung verwendet, Training und Backtesting, damit AML AI der monatlichen Prüfmenge zu ermitteln.

Motortuning-Ausgabe

Die Suchmaschinenabstimmung generiert eine EngineConfig-Ressource, mit der Sie Erstellen Sie eine Modellressource.

Die Metadaten für die Suchmaschinenkonfiguration enthalten die folgenden Messwerte. Insbesondere Diese Messwerte zeigen Folgendes an:

  • Erwarteter Leistungsgewinn durch die Motoroptimierung im Vergleich zur Verwendung der Standardhyperparameter

  • Messungen, mit denen die Einheitlichkeit von Datasets bewertet werden kann (z. B. indem Sie die fehlenden Werte von Featurefamilien verschiedener Betriebsabläufe)

Messwertname Beschreibung des Messwerts Beispiel für einen Messwert
ExpectedRecallPreTuning Recall-Messwert, der bei Verwendung eines Standard-Hyperparameter der Suchmaschinenversion

Bei dieser Rückrufmessung wird die in partyInvestigationsPerPeriodHint angegebene Anzahl der Untersuchungen pro Monat zugrunde gelegt. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}
ExpectedRecallPostTuning Der Rückrufmesswert, der anhand eines Test-Datasets bei Verwendung von abgestimmten Hyperparametern gemessen wird.

Bei diesem Recall-Messwert wird von der Anzahl der Prüfungen pro Monat ausgegangen. angegeben in partyInvestigationsPerPeriodHint. 

{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}
Fehlende Werte

Anteil der fehlenden Werte für alle Features in jeder Featurefamilie.

Idealerweise sollten alle AML AI-Funktionsfamilien eine Fehlwert nahe 0. Ausnahmen können auftreten, wenn die Daten, die diesen Funktionsfamilien zugrunde liegen, nicht für die Einbindung verfügbar sind.

Eine erhebliche Änderung dieses Werts für eine Feature-Familie zwischen Abstimmung, Training, Bewertung und Vorhersage können auf Inkonsistenzen in der Datasets. 

{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Engine-Version übernehmen, ohne sie neu zu optimieren

Informationen zum Wiederverwenden von Hyperparametern aus einer vorherigen Engine-Konfiguration finden Sie im Abschnitt Engine-Konfiguration erstellen, die Hyperparameter erbt auf der Seite Engine-Konfigurationen erstellen und verwalten. Insbesondere müssen Sie Folgendes auswählen:

  • Hyperparameter-Quelltyp: Wählen Sie INHERITED als hyperparameterSourceType aus. Wenn Sie den Quelltyp nicht angeben, Der Quelltyp des Hyperparameters ist auf TUNING festgelegt, um Rückwärtsbewegungen zu ermöglichen Kompatibilität.
  • Hyperparameterquelle: Geben Sie im Objekt hyperparameterSource den vollständigen Ressourcennamen der Quell-Engine-Konfiguration an. Die Ausgaben der Konfiguration der Quell-Engine für die neue Engine-Konfiguration verwendet. Die Quell-Engine Konfiguration muss mit einer früheren Engine-Version im selben Abstimmungs-Engine-Version die Sie jetzt verwenden.
  • Für die Engine-Konfiguration zu verwendende Engine-Version: Wählen Sie eine Engine-Version aus, die der Branche (Einzelhandel oder kommerzielle Nutzung) der zu verwendenden Modelle entspricht. Wenn Sie Hyperparameter übernehmen, Die Geschäftsbereiche müssen mit der Geschäftsbranche übereinstimmen, die für den Hyperparameter verwendet wird. Quelle.

Ausgabe und Herkunft bei Übernahme

Durch das Übernehmen von Hyperparametern von einer anderen Suchmaschinenversion wird ein EngineConfig-Ressource, mit der eine Modellressource mithilfe von die Hyperparameter aus der Konfiguration der Quell-Engine.

Für die Abstammung werden die folgenden Felder in der EngineConfig-Ressource so festgelegt, wenn Hyperparameter aus einer anderen Engine-Konfiguration übernommen werden:

  • hyperparameterSourceType: INHERITED
  • hyperparameterSource: Die als Hyperparameter-Quelle verwendete Suchmaschinenkonfiguration.
  • tuning: ursprüngliches tuning-Objekt, einschließlich des Verweises auf den Dataset, das für die ursprüngliche Suchmaschinenabstimmung (primaryDataset) und den Der letzte Zeitpunkt, zu dem Daten zum Generieren von Features für das Training verwendet wurden (endTime)
  • performanceTarget: ursprüngliches performanceTarget-Objekt, einschließlich des erwartete Anzahl von Untersuchungen auf Basis der angegebenen Modelle (partyInvestigationsPerPeriodHint)
  • Engine-Konfigurationsmetadaten aus der ursprünglichen Engine-Abstimmung