Einführung in Vertex AI Model Monitoring

Diese Seite bietet einen Überblick über Vertex AI Model Monitoring für tabellarische AutoML- und tabellarische, benutzerdefinierte Modelle. Informationen zum Aktivieren von Vertex AI Model Monitoring finden Sie unter Modellmonitoring verwenden.

Überblick

Ein in der Produktion bereitgestelltes Modell funktioniert am besten mit Vorhersageeingabedaten, die den Trainingsdaten ähneln. Wenn die Eingabedaten von den Daten abweichen, die zum Trainieren des Modells verwendet wurden, kann sich die Leistung des Modells verschlechtern, auch wenn sich das Modell selbst nicht geändert hat.

Um die Leistung eines Modells aufrechtzuerhalten, überwacht Modellmodell die Vorhersageeingabedaten des Modells auf das Feature Verzerrung und Drift:

  • Abweichungen zwischen Training und Bereitstellung treten auf, wenn die Verteilung der Featuredaten in der Produktion von der Verteilung der Featuredaten abweicht, die zum Trainieren des Modells verwendet wurden. Wenn die ursprünglichen Trainingsdaten verfügbar sind, können Sie die Abweichungserkennung aktivieren, um Ihre Modelle auf Abweichungen zwischen Training und Bereitstellung zu überwachen.

  • Vorhersage-Drift tritt auf, wenn sich die Featuredatenverteilung in der Produktion im Laufe der Zeit erheblich ändert. Wenn die ursprünglichen Trainingsdaten nicht verfügbar sind, können Sie die Drifterkennung aktivieren, um die Eingabedaten auf Änderungen im Laufe der Zeit zu überwachen.

Sie können sowohl die Verzerrungs- als auch die Drifterkennung aktivieren.

Model Monitoring unterstützt die Erkennung von Abweichung und Drift von Features für kategoriale und numerische Features.

  • Kategoriale Merkmale sind Daten, die durch die Anzahl möglicher Werte begrenzt sind, die in der Regel nach qualitativen Attributen gruppiert sind. Kategorien wie Produktkategorie, Land oder Kundentyp.

  • Numerische Merkmale sind Daten, die beliebige numerische Werte sein können. Beispiel: Gewicht und Höhe.

Sobald die Verzerrung oder der Drift für das Feature eines Modells einen von Ihnen bestimmten Schwellenwert für Benachrichtigungen überschreitet, sendet Ihnen das Modellmonitoring eine E-Mail-Benachrichtigung. Sie können auch die Verteilungen für jedes Feature im Zeitverlauf anzeigen, um festzustellen, ob Sie Ihr Modell neu trainieren müssen.

Abweichung zwischen Training und Bereitstellung sowie Vorhersage-Drift berechnen

Zur Erkennung von Abweichungen zwischen Training und Bereitstellung und Vorhersageabweichung verwendet die Modellüberwachung TensorFlow Data Validation (TFDV), um die Verteilungen und Entfernungsbewertungen gemäß dem folgenden Prozess zu berechnen:

  1. Berechnen Sie die grundlegende statistische Verteilung:

    • Bei der Abweichungserkennung ist die Baseline die statistische Verteilung der Featurewerte in den Trainingsdaten.

    • Bei der Drifterkennung ist die Baseline die statistische Verteilung der zuletzt in der Produktion festgestellten Featurewerte.

    Die Verteilungen für kategoriale und numerische Features werden so berechnet:

    • Bei kategorialen Features ist die berechnete Verteilung die Anzahl oder der Prozentsatz der Instanzen jedes möglichen Werts des Features.

    • Bei numerischen Features teilt Modellüberwachung den Bereich möglicher Featurewerte in gleiche Intervalle auf und berechnet die Anzahl oder den Prozentsatz der Featurewerte, die in jedes Intervall fallen.

    Die Referenz wird beim Erstellen eines Model Monitoring-Jobs berechnet und nur neu berechnet, wenn Sie das Trainings-Dataset für den Job aktualisieren.

  2. Berechnen der statistischen Verteilung der neuesten in der Produktion verwendeten Featurewerte.

  3. Vergleichen Sie die Verteilung der neuesten Featurewerte in der Produktion mit der Referenzverteilung. Dazu berechnen Sie einen Entfernungswert:

  4. Wenn die Entfernung zwischen zwei statistischen Verteilungen den von Ihnen angegebenen Schwellenwert überschreitet, identifiziert die Modellüberwachung die Anomalie als Verzerrung oder Drift.

Das folgende Beispiel zeigt eine Verzerrung oder Abweichung zwischen der Referenzversion und den letzten Verteilungen eines kategorialen Merkmals:

Baseline-Verteilung

Beispiel für die Featureverteilung eines Baseline-Datasets.

Letzte Verteilung

Beispiel für die Featureverteilung des aktuellsten Datasets.

Das folgende Beispiel zeigt eine Verzerrung oder Abweichung zwischen der Referenzversion und den letzten Verteilungen eines numerischen Merkmals:

Baseline-Verteilung

Beispiel für die Featureverteilung eines Baseline-Datasets.

Letzte Verteilung

Beispiel für die Featureverteilung des aktuellsten Datasets.

Überlegungen bei der Verwendung von Model Monitoring

  • Zur Kosteneffizienz können Sie eine Abtastrate für Vorhersageanfragen festlegen, um einen Teil der Produktionseingaben in einem Modell zu überwachen.

  • Sie können eine Häufigkeit festlegen, mit der die kürzlich protokollierten Eingaben eines bereitgestellten Modells auf Abweichungen oder Drift überwacht werden. Die Monitoringhäufigkeit legt die Zeitspanne (die Größe des Monitoringfensters) der protokollierten Daten fest, die bei jeder Monitoringausführung analysiert werden.

  • Sie können Grenzwerte für Benachrichtigungen für jedes Feature festlegen, das Sie überwachen möchten. Eine Benachrichtigung wird protokolliert, wenn die statistische Entfernung zwischen der Eingabefeatureverteilung und der entsprechenden Baseline den angegebenen Grenzwert überschreitet. Standardmäßig wird jedes kategoriale und numerische Feature mit Grenzwerten von 0,3 überwacht.

  • Ein Endpunkt für eine Onlinevorhersage kann mehrere Modelle hosten. Wenn Sie die Verzerrungs- oder Erkennungserkennung für einen Endpunkt aktivieren, werden die folgenden Konfigurationsparameter für alle Modelle freigegeben, die an diesem Endpunkt gehostet werden:

    • Art der Erkennung
    • Monitoring-Häufigkeit
    • Anteil der überwachten Eingabeanfragen

    Bei den anderen Konfigurationsparametern können Sie für jedes Modell unterschiedliche Werte festlegen.

Nächste Schritte