Bei der kontinuierlichen Bewertung werden regelmäßig Daten zur Vorhersageeingabe und -ausgabe aus trainierten ML-Modellen (maschinelles Lernen) entnommen, die Sie in AI Platform Prediction bereitgestellt haben. Anschließend werden Prüfer vom AI Platform Data Labeling Service damit beauftragt, Ground-Truth-Labels für Ihre Vorhersageeingabe bereitzustellen. Sie können das aber auch selbst übernehmen. Der Data Labeling Service vergleicht die Vorhersagen Ihres Modells mit den Ground-Truth-Labels und liefert dann kontinuierliches Feedback zur Leistung des Modells.
Funktionsweise
Sie können die kontinuierliche Bewertung nur verwenden, wenn Sie bereits ein trainiertes ML-Modell in AI Platform Prediction als Modellversion bereitgestellt haben. Ist dies der Fall, haben Sie die Möglichkeit, einen Bewertungsjob für die Modellversion zu erstellen.
Dabei wird Folgendes ausgelöst:
- Wenn die Modellversion Onlinevorhersagen bereitstellt, werden die Eingabe und Ausgabe für einige von ihnen in einer BigQuery-Tabelle gespeichert. Diese Erfassung findet häufig statt – und zwar immer dann, wenn Ihr Modell Vorhersagen liefert. Wie viele Daten erfasst werden, können Sie selbst festlegen.
- Der Bewertungsjob wird zeitweise ausgeführt und generiert Bewertungsmesswerte.
Sie können sich die resultierenden Bewertungsmesswerte in der Google Cloud Console ansehen.
Ground Truth
Ground-Truth-Labels sind das, was Menschen als die richtigen Labels für Ihre ML-Aufgabe definieren. Bei der kontinuierlichen Bewertung werden sie als Antwortschlüssel verwendet. Für die Berechnung von Messwerten werden die Vorhersagen der Modellversion mit den Ground-Truth-Labels verglichen. Wenn Sie einen Bewertungsjob erstellen, müssen Sie entscheiden, wie Sie Ground-Truth-Labels für Ihre Vorhersagedaten generieren möchten. Es gibt zwei Optionen:
- Der Data Labeling Service kann Prüfer damit beauftragen, Ground-Truth-Labels für Ihre Vorhersagedaten zu erstellen
- Sie können Ground Truth-Labels selbst erstellen
Wenn der Evaluierungsjob ausgeführt wird
Standardmäßig werden Bewertungsjobs täglich um 10:00 Uhr (UTC) ausgeführt. Was dabei genau geschieht, hängt davon ab, wie die Ground-Truth-Labels generiert werden.
Wenn der Data Labeling Service Ground Truth-Labels erstellt
Der Data Labeling Service erstellt während der Ausführung des Bewertungsjobs ein Dataset mit allen neuen Zeilen, die in BigQuery seit der letzten Ausführung hinzugefügt wurden. Sie enthalten die Vorhersageeingabe und -ausgabe, die Ihrer Modellversion entnommen wurden.
Dann sendet der Data Labeling Service eine auf diesem Dataset basierende Labelanfrage, damit Prüfer Ground-Truth-Labels für die Vorhersagen erstellen.
Wenn die Anfrage abgeschlossen wurde, berechnet der Data Labeling Service anhand der neuen Ground-Truth-Labels und der Vorhersageausgabe Ihrer Modellversion Bewertungsmesswerte.
Vor allem, wenn Sie umfangreiche Vorhersagedaten in Ihre BigQuery-Tabelle einlesen, können menschliche Labelersteller mehr als einen Tag benötigen, um Ihre Labelanfrage zu bearbeiten. In diesem Fall wird Ihr Bewertungsjob auch am nächsten Tag gemäß seinem Zeitplan ausgeführt. Der Job wird also mehrmals parallel ausgeführt. Jede Ausführung bezieht sich dabei auf ganz bestimmte Vorhersagedaten, nämlich auf die Vorhersagen Ihrer Modellversion am Tag vor der Ausführung. Unabhängig von der Dauer der Ausführungen werden Bewertungsmesswerte für einen ganz bestimmten Tag mit Vorhersagen generiert.
Wenn Sie Ground Truth-Labels selbst erstellen
Genau wie im vorigen Abschnitt erstellt der Data Labeling Service während der Ausführung des Bewertungsjobs ein Dataset mit allen neuen Zeilen, die in BigQuery seit der letzten Ausführung hinzugefügt wurden. Doch in diesem Fall müssen Sie der Spalte groundtruth der Tabelle bereits vor der Ausführung Ground-Truth-Labels hinzugefügt haben. Beim Bewertungsjob werden dann alle Zeilen ohne Ground-Truth-Label übersprungen und sie werden auch bei zukünftigen Bewertungsjobs nicht berücksichtigt.
Nach der Erstellung des Datasets berechnet der Data Labeling Service sofort Bewertungsmesswerte.
Bei dieser Methode müssen Sie jeden Tag vor der Ausführung des Bewertungsjobs Ground-Truth-Labels für neue Vorhersagen bereitstellen.
Preise
Wenn der Data Labeling Service Prüfer beauftragt, Ground-Truth-Labels zu erstellen, gelten die Preise von Data Labeling Service. Abgesehen davon fallen für die kontinuierliche Bewertung keine weiteren Kosten an.
Zur Verwendung der kontinuierlichen Bewertung müssen Sie außerdem AI Platform Prediction, BigQuery und Cloud Storage nutzen. Für diese Produkte können Gebühren anfallen.
Nächste Schritte
Voraussetzungen für die Erstellung eines Bewertungsjobs