Wenn der Data Labelling Service einen Bewertungsjob ausführt, wird ein Satz von Bewertungsmesswerten erstellt, die abhängig von den Details Ihres Modells für maschinelles Lernen variieren. In diesem Leitfaden werden die verschiedenen Arten von Bewertungsmesswerten und deren Darstellung beschrieben.
Hinweise
Zuerst erstellen Sie einen Bewertungsjob und warten, bis er zum ersten Mal ausgeführt wird. Standardmäßig werden Bewertungsjobs täglich um 10:00 Uhr (UTC) ausgeführt.
Wenn der Job ausgeführt wird, werden Daten zuerst an Prüfer zur Erstellung von Ground-Truth-Labels gesendet, sofern Sie diese Option aktiviert haben. Anschließend werden die Bewertungsmesswerte berechnet. Da die Erstellung von Labels durch Menschen Zeit in Anspruch nimmt, müssen Sie möglicherweise mehr als einen Tag auf die Anzeige der ersten Bewertungsmesswerte warten, wenn in Ihrem Job eine große Menge an Beispieldaten verarbeitet wird.
Mittlere durchschnittliche Precision über Modelle hinweg vergleichen
In AI Platform Prediction können mehrere Modellversionen in einer Modellressource gruppiert werden. Jede Modellversion in einem Modell sollte dieselbe Aufgabe ausführen. Sie können aber jeweils unterschiedlich trainiert werden.
Wenn Sie mehrere Modellversionen in einem einzelnen Modell haben und jeweils einen Bewertungsjob erstellt haben, können Sie ein Diagramm anzeigen, in dem die mittlere durchschnittliche Precision der Modellversionen im Zeitverlauf verglichen wird:
Öffnen Sie die Seite AI Platform-Modelle in der Google Cloud Console:
Klicken Sie auf den Namen des Modells, das die Modellversionen enthält, die Sie vergleichen möchten.
Klicken Sie auf den Tab Bewertung.
Im Diagramm auf dieser Seite wird die mittlere durchschnittliche Genauigkeit der einzelnen Modellversionen im Zeitverlauf verglichen. Sie können das Intervall des Diagramms ändern.
Wenn bei einem der Bewertungsjobs für die Modellversion während einer kürzlich durchgeführten Ausführung ein Fehler aufgetreten ist, wird dieser auch auf dieser Seite angezeigt.
Messwerte für eine bestimmte Modellversion anzeigen
Detailliertere Bewertungsmesswerte erhalten Sie in einer einzelnen Modellversion:
Öffnen Sie die Seite AI Platform-Modelle in der Google Cloud Console:
Klicken Sie auf den Namen des Modells, das die Modellversion enthält, an der Sie interessiert sind.
Klicken Sie auf den Namen der Modellversion, an der Sie interessiert sind.
Klicken Sie auf den Tab Bewertung.
Ähnlich wie bei der im vorherigen Abschnitt beschriebenen Vergleichsansicht enthält diese Seite ein Diagramm mit der mittleren durchschnittlichen Precision im Zeitverlauf. Außerdem werden hier Fehler aus den letzten Bewertungsjobausführungen Ihrer Modellversion angezeigt.
Geben Sie im Feld Datum eingeben ein Datum ein, um die Messwerte einer bestimmten Bewertungsjobausführung anzuzeigen. Sie können auch auf Alle Labels klicken und ein bestimmtes Label aus der Drop-down-Liste auswählen, um die Messwerte weiter zu filtern. In den folgenden Abschnitten werden die Messwerte beschrieben, die Sie für die einzelnen Bewertungsjobausführungen anzeigen lassen können.
Precision-/Recall-Kurve
Anhand der Precision-/Recall-Kurve sehen Sie, wie sich Precision und Recall Ihres Modells für maschinelles Lernen bei einer Anpassung des Klassifizierungsschwellenwerts ändern würden.
Wahrheitsmatrix
In Wahrheitsmatrizes werden alle Paare von Ground-Truth- und Vorhersage-Labels angezeigt, sodass Sie Muster erkennen können, wie in Ihrem Modell für maschinelles Lernen bestimmte Labels verwechselt wurden.
Wahrheitsmatrizes werden nur für Modellversionen generiert, die eine Klassifizierung durchführen.
Vergleich
Wenn in Ihrer Modellversion eine Bild- oder Textklassifizierung durchgeführt wird, können Sie einen Vergleich der vorhergesagten Labels Ihres Modells für maschinelles Lernen und Ground-Truth-Labels für jede Vorhersageeingabe anzeigen lassen.
Wenn in Ihrer Modellversion eine Bildobjekterkennung durchgeführt wird, können Sie einen Vergleich der vorhergesagten Begrenzungsrahmen Ihres Modells für maschinelles Lernen und der Ground-Truth-Begrenzungsrahmen anzeigen lassen. Bewegen Sie den Mauszeiger über die Begrenzungsrahmen, um die zugehörigen Labels anzuzeigen.
Nächste Schritte
Informationen zum Aktualisieren, Anhalten oder Löschen eines Bewertungsjobs