Bewertungsmetriken anzeigen

Wenn der Data Labelling Service einen Bewertungsjob ausführt, wird ein Satz von Bewertungsmesswerten erstellt, die abhängig von den Details Ihres Modells für maschinelles Lernen variieren. In diesem Leitfaden werden die verschiedenen Arten von Bewertungsmesswerten und deren Darstellung beschrieben.

Hinweise

Zuerst erstellen Sie einen Bewertungsjob und warten, bis er zum ersten Mal ausgeführt wird. Standardmäßig werden Bewertungsjobs täglich um 10:00 Uhr (UTC) ausgeführt.

Wenn der Job ausgeführt wird, werden Daten zuerst an Prüfer zur Erstellung von Ground-Truth-Labels gesendet, sofern Sie diese Option aktiviert haben. Anschließend werden die Bewertungsmesswerte berechnet. Da die Erstellung von Labels durch Menschen Zeit in Anspruch nimmt, müssen Sie möglicherweise mehr als einen Tag auf die Anzeige der ersten Bewertungsmesswerte warten, wenn in Ihrem Job eine große Menge an Beispieldaten verarbeitet wird.

Mittlere durchschnittliche Genauigkeit über Modelle hinweg vergleichen

In AI Platform Prediction können mehrere Modellversionen in einer Modellressource gruppiert werden. Jede Modellversion in einem Modell sollte dieselbe Aufgabe ausführen. Sie können aber jeweils unterschiedlich trainiert werden.

Wenn Sie mehrere Modellversionen in einem einzelnen Modell haben und jeweils einen Bewertungsjob erstellt haben, können Sie ein Diagramm anzeigen, in dem die mittlere durchschnittliche Genauigkeit der Modellversionen im Zeitverlauf verglichen wird:

  1. Öffnen Sie die Seite der AI Platform-Modelle in der GCP Console.

    Zur Seite "AI Platform-Modelle"

  2. Klicken Sie auf den Namen des Modells, das die Modellversionen enthält, die Sie vergleichen möchten.

  3. Klicken Sie auf den Tab Bewertung.

Im Diagramm auf dieser Seite wird die mittlere durchschnittliche Genauigkeit der einzelnen Modellversionen im Zeitverlauf verglichen. Sie können das Intervall des Diagramms ändern.

Wenn bei einem der Bewertungsjobs für die Modellversion während einer kürzlich durchgeführten Ausführung ein Fehler aufgetreten ist, wird dieser auch auf dieser Seite angezeigt.

Messwerte für eine bestimmte Modellversion anzeigen

Detailliertere Bewertungsmesswerte erhalten Sie in einer einzelnen Modellversion:

  1. Öffnen Sie die Seite der AI Platform-Modelle in der GCP Console.

    Zur Seite "AI Platform-Modelle"

  2. Klicken Sie auf den Namen des Modells, das die Modellversion enthält, an der Sie interessiert sind.

  3. Klicken Sie auf den Namen der Modellversion, an der Sie interessiert sind.

  4. Klicken Sie auf den Tab Bewertung.

Ähnlich wie bei der im vorherigen Abschnitt beschriebenen Vergleichsansicht enthält diese Seite ein Diagramm mit der mittleren durchschnittlichen Genauigkeit im Zeitverlauf. Außerdem werden hier Fehler aus den letzten Bewertungsjobausführungen Ihrer Modellversion angezeigt.

Geben Sie im Feld Datum eingeben ein Datum ein, um die Messwerte einer bestimmten Bewertungsjobausführung anzuzeigen. Sie können auch auf Alle Labels klicken und ein bestimmtes Label aus der Drop-down-Liste auswählen, um die Messwerte weiter zu filtern. In den folgenden Abschnitten werden die Messwerte beschrieben, die Sie für die einzelnen Bewertungsjobausführungen anzeigen lassen können.

Genauigkeits-Trefferquoten-Kurve

In Genauigkeits-Trefferquoten-Kurven wird angezeigt, wie sich die Genauigkeit und Trefferquote Ihres Modells für maschinelles Lernen bei einer Anpassung des Klassifizierungsschwellenwerts ändern würde.

Wahrheitsmatrix

In Wahrheitsmatrizes werden alle Paare von Ground-Truth- und Vorhersage-Labels angezeigt, sodass Sie Muster erkennen können, wie in Ihrem Modell für maschinelles Lernen bestimmte Labels verwechselt wurden.

Wahrheitsmatrizes werden nur für Modellversionen generiert, die eine Klassifizierung durchführen.

Vergleich

Wenn in Ihrer Modellversion eine Bild- oder Textklassifizierung durchgeführt wird, können Sie einen Vergleich der vorhergesagten Labels Ihres Modells für maschinelles Lernen und Ground-Truth-Labels für jede Vorhersageeingabe anzeigen lassen.

Wenn in Ihrer Modellversion eine Bildobjekterkennung durchgeführt wird, können Sie einen Vergleich der vorhergesagten Begrenzungsrahmen Ihres Modells für maschinelles Lernen und der Ground-Truth-Begrenzungsrahmen anzeigen lassen. Bewegen Sie den Mauszeiger über die Begrenzungsrahmen, um die zugehörigen Labels anzuzeigen.

Weitere Informationen

Informationen zum Aktualisieren, Anhalten oder Löschen eines Bewertungsjobs

Hat Ihnen diese Seite weitergeholfen? Teilen Sie uns Ihr Feedback mit:

Feedback geben zu...