BigQuery ML-Modellbewertung – Übersicht

In diesem Dokument wird beschrieben, wie BigQuery ML die Bewertung von ML-Modellen unterstützt.

Modellbewertung – Übersicht

Sie können Messwerte zur Bewertung von ML-Modellen für folgende Zwecke verwenden:

• Bewerten der Qualität der passung zwischen dem Modell und den Daten
• Verschiedene Modelle vergleichen
• Um vorherzusagen, wie akkurat Sie erwarten können, das jedes Modell für ein bestimmtes Dataset performt, im Kontext der modellauswahl.

Die Bewertung von Modellen für überwachtes und unüberwachtes Lernen funktioniert anders.

• Bei überwachten Lernmodellen ist die Modellbewertung gut definiert. Ein Bewertungs-Dataset, bei dem es sich um Daten handelt, die nicht vom Modell analysiert wurden, wird normalerweise aus dem Trainings-Dataset ausgeschlossen und dann zur Bewertung der Modellleistung verwendet. Wir empfehlen, das Trainings-Dataset nicht für die Bewertung zu verwenden, da dies dazu führt, dass das Modell bei der Verallgemeinerung der Vorhersageergebnisse für neue Daten eine schlechte Leistung erbringt. Dieses Ergebnis wird als Überanpassung bezeichnet.
• Bei nicht überwachten Lernmodellen ist die Modellbewertung weniger definiert und variiert in der Regel von Modell zu Modell. Da unüberwachte Lernmodelle kein Bewertungs-Dataset reservieren, werden die Bewertungsmesswerte mit dem gesamten Eingabe-Dataset berechnet.

Informationen zu den unterstützten SQL-Anweisungen und -Funktionen für die einzelnen Modelltypen erhalten Sie unter End-to-End-Nutzerpfad für jedes Modell.

Angebote zur Modellbewertung

BigQuery ML bietet die folgenden Funktionen zum Berechnen von Bewertungsmesswerten für ML-Modelle:

Modellkategorie	Modelltypen	Modellbewertungsfunktionen	Was die Funktion tut
Beaufsichtigtes Lernen	Lineare Regression Boosted Trees-Regressor Random Forest-Regressor DNN-Regressor Wide and Deep-Regressor AutoML Tables-Regressor	ML.EVALUATE	Die folgenden Messwerte werden erfasst: Mittlerer absoluter Fehler Mittlere quadratische Abweichung Quadratischer Mittelwert des logarithmischen Fehlers Medianwert des absoluten Fehlers r2-Wert erklärte Varianz
	Logistische Regression Boosted Trees-Klassifikator Random Forest-Klassifikator DNN-Klassifikator Wide and Deep-Klassifikator AutoML Tables-Klassifikator	ML.EVALUATE	Die folgenden Messwerte werden erfasst: Precision Recall Genauigkeit F1-Wert Logarithmischer Verlust ROC AUC
		ML.CONFUSION_MATRIX	Gibt die Wahrheitsmatrix an.
		ML.ROC_CURVE	Meldet Messwerte für verschiedene Schwellenwerte, darunter: Recall Rate falsch positiver Ergebnisse Richtig positive Ergebnisse Falsch positive Ergebnisse Richtig negative Ergebnisse Falsch negative Ergebnisse Gilt nur für binäre Klassifizierungsmodelle.
Unbeaufsichtigtes Lernen	K-means	ML.EVALUATE	Gibt den Davies-Bouldin-Index und die mittlere quadratische Entfernung zwischen Datenpunkten und die Schwerpunkte der zugewiesenen Cluster an.
	Matrixfaktorisierung	ML.EVALUATE	Bei expliziten Feedback-basierten Modellen werden die folgenden Messwerte gemeldet: Mittlerer absoluter Fehler Mittlere quadratische Abweichung Quadratischer Mittelwert des logarithmischen Fehlers Medianwert des absoluten Fehlers r2-Wert erklärte Varianz
			Bei impliziten Feedback-basierten Modellen werden die folgenden Messwerte gemeldet: Mittlere durchschnittliche Genauigkeit Mittlere quadratische Abweichung Normalisierter diskontierter kumulierter Gewinn Durchschnittlicher Rang
	PCA	ML.EVALUATE	Gibt das erklärte Gesamtvarianzverhältnis an.
	Autoencoder	ML.EVALUATE	Die folgenden Messwerte werden erfasst: Mittlerer absoluter Fehler Mittlere quadratische Abweichung Quadratischer Mittelwert des logarithmischen Fehlers
Zeitreihe	ARIMA_PLUS	ML.EVALUATE	Die folgenden Messwerte werden erfasst: Mittlerer absoluter Fehler Mittlere quadratische Abweichung Mittlerer absoluter prozentualer Fehler Symmetrischer mittlerer absoluter prozentualer Fehler Diese Funktion erfordert neue Daten als Eingabe.
		ML.ARIMA_EVALUATE	Die folgenden Messwerte werden für alle ARIMA-Kandidatenmodelle erfasst, die durch unterschiedliche Tupel (p, d, q, has_drift) gekennzeichnet sind: log_likelihood AIC Varianz Außerdem werden andere Informationen zu Saisonabhängigkeit, Feiertagseffekten und Spitzen und Einbrüche-Ausreißer angegeben. Für diese Funktion sind keine neuen Daten erforderlich als Eingabe.

Automatische Bewertung in CREATE MODEL-Anweisungen

BigQuery ML unterstützt die automatische Bewertung während der Modellerstellung. Abhängig von dem Modelltyp, den Datenaufteilung-Trainingsoptionen und davon, ob Sie Hyperparameter-Feinabstimmung verwenden, werden die Bewertungsmesswerte für das reservierte Bewertungs-Dataset, das reservierte Test-Dataset oder für das gesamte Eingabe-Dataset berechnet.

• Bei Kmeans-, PCA-, Autoencoder- und ARIMA_PLUS-Modellen verwendet BigQuery ML alle Eingabedaten als Trainingsdaten und die Bewertungsmesswerte werden anhand des gesamten Eingabe-Datasets berechnet.

• Bei linearen und logistischen Regressions-, Boosted Tree-, Random Forest-, DNN-, Wide-and-Deep- und Matrixfaktorisierungsmodellen werden Bewertungsmesswerte anhand des Datasets berechnet, das durch folgende CREATE MODEL-Optionen angegeben wird:

  • DATA_SPLIT_METHOD
  • DATA_SPLIT_EVAL_FRACTION
  • DATA_SPLIT_COL

  Wenn Sie diese Arten von Modellen mit Hyperparameter-Feinabstimmung trainieren, hilft die Option DATA_SPLIT_TEST_FRACTION auch bei der Definition des Datasets, mit dem die Bewertungsmesswerte berechnet werden. Weitere Informationen finden Sie unter Datenaufteilung.

• Informationen zu AutoML Tables-Modellen finden Sie unter Verwendung von Datenaufteilungen für Training und Bewertung.

Wenn Sie Bewertungsmesswerte abrufen möchten, die während der Modellerstellung berechnet wurden, verwenden Sie Bewertungsfunktionen wie ML.EVALUATE für das Modell, ohne dass Eingabedaten angegeben sind. Ein Beispiel finden Sie unter ML.EVALUATE ohne spezifizierte Eingabedaten.

Bewertung mit neuem Dataset

Nach der Modellerstellung können Sie neue Datasets für die Bewertung angeben. Wenn Sie ein neues Dataset bereitstellen möchten, verwenden Sie Bewertungsfunktionen wie ML.EVALUATE für das Modell mit angegebenen Eingabedaten. Ein Beispiel finden Sie unter ML.EVALUATE mit einem benutzerdefinierten Schwellenwert und Eingabedaten.