Panoramica della valutazione dei modelli BigQuery ML

Questo documento descrive come BigQuery ML supporta la valutazione dei modelli di machine learning (ML).

Panoramica della valutazione del modello

Puoi utilizzare le metriche di valutazione dei modelli ML per i seguenti scopi:

• a valutare la qualità dell'adattamento tra il modello e i dati.
• Per confrontare modelli diversi.
• per prevedere l'accuratezza delle prestazioni di ogni modello su un set di dati specifico, nel contesto della selezione del modello.

Le valutazioni dei modelli di apprendimento supervisionato e non supervisionato funzionano in modo diverso:

• Per i modelli di apprendimento supervisionato, la valutazione del modello è ben definita. Un set di valutazione, costituito da dati che non sono stati analizzati dal modello, viene in genere escluso dal set di addestramento e quindi utilizzato per valutare le prestazioni del modello. Ti consigliamo di non utilizzare il set di addestramento per la valutazione, perché ciò causa scarse prestazioni del modello quando generali i risultati della previsione per nuovi dati. Questo risultato è noto come overfitting.
• Per i modelli di apprendimento non supervisionato, la valutazione è meno definita e solitamente varia da modello a modello. Poiché i modelli di apprendimento non supervisionato non prenotano un set di valutazione, le metriche di valutazione vengono calcolate utilizzando l'intero set di dati di input.

Per informazioni sulle istruzioni e le funzioni SQL supportate per ogni tipo di modello, consulta Percorso dell'utente end-to-end per ogni modello.

Offerte di valutazione dei modelli

BigQuery ML offre le seguenti funzioni per calcolare le metriche di valutazione per i modelli ML:

Categoria del modello	Tipi di modello	Funzioni di valutazione del modello	Cosa fa la funzione
Apprendimento supervisionato	Regressione lineare Regressore avanzato di alberi Regressore di foresta casuale Regressore DNN Regressore di grandi dimensioni Regressore di AutoML Tables	ML.EVALUATE	Segnala le seguenti metriche: errore assoluto medio errore quadratico medio errore logaritmico quadratico medio errore medio assoluto punteggio r2 varianza spiegata
	Regressione logistica Classificatore alberi boosted Classificatore forestale casuale Classificatore DNN Classificatore Wide-and-Deep Classificatore AutoML Tables	ML.EVALUATE	Segnala le seguenti metriche: precisione recall accuracy Punteggio F1 perdita logaritmica auc roc
		ML.CONFUSION_MATRIX	Segnala la matrice di confusione.
		ML.ROC_CURVE	Genera report con metriche per diversi valori di soglia, tra cui: recall percentuale di falsi positivi veri positivi falsi positivi veri negativi falsi negativi Si applica solo ai modelli di classificazione binaria.
Apprendimento non supervisionato	K-means	ML.EVALUATE	Segnala l'indice Davies-Bouldin e la distanza quadrata media tra i punti dati e i centroidi dei cluster assegnati.
	Fattorizzazione matriciale	ML.EVALUATE	Per i modelli basati su feedback esplicito, segnala le seguenti metriche: errore assoluto medio errore quadratico medio errore logaritmico quadratico medio errore medio assoluto punteggio r2 varianza spiegata
			Per i modelli basati su feedback implicito, registra le seguenti metriche: precisione media media errore quadratico medio guadagno cumulativo scontato normalizzato ranking medio
	APC	ML.EVALUATE	Segnala il rapporto di varianza totale spiegato.
	Codificatore automatico	ML.EVALUATE	Segnala le seguenti metriche: errore assoluto medio errore quadratico medio errore logaritmico quadratico medio
Serie temporale	ARIMA_PLUS	ML.EVALUATE	Segnala le seguenti metriche: errore assoluto medio errore quadratico medio errore percentuale assoluto medio errore percentuale assoluto media simmetrica Questa funzione richiede nuovi dati come input.
		ML.ARIMA_EVALUATE	Mostra le seguenti metriche per tutti i modelli candidati ARIMA caratterizzati da tuple diverse (p, d, q, has_drift): log_likelihood AIC varianza Registra anche altre informazioni su stagionalità, effetti durante le festività e valori anomali in caso di picchi e cali. Questa funzione non richiede nuovi dati come input.

Valutazione automatica nelle istruzioni CREATE MODEL

BigQuery ML supporta la valutazione automatica durante la creazione dei modelli. A seconda del tipo di modello, delle opzioni di addestramento della suddivisione dei dati e dell'uso o meno dell'ottimizzazione degli iperparametri, le metriche di valutazione vengono calcolate sul set di dati di valutazione riservato, sul set di dati di test riservato o sull'intero set di dati di input.

• Per i modelli K-means, PCA, autoencoder e ARIMA_PLUS, BigQuery ML utilizza tutti i dati di input come dati di addestramento e le metriche di valutazione vengono calcolate sull'intero set di dati di input.

• Per i modelli di regressione lineare e logistica, ad albero boosted, a foresta casuale, DNN, Wide-and-Deep e di fattorizzazione matriciale, le metriche di valutazione vengono calcolate in base al set di dati specificato con le seguenti CREATE MODEL opzioni:

  • DATA_SPLIT_METHOD
  • DATA_SPLIT_EVAL_FRACTION
  • DATA_SPLIT_COL

  Quando addestra questi tipi di modelli utilizzando l'ottimizzazione degli iperparametri, l'opzione DATA_SPLIT_TEST_FRACTION aiuta anche a definire il set di dati su cui vengono calcolate le metriche di valutazione. Per ulteriori informazioni, consulta Suddivisione dati.

• Per i modelli di AutoML Tables, consulta Come vengono utilizzate le suddivisioni di dati per l'addestramento e la valutazione.

Per ottenere le metriche di valutazione calcolate durante la creazione del modello, utilizza funzioni di valutazione come ML.EVALUATE nel modello senza dati di input specificati. Per un esempio, consulta ML.EVALUATE senza dati di input specificati.

Valutazione con un nuovo set di dati

Dopo la creazione del modello, puoi specificare nuovi set di dati per la valutazione. Per fornire un nuovo set di dati, utilizza funzioni di valutazione come ML.EVALUATE nel modello con i dati di input specificati. Per un esempio, consulta ML.EVALUATE con una soglia personalizzata e dati di input.