Panoramica della valutazione dei modelli BigQuery ML

Questo documento descrive in che modo BigQuery ML supporta il machine learning (ML) e la valutazione del modello.

Panoramica della valutazione del modello

Puoi utilizzare le metriche di valutazione del modello ML per scopi:

• Valutare la qualità dell'adattamento tra il modello e i dati.
• Per confrontare modelli diversi.
• Per prevedere il grado di precisione con cui puoi aspettarti che ogni modello funzioni su una del set di dati, nel contesto della selezione del modello.

Le valutazioni dei modelli di apprendimento supervisionato e non supervisionato funzionano in modo diverso:

• Per i modelli di apprendimento supervisionato, la valutazione del modello è ben definita. Un di valutazione, ovvero i dati che non sono stati analizzati dal modello, tipicamente esclusi dal set di addestramento e poi utilizzati per valutare il modello delle prestazioni. Ti consigliamo di non utilizzare il set di addestramento per la valutazione perché questo causa uno scarso rendimento del modello durante la generalizzazione dei risultati della previsione per i nuovi dati. Questo risultato è noto come overfitting.
• Per i modelli di apprendimento non supervisionato, la valutazione del modello è meno definita in genere varia da modello a modello. Poiché i modelli di apprendimento non supervisionato per prenotare un set di valutazione, le metriche di valutazione vengono calcolate utilizzando l'intero set di dati di input.

Per informazioni sulle istruzioni e sulle funzioni SQL supportate per ogni tipo di modello, consulta Percorso dell'utente end-to-end per ogni modello.

Offerte di valutazione dei modelli

BigQuery ML fornisce le seguenti funzioni per calcolare e metriche di valutazione per i modelli ML:

Categoria di modello	Tipi di modello	Funzioni di valutazione del modello	Che cosa fa la funzione
Apprendimento supervisionato	Regressore lineare Regressore potenziato di alberi Regressore forestale casuale Regressore DNN Regressore ampio e profondo Regressore AutoML Tables	ML.EVALUATE	Registra le seguenti metriche: errore assoluto medio errore quadratico medio errore logaritmico quadratico medio errore medio assoluto punteggio r2 varianza spiegata
	Regressione logistica Classificatore di alberi potenziati Classificatore di foreste casuali Classificatore DNN Classificatore ampio e profondo Classificatore AutoML Tables	ML.EVALUATE	Registra le seguenti metriche: precisione recall accuracy Punteggio F1 perdita logaritmica auc roc
		ML.CONFUSION_MATRIX	Segnala la matrice di confusione.
		ML.ROC_CURVE	Registra le metriche per diversi valori di soglia, tra cui: recall percentuale di falsi positivi veri positivi falsi positivi veri negativi falsi negativi Si applica solo ai modelli di classificazione binaria.
Apprendimento non supervisionato	K-means	ML.EVALUATE	Segnala l'indice Davies-Bouldin e la distanza al quadrato media tra i punti dati e i baricentro dei cluster assegnati.
	Fattorizzazione matriciale	ML.EVALUATE	Per i modelli basati su feedback espliciti, vengono registrate le seguenti metriche: errore assoluto medio errore quadratico medio errore logaritmico quadratico medio errore medio assoluto punteggio r2 varianza spiegata
			Per i modelli basati su feedback implicito, vengono registrate le seguenti metriche: precisione media media errore quadratico medio guadagno cumulativo scontato normalizzato posizione media
	PCA	ML.EVALUATE	Indica il rapporto della varianza spiegata totale.
	Codificatore automatico	ML.EVALUATE	Registra le seguenti metriche: errore assoluto medio errore quadratico medio errore logaritmico quadratico medio
Serie temporale	ARIMA_PLUS	ML.EVALUATE	Registra le seguenti metriche: errore assoluto medio errore quadratico medio errore percentuale assoluto medio errore percentuale assoluto medio simmetrico Questa funzione richiede nuovi dati come input.
		ML.ARIMA_EVALUATE	Segnala le seguenti metriche per tutti i modelli candidati ad ARIMA caratterizzate da diverse tuple (p, d, q, has_drift): log_likelihood AIC varianza Registra anche altre informazioni su stagionalità, effetti delle festività e picchi e valori anomali. Questa funzione non richiede nuovi dati come input.

Valutazione automatica nelle istruzioni CREATE MODEL

BigQuery ML supporta la valutazione automatica durante la creazione del modello. A seconda del tipo di modello, delle opzioni di addestramento della suddivisione dati e mediante l'ottimizzazione degli iperparametri, le metriche di valutazione vengono calcolate il set di dati di valutazione riservato, il set di dati di test riservato o l'intero input del set di dati.

• Per i modelli K-means, PCA, autoencoder e ARIMA_PLUS, BigQuery ML utilizza tutti i dati di input come dati di addestramento e le metriche di valutazione calcolati rispetto all'intero set di dati di input.

• Per la regressione lineare e logistica, albero potenziato, foresta casuale, DNN, Wide and Deep e i modelli di fattorizzazione matriciale, le metriche di valutazione viene calcolata in base al set di dati specificato CREATE MODEL opzioni:

  • DATA_SPLIT_METHOD
  • DATA_SPLIT_EVAL_FRACTION
  • DATA_SPLIT_COL

  Quando addestri questi tipi di modelli con l'ottimizzazione degli iperparametri, Anche l'opzione DATA_SPLIT_TEST_FRACTION è utile definiscono il set di dati in base al quale vengono calcolate le metriche di valutazione. Per ulteriori informazioni, vedi Suddivisione dati.

• Per i modelli AutoML Tables, consulta come vengono utilizzate le suddivisioni dei dati per l'addestramento e la valutazione.

Per ottenere il calcolo delle metriche di valutazione durante la creazione del modello, utilizza la valutazione come ML.EVALUATE sul modello senza dati di input specificati. Per un esempio, vedi ML.EVALUATE senza dati di input specificati.

Valutazione con un nuovo set di dati

Dopo la creazione del modello, puoi specificare nuovi set di dati per la valutazione. Per fornire un nuovo set di dati, utilizza funzioni di valutazione come ML.EVALUATE sul modello i dati di input specificati. Per un esempio, vedi ML.EVALUATE con una soglia personalizzata e dati di input.