Panoramica della valutazione dei modelli BigQuery ML

Questo documento descrive in che modo BigQuery ML supporta la valutazione dei modelli di machine learning (ML).

Panoramica della valutazione del modello

Puoi utilizzare le metriche di valutazione del modello ML per i seguenti scopi:

  • Valutare la qualità dell'adattamento tra il modello e i dati.
  • Per confrontare modelli diversi.
  • Per prevedere l'accuratezza prevista per ogni modello su un set di dati specifico, nel contesto della selezione del modello.

Le valutazioni dei modelli di apprendimento supervisionato e non supervisionato funzionano in modo diverso:

  • Per i modelli di apprendimento supervisionato, la valutazione del modello è ben definita. Un set di valutazione, ovvero dati che non sono stati analizzati dal modello, viene in genere escluso dal set di addestramento e quindi utilizzato per valutare le prestazioni del modello. Ti consigliamo di non utilizzare il set di addestramento per la valutazione, perché questo causa uno scarso rendimento del modello durante la generalizzazione dei risultati della previsione per i nuovi dati. Questo risultato è noto come overfitting.
  • Per i modelli di apprendimento non supervisionato, la valutazione del modello è meno definita e solitamente varia da modello a modello. Poiché i modelli di apprendimento non supervisionato non riservano un set di valutazione, le metriche di valutazione vengono calcolate utilizzando l'intero set di dati di input.

Per informazioni sulle istruzioni e sulle funzioni SQL supportate per ogni tipo di modello, consulta Percorso dell'utente end-to-end per ogni modello.

Offerte di valutazione dei modelli

BigQuery ML offre le seguenti funzioni per calcolare le metriche di valutazione per i modelli ML:

Categoria di modello Tipi di modello Funzioni di valutazione del modello Che cosa fa la funzione
Apprendimento supervisionato Regressore lineare

Regressore potenziato di alberi

Regressore forestale casuale

Regressore DNN

Regressore ampio e profondo

Regressore AutoML Tables		 ML.EVALUATE Registra le seguenti metriche:
  • errore assoluto medio
  • errore quadratico medio
  • errore logaritmico quadratico medio
  • errore medio assoluto
  • punteggio r2
  • varianza spiegata
Regressione logistica

Classificatore di alberi potenziati

Classificatore di foreste casuali

Classificatore DNN

Classificatore ampio e profondo

Classificatore AutoML Tables		 ML.EVALUATE Registra le seguenti metriche:
  • precision
  • recall
  • accuracy
  • Punteggio F1
  • perdita logaritmica
  • auc roc
ML.CONFUSION_MATRIX Segnala la matrice di confusione.
ML.ROC_CURVE Registra le metriche per diversi valori di soglia, tra cui:
  • recall
  • percentuale di falsi positivi
  • veri positivi
  • falsi positivi
  • veri negativi
  • falsi negativi

Si applica solo ai modelli di classificazione binaria.
Apprendimento non supervisionato K-means ML.EVALUATE Segnala l'indice Davies-Bouldin e la distanza al quadrato media tra i punti dati e i baricentro dei cluster assegnati.
Fattorizzazione matriciale ML.EVALUATE Per i modelli basati su feedback espliciti, vengono registrate le seguenti metriche:
  • errore assoluto medio
  • errore quadratico medio
  • errore logaritmico quadratico medio
  • errore medio assoluto
  • punteggio r2
  • varianza spiegata
Per i modelli basati su feedback implicito, vengono registrate le seguenti metriche:
APC ML.EVALUATE Indica il rapporto della varianza spiegata totale.
Codificatore automatico ML.EVALUATE Registra le seguenti metriche:
  • errore assoluto medio
  • errore quadratico medio
  • errore logaritmico quadratico medio
Serie temporale ARIMA_PLUS ML.EVALUATE Registra le seguenti metriche:
  • errore assoluto medio
  • errore quadratico medio
  • errore percentuale assoluto medio
  • errore percentuale assoluto medio simmetrico

Questa funzione richiede nuovi dati come input.
ML.ARIMA_EVALUATE Segnala le seguenti metriche per tutti i modelli candidati ad ARIMA caratterizzati da tuple diverse (p, d, q, has_drift):

Registra anche altre informazioni su stagionalità, effetti delle festività e valori anomali su picchi e cali.

Questa funzione non richiede nuovi dati come input.

Valutazione automatica nelle istruzioni CREATE MODEL

BigQuery ML supporta la valutazione automatica durante la creazione del modello. A seconda del tipo di modello, delle opzioni di addestramento della suddivisione dati e se utilizzi l'ottimizzazione degli iperparametri, le metriche di valutazione vengono calcolate in base al set di dati di valutazione riservato, al set di dati di test riservato o all'intero set di dati di input.

  • Per i modelli K-means, PCA, autoencoder e ARIMA_PLUS, BigQuery ML utilizza tutti i dati di input come dati di addestramento e le metriche di valutazione vengono calcolate in base all'intero set di dati di input.

  • Per i modelli di regressione lineare e logistica, albero potenziato, foresta casuale, DNN, wide and Deep e di fattorizzazione matriciale, le metriche di valutazione vengono calcolate in base al set di dati specificato dalle seguenti opzioni CREATE MODEL:

    Quando addestri questi tipi di modelli utilizzando l'ottimizzazione degli iperparametri, l'opzione DATA_SPLIT_TEST_FRACTION aiuta anche a definire il set di dati in base a cui vengono calcolate le metriche di valutazione. Per maggiori informazioni, consulta Suddivisione dati.

  • Per i modelli AutoML Tables, consulta come vengono utilizzate le suddivisioni dei dati per l'addestramento e la valutazione.

Per ottenere il calcolo delle metriche di valutazione durante la creazione del modello, utilizza funzioni di valutazione come ML.EVALUATE sul modello senza dati di input specificati. Per un esempio, consulta ML.EVALUATE senza dati di input specificati.

Valutazione con un nuovo set di dati

Dopo la creazione del modello, puoi specificare nuovi set di dati per la valutazione. Per fornire un nuovo set di dati, utilizza funzioni di valutazione come ML.EVALUATE nel modello con dati di input specificati. Ad esempio, consulta ML.EVALUATE con una soglia personalizzata e dati di input.