Panoramica di BigQuery Explainable AI
Questo documento descrive in che modo BigQuery ML supporta l'intelligenza artificiale (AI) interpretabile, a volte chiamata XAI.
Explainable AI ti aiuta a comprendere i risultati generati dal tuo modello di machine learning predittivo per le attività di classificazione e regressione definendo il contributo di ogni caratteristica in una riga di dati al risultato previsto. Queste informazioni sono spesso chiamate attribuzione delle funzionalità. Puoi utilizzare queste informazioni per verificare se il modello funziona come previsto, riconoscere i bias nei modelli e trovare idee per migliorare il modello e i dati di addestramento.
BigQuery ML e Vertex AI offrono entrambe Explainable AI, che fornisce spiegazioni basate sulle caratteristiche. Puoi eseguire l'interpretabilità in BigQuery ML oppure puoi registrare il modello in Vertex AI ed eseguire l'interpretabilità lì.
Spiegabilità locale e globale
Esistono due tipi di interpretabilità: locale e globale. Questi sono noti anche rispettivamente come importanza delle caratteristiche locali e importanza delle caratteristiche globali.
- L'interpretabilità locale restituisce i valori di attribuzione delle funzionalità per ogni esempio spiegato. Questi valori descrivono in che misura una determinata caratteristica ha influito sulla previsione rispetto alla previsione di base.
- L'interpretabilità globale restituisce l'influenza complessiva della funzionalità sul modello e viene spesso ottenuta aggregando le attribuzioni delle funzionalità sull'intero set di dati. Un valore assoluto più alto indica che la caratteristica ha avuto un'influenza maggiore sulle previsioni del modello.
Offerte di Explainable AI in BigQuery ML
Explainable AI in BigQuery ML supporta una serie di modelli di machine learning, inclusi modelli di serie temporali e non di serie temporali. Ciascuno dei modelli sfrutta un metodo di interpretabilità diverso.
Categoria del modello | Tipi di modello | Metodo di spiegabilità | Spiegazione di base del metodo | Funzioni di spiegazione locali | Funzioni di spiegazione globali |
---|---|---|---|---|---|
Modelli supervisionati | Regressione lineare e logistica | Valori di Shapley | I valori di Shapley per i modelli lineari sono uguali a model weight * feature
value , dove i valori delle caratteristiche sono standardizzati e i pesi del modello
vengono addestrati con i valori delle caratteristiche standardizzati. |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
Errori standard e valori p | Gli errori standard e i valori p vengono utilizzati per il test di significatività rispetto ai pesi del modello. | N/D | ML.ADVANCED_WEIGHTS 4 |
||
Modelli boosted tree Foresta casuale |
Tree SHAP | Tree SHAP è un algoritmo per calcolare i valori SHAP esatti per i modelli basati su alberi decisionali. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
Contributo approssimativo della funzionalità | Approssima i valori del contributo delle caratteristiche. È più veloce e semplice rispetto a Tree SHAP. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
||
Importanza delle caratteristiche basata sull'indice di Gini | Un punteggio di importanza globale delle caratteristiche che indica l'utilità o il valore di ciascuna caratteristica nella costruzione del modello di albero potenziato o foresta casuale durante l'addestramento. | N/D | ML.FEATURE_IMPORTANCE |
||
Deep Neural Network (DNN) Wide and Deep |
Gradienti integrati | Un metodo basato sui gradienti che calcola in modo efficiente le attribuzioni delle caratteristiche
con le stesse proprietà assiomatiche del valore di Shapley. Fornisce un'approssimazione di campionamento delle attribuzioni esatte delle funzionalità. La sua precisione è
controllata dal parametro integrated_gradients_num_steps . |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
AutoML Tables | Valore di Shapley campionato | Il valore di Shapley campionato assegna il credito per il risultato del modello a ciascuna caratteristica e considera diverse permutazioni delle caratteristiche. Questo metodo fornisce un'approssimazione di campionamento dei valori di Shapley esatti. | N/D | ML.GLOBAL_EXPLAIN 2 |
|
Modelli di serie temporali | ARIMA_PLUS | Decomposizione delle serie temporali | Decompone la serie temporale in più componenti se questi sono presenti nella serie temporale. I componenti includono tendenza, stagionalità, festività, variazioni graduali, picchi e cali. Per maggiori dettagli, consulta la pipeline di generazione di modelli ARIMA_PLUS. | ML.EXPLAIN_FORECAST 3 |
N/D |
ARIMA_PLUS_XREG | Decomposizione delle serie temporali e Valori di Shapley |
Decompone la serie temporale in più componenti, tra cui tendenza, stagionalità, festività, variazioni graduali e picchi e cali
(simili ad ARIMA_PLUS).
L'attribuzione di ogni regressore esterno viene calcolata in base ai
valori di Shapley, che sono uguali a model weight * feature value . |
ML.EXPLAIN_FORECAST 3 |
N/D |
1ML_EXPLAIN_PREDICT
è una versione estesa di ML.PREDICT
.
2ML.GLOBAL_EXPLAIN
restituisce la spiegabilità globale
ottenuta calcolando l'attribuzione assoluta media che ogni caratteristica riceve per
tutte le righe nel set di dati di valutazione.
3ML.EXPLAIN_FORECAST
è una versione estesa di ML.FORECAST
.
4ML.ADVANCED_WEIGHTS
è una versione estesa di ML.WEIGHTS
.
Explainable AI in Vertex AI
Explainable AI è disponibile in Vertex AI per il seguente sottoinsieme di modelli di apprendimento supervisionato esportabili:
Tipo di modello | Metodo Explainable AI |
---|---|
dnn_classifier | Gradienti integrati |
dnn_regressor | Gradienti integrati |
dnn_linear_combined_classifier | Gradienti integrati |
dnn_linear_combined_regressor | Gradienti integrati |
boosted_tree_regressor | Valore di Shapley campionato |
boosted_tree_classifier | Valore di Shapley campionato |
random_forest_regressor | Valore di Shapley campionato |
random_forest_classifier | Valore di Shapley campionato |
Per saperne di più su questi metodi, consulta la sezione Metodi di attribuzione delle funzionalità.
Abilitare Explainable AI in Model Registry
Quando il modello BigQuery ML viene registrato in Model Registry e se è un tipo di modello che supporta Explainable AI, puoi attivare Explainable AI sul modello durante il deployment su un endpoint. Quando registri il modello BigQuery ML, tutti i metadati associati vengono compilati automaticamente.
- Registra il modello BigQuery ML in Model Registry.
- Vai alla pagina Registro dei modelli dalla sezione BigQuery nella console Google Cloud .
- In Model Registry, seleziona il modello BigQuery ML e fai clic sulla versione del modello per reindirizzare alla pagina dei dettagli del modello.
- Seleziona Altre azioni dalla versione del modello.
- Fai clic su Esegui il deployment su endpoint.
- Definisci l'endpoint: crea un nome per l'endpoint e fai clic su Continua.
- Seleziona un tipo di macchina, ad esempio
n1-standard-2
. - Nella sezione Impostazioni modello, seleziona la casella di controllo per attivare le opzioni di interpretabilità.
- Fai clic su Fine, poi su Continua per eseguire il deployment sull'endpoint.
Per scoprire come utilizzare XAI sui modelli di Model Registry, vedi Ottenere una spiegazione online utilizzando il modello di cui è stato eseguito il deployment. Per scoprire di più su XAI in Vertex AI, consulta Ottenere spiegazioni.
Passaggi successivi
- Scopri come gestire i modelli BigQuery ML in Vertex AI.
- Per ulteriori informazioni sulle istruzioni e sulle funzioni SQL supportate per i modelli che supportano l'interpretabilità, consulta Percorsi utente end-to-end per i modelli ML.