Panoramica di BigQuery Explainable AI
Questo documento descrive in che modo BigQuery ML supporta Intelligenza artificiale (AI) spiegabile, a volte chiamata XAI.
L'IA spiegabile ti aiuta a comprendere i risultati generati dal tuo modello di machine learning predittivo per le attività di classificazione e regressione definendo il contributo di ogni caratteristica in una riga di dati al risultato previsto. Queste informazioni sono spesso indicate come attribuzione delle funzionalità. Puoi utilizzare queste informazioni per verificare se il modello funziona come previsto, riconoscere i bias nei modelli e trovare modi per migliorare il modello e i dati di addestramento.
BigQuery ML e Vertex AI dispongono entrambi di Explainable AI che offrono spiegazioni basate sulle funzionalità. Puoi eseguire la misura dell'esplicabilità in BigQuery ML oppure registrare il tuo modello in Vertex AI ed eseguire la misura dell'esplicabilità lì.
Per informazioni sulle istruzioni e sulle funzioni SQL supportate per ogni tipo di modello, consulta Percorso dell'utente end-to-end per ogni modello.
Esplicaboilità locale e globale
Esistono due tipi di spiegabilità: locale e globale spiegabilità. Anche questi ultimi sono chiamati importanza delle caratteristiche locali e importanza delle caratteristiche globali.
- La spiegabilità locale restituisce i valori di attribuzione delle funzionalità per ogni spiegazione esempio. Questi valori descrivono l'impatto di una determinata caratteristica sulla previsione rispetto alla previsione di riferimento.
- L'esplicabilità globale restituisce l'influenza complessiva della funzionalità sul modello e spesso viene ottenuta aggregando le attribuzioni delle funzionalità sull' intero set di dati. Un valore assoluto più alto indica che la funzionalità ha avuto un'influenza maggiore sulle previsioni del modello.
Offerte di Explainable AI in BigQuery ML
Explainable AI in BigQuery ML supporta vari di machine learning, sia a serie temporali che non. Ciascuno di il modello sfrutta un metodo di spiegabilità diverso.
Categoria di modello | Tipi di modello | Metodo di spiegabilità | Spiegazione di base del metodo | Funzioni di spiegazione locale | Funzioni di spiegazione globali |
---|---|---|---|---|---|
Modelli supervisionati | Lineare e Regressione logistica | Valori di Shapley | I valori di Shapley per i modelli lineari sono uguali a model weight * feature
value , dove i valori delle caratteristiche sono standardizzati e le ponderazioni del modello sono
addestrati con i valori standardizzati delle caratteristiche. |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
Errori standard e Valori p | Gli errori standard e i valori p vengono utilizzati per il test di significatività rispetto ai pesi del modello. | N/D | ML.ADVANCED_WEIGHTS 4 |
||
Alberi con boosting Foresta casuale |
Forma dell'albero | Tree SHAP è un algoritmo per calcolare valori SHAP esatti per i modelli basati su alberi decisionali. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
Contributo approssimativo alle funzionalità | Approssima i valori del contributo delle caratteristiche. È più veloce e semplice rispetto ad Tree SHAP. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
||
Importanza delle caratteristiche basata sull'indice di Gini | Un punteggio di importanza delle caratteristiche globale che indica quanto sia stata utile o preziosa ciascuna caratteristica nella costruzione del modello di albero con boosting o foresta casuale durante l'addestramento. | N/D | ML.FEATURE_IMPORTANCE |
||
Rete neurale profonda (DNN) Wide and Deep |
Gradienti integrati | Un metodo basato sui gradienti che calcola in modo efficiente le attribuzioni delle funzionalità
con le stesse proprietà assiomatiche del valore di Shapley. Fornisce un'approssimazione di campionamento delle attribuzioni delle funzionalità esatte. La sua accuratezza è
controllato da integrated_gradients_num_steps
. |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
AutoML Tables | Valore di Shapley campionato | Il valore di Shapley campionato assegna il credito per il risultato del modello a ciascuna caratteristica, e considera diverse permutazioni delle caratteristiche. Questo metodo fornisce un'approssimazione di campionamento dei valori di Shapley esatti. | N/D | ML.GLOBAL_EXPLAIN 2 |
|
Modelli di serie temporali | ARIMA_PLUS | Decomposizione delle serie temporali | Decompone la serie temporale in più componenti se questi componenti sono presenti nella serie temporale. I componenti includono tendenze, stagionalità, festività, variazioni graduali e picchi e cali. Per maggiori dettagli, consulta la pipeline di generazione di modelli ARIMA_PLUS. | ML.EXPLAIN_FORECAST 3 |
N/D |
ARIMA_PLUS_XREG | Decomposizione delle serie temporali e Valori di Shapley |
Decompone la serie temporale in più componenti, tra cui tendenza, stagionalità, festività, variazioni graduali, picchi e cali
(simile ad ARIMA_PLUS).
L'attribuzione di ogni regressore esterno viene calcolata in base ai valori di Shapley, che è uguale a model weight * feature value . |
ML.EXPLAIN_FORECAST 3 |
N/D |
1ML_EXPLAIN_PREDICT
è una versione estesa di ML.PREDICT
.
2ML.GLOBAL_EXPLAIN
restituisce l'esplicabilità globale ottenuta prendendo l'attribuzione assoluta media che ogni caratteristica riceve per tutte le righe del set di dati di valutazione.
3ML.EXPLAIN_FORECAST
è una versione estesa di ML.FORECAST
.
4ML.ADVANCED_WEIGHTS
è una versione estesa di ML.WEIGHTS
.
IA spiegabile in Vertex AI
Explainable AI è disponibile in Vertex AI per: sottoinsieme di modelli di apprendimento supervisionato esportabili:
Tipo di modello | Metodo Explainable AI |
---|---|
dnn_classifier | Gradienti integrati |
dnn_regressor | Gradienti integrati |
dnn_linear_combined_classifier | Gradienti integrati |
dnn_linear_combined_regressor | Gradienti integrati |
boosted_tree_regressor | Valore di Shapley campionato |
boosted_tree_classifier | Valore di Shapley campionato |
random_forest_regressor | Valore di Shapley campionato |
random_forest_classifier | Valore di Shapley campionato |
Per scoprire di più su questi metodi, consulta Metodi di attribuzione delle funzionalità.
Abilita Explainable AI in Model Registry
Quando il modello BigQuery ML è registrato in Model Registry e, se è un tipo di modello che supporta Explainable AI, puoi abilitare Explainable AI sul modello durante il deployment in un endpoint. Quando registri il tuo modello BigQuery ML, automaticamente i metadati associati.
- Registrare il modello BigQuery ML in Model Registry.
- Vai alla pagina Registro dei modelli dalla sezione BigQuery della console Google Cloud.
- In Model Registry, seleziona il modello BigQuery ML e fai clic sulla versione del modello da reindirizzare alla pagina dei dettagli del modello.
- Seleziona Altre azioni dalla versione del modello.
- Fai clic su Esegui il deployment nell'endpoint.
- Definisci l'endpoint: crea un nome per l'endpoint e fai clic su Continua.
- Seleziona un tipo di macchina, ad esempio
n1-standard-2
. - In Impostazioni modello, nella sezione Logging, seleziona la casella di controllo per abilitare le opzioni di spiegabilità.
- Fai clic su Fine e poi su Continua per eseguire il deployment nell'endpoint.
Per scoprire come utilizzare l'IA spiegabile sui tuoi modelli dal Model Registry, consulta Ottenere una spiegazione online utilizzando il modello di cui è stato eseguito il deployment. Per scoprire di più sull'IA spiegabile in Vertex AI, consulta Generare spiegazioni.
Passaggi successivi
- Scopri come gestire i modelli BigQuery ML in Vertex AI.