Panoramica di BigQuery Explainable AI
Questo documento descrive in che modo BigQuery ML supporta Intelligenza artificiale (AI) spiegabile, a volte chiamata XAI.
Explainable AI aiuta a comprendere i risultati che il modello predittivo di machine learning genera per la classificazione attività di regressione definendo il contributo di ogni caratteristica in una riga di dati il risultato previsto. Queste informazioni sono spesso indicate come funzionalità l'attribuzione dei contenuti. Puoi usare queste informazioni per verificare che il modello stia funzionando come previsto, per riconoscere i bias nei modelli e per informare modi migliorare il modello e i dati di addestramento.
BigQuery ML e Vertex AI dispongono entrambi di Explainable AI che offrono spiegazioni basate sulle funzionalità. Puoi eseguire spiegabilità in BigQuery ML, registra il modello in Vertex AI e per svolgere la spiegabilità.
Per informazioni sulle istruzioni e sulle funzioni SQL supportate per ogni tipo di modello, consulta Percorso dell'utente end-to-end per ogni modello.
Spiegabilità locale e globale
Esistono due tipi di spiegabilità: locale e globale spiegabilità. Anche questi ultimi sono chiamati importanza delle caratteristiche locali e importanza delle caratteristiche globali.
- La spiegabilità locale restituisce i valori di attribuzione delle funzionalità per ogni spiegazione esempio. Questi valori descrivono in che misura una particolare caratteristica ha influito la previsione rispetto alla previsione di riferimento.
- La spiegabilità globale restituisce l'influenza complessiva della caratteristica sul di grandi dimensioni e spesso si ottiene aggregando le attribuzioni delle caratteristiche in l'intero set di dati. Un valore assoluto più alto indica che la caratteristica aveva un valore maggiore influenza sulle previsioni del modello.
Offerte di Explainable AI in BigQuery ML
Explainable AI in BigQuery ML supporta vari di machine learning, sia a serie temporali che non. Ciascuno di il modello sfrutta un metodo di spiegabilità diverso.
Categoria di modello | Tipi di modello | Metodo di spiegabilità | Spiegazione di base del metodo | Funzioni di spiegazione locale | Funzioni di spiegazione globali |
---|---|---|---|---|---|
Modelli supervisionati | Lineare e Regressione logistica | Valori di Shapley | I valori di Shapley per i modelli lineari sono uguali a model weight * feature
value , dove i valori delle caratteristiche sono standardizzati e le ponderazioni del modello sono
addestrati con i valori standardizzati delle caratteristiche. |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
Errori standard e Valori p | Gli errori standard e i valori p vengono utilizzati per il test di significatività rispetto ai pesi del modello. | N/D | ML.ADVANCED_WEIGHTS 4 |
||
Alberi potenziati Foresta casuale |
Forma dell'albero | Albero SHAP è un algoritmo per calcolare i valori SHAP esatti per i modelli basati su albero decisionale. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
Contributo approssimativo alle funzionalità | Consente di ottenere un valore approssimativo dei valori di contributo delle caratteristiche. È più veloce e semplice rispetto ad Tree SHAP. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
||
Importanza delle caratteristiche basate sull'indice di Gini | Un punteggio globale di importanza delle caratteristiche che indica quanto sia utile o importante ciascuna caratteristica era nella costruzione dell'albero potenziato o del modello di foresta casuale durante addestramento. | N/D | ML.FEATURE_IMPORTANCE |
||
Rete neurale profonda (DNN) Ampio e profondo |
Gradienti integrati | Un metodo basato su gradienti che calcola in modo efficiente le attribuzioni delle caratteristiche
con le stesse proprietà axiomatiche del valore di Shapley. Offre un
approssimazione del campionamento delle attribuzioni esatte delle caratteristiche. La sua accuratezza è
controllato da integrated_gradients_num_steps
. |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
AutoML Tables | Valore di Shapley campionato | Il valore di Shapley campionato assegna il credito per il risultato del modello a ciascuna caratteristica, e considera diverse permutazioni delle caratteristiche. Questo metodo fornisce un'approssimazione campionaria dei valori di Shapley esatti. | N/D | ML.GLOBAL_EXPLAIN 2 |
|
Modelli di serie temporali | ARIMA_PLUS | Scomposizione di serie temporali | Scompone le serie temporali in più componenti se tali componenti sono presenti nella serie temporale. I componenti includono tendenza, stagionale, festività, variazioni di passi, picco e cali. Vedi ARIMA_PLUS pipeline di modellazione per ulteriori i dettagli. | ML.EXPLAIN_FORECAST 3 |
N/D |
ARIMA_PLUS_XREG | Scomposizione di serie temporali e Valori di Shapley |
Scompone la serie temporale in più componenti, tra cui tendenza, stagionale, festività, variazioni dei passi e picchi e cali
(simile a ARIMA_PLUS).
L'attribuzione di ciascun regressore esterno viene calcolata in base a:
Valori di Shapley, che corrispondono a model weight * feature value . |
ML.EXPLAIN_FORECAST 3 |
N/D |
1ML_EXPLAIN_PREDICT
è una versione estesa di ML.PREDICT
.
2ML.GLOBAL_EXPLAIN
restituisce la spiegabilità globale
ottenuta prendendo l'attribuzione assoluta media ricevuta da ogni caratteristica
a tutte le righe del set di dati di valutazione.
3ML.EXPLAIN_FORECAST
è una versione estesa di ML.FORECAST
.
4ML.ADVANCED_WEIGHTS
è una versione estesa di ML.WEIGHTS
.
Explainable AI in Vertex AI
Explainable AI è disponibile in Vertex AI per: sottoinsieme di modelli di apprendimento supervisionato esportabili:
Tipo di modello | Metodo Explainable AI |
---|---|
dnn_classifier | Gradienti integrati |
dnn_regressor | Gradienti integrati |
dnn_linear_combined_classifier | Gradienti integrati |
dnn_linear_combined_regressor | Gradienti integrati |
boosted_tree_regressor | Valore di Shapley campionato |
boosted_tree_classifier | Valore di Shapley campionato |
random_forest_regressor | Valore di Shapley campionato |
random_forest_classifier | Valore di Shapley campionato |
Consulta: Metodi di attribuzione delle caratteristiche per saperne di più su questi metodi.
Abilita Explainable AI in Model Registry
Quando il modello BigQuery ML è registrato in Model Registry e, se è un tipo di modello che supporta Explainable AI, puoi abilitare Explainable AI sul modello durante il deployment in un endpoint. Quando registri il tuo modello BigQuery ML, automaticamente i metadati associati.
- Registrare il modello BigQuery ML in Model Registry.
- Vai alla pagina Model Registry dalla sezione BigQuery nella console Google Cloud.
- In Model Registry, seleziona il modello BigQuery ML e fai clic sulla versione del modello da reindirizzare alla pagina dei dettagli del modello.
- Seleziona Altre azioni dalla versione del modello.
- Fai clic su Esegui il deployment nell'endpoint.
- Definisci il tuo endpoint: crea un nome endpoint e fai clic su Continua.
- Seleziona un tipo di macchina, ad esempio
n1-standard-2
. - In Impostazioni modello, nella sezione Logging, seleziona la casella di controllo per abilitare le opzioni di spiegabilità.
- Fai clic su Fine, quindi su Continua per eseguire il deployment nell'endpoint.
Per imparare a utilizzare XAI sui tuoi modelli, consulta la Registry di Vertex, consulta Ricevi una spiegazione online utilizzando il modello di cui hai eseguito il deployment. Per scoprire di più su XAI in Vertex AI, consulta Visualizza spiegazioni.
Passaggi successivi
- Scopri come gestire i modelli BigQuery ML in Vertex AI.