Introduzione
Questa pagina fornisce una breve panoramica concettuale dei metodi di attribuzione delle caratteristiche disponibili con Vertex AI. Per una discussione tecnica approfondita, consulta il nostro white paper sulle spiegazioni dell'IA.
L'importanza delle caratteristiche a livello globale (attribuzioni delle funzionalità del modello) mostra l'impatto di ciascuna caratteristica su un modello. I valori sono forniti sotto forma percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Per visualizzare l'importanza delle caratteristiche a livello globale per il modello, esamina le metriche di valutazione.
Le attribuzioni delle caratteristiche locali per i modelli di serie temporali indicano il contributo di ogni caratteristica nei dati al risultato previsto. Puoi quindi utilizzare queste informazioni per verificare se il modello funziona come previsto, riconoscere il bias nei modelli e trovare idee per migliorare il modello e i dati di addestramento. Quando richiedi le previsioni, ottieni i valori previsti in base al tuo modello. Quando richiedi spiegazioni, ricevi le previsioni insieme alle informazioni sull'attribuzione delle funzionalità.
Prendiamo in considerazione il seguente esempio: una rete neurale profonda viene addestrata a prevedere la durata di una corsa in bicicletta in base ai dati meteorologici e ai dati di condivisione delle corse precedenti. Se richiedi solo le previsioni da questo modello, ottieni le durate previste delle pedalate in bicicletta in numero di minuti. Se richiedi spiegazioni, ottieni la durata prevista del tragitto in bicicletta, insieme a un punteggio di attribuzione per ogni funzionalità nella richiesta di spiegazioni. I punteggi di attribuzione mostrano in che misura la funzionalità ha influito sulla variazione del valore di previsione rispetto al valore di riferimento specificato. Scegli un valore di riferimento significativo e pertinente per il tuo modello, in questo caso la durata media delle gite in bicicletta.
Puoi tracciare i punteggi di attribuzione delle caratteristiche per vedere quali hanno contribuito maggiormente alla previsione risultante:
Puoi generare query e attribuire elementi locali quando esegui un job di previsione online o un job di previsione batch.
Vantaggi
Se esamini istanze specifiche e anche le attribuzioni delle funzionalità aggregate nel set di dati di addestramento, puoi ottenere informazioni più approfondite sul funzionamento del modello. Valuta i seguenti vantaggi:
Eseguire il debug dei modelli: le attribuzioni delle caratteristiche possono aiutare a rilevare i problemi nei dati che le tecniche di valutazione dei modelli standard di solito non rilevano.
Ottimizzazione dei modelli: puoi identificare e rimuovere le funzionalità meno importanti, il che può comportare modelli più efficienti.
Limitazioni concettuali
Tieni presenti le seguenti limitazioni delle attribuzioni delle funzionalità:
Le attribuzioni delle funzionalità, inclusa l'importanza delle funzionalità locali per AutoML, sono specifiche per le singole previsioni. L'esame delle attribuzioni delle caratteristiche per una singola previsione può fornire informazioni utili, ma queste potrebbero non essere generalizzabili all'intera classe per quella singola istanza o per l'intero modello.
Per ottenere informazioni più generalizzabili per i modelli AutoML, consulta l'importanza delle caratteristiche del modello. Per ottenere informazioni più generalizzabili per altri modelli, aggrega le attribuzioni per sottoinsiemi del set di dati o per l'intero set di dati.
Ogni attribuzione mostra solo in che misura la funzionalità ha influito sulla previsione per quel determinato esempio. Una singola attribuzione potrebbe non riflettere il comportamento complessivo del modello. Per comprendere il comportamento approssimativo del modello in un intero set di dati, aggrega le attribuzioni nell'intero set di dati.
Sebbene le attribuzioni delle caratteristiche possano essere utili per il debug del modello, non indicano sempre chiaramente se un problema deriva dal modello o dai dati su cui è addestrato. Usa il tuo buonsenso e diagnostica i problemi comuni relativi ai dati per restringere il campo delle potenziali cause.
Le attribuzioni dipendono interamente dal modello e dai dati utilizzati per addestrarlo. Possono rivelare solo i pattern trovati dal modello nei dati e non possono rilevare alcuna relazione fondamentale nei dati. La presenza o l'assenza di un'attribuzione forte a una determinata funzionalità non indica che esista o meno una relazione tra la funzionalità e il target. L'attribuzione mostra semplicemente che il modello utilizza o meno la funzionalità nelle sue previsioni.
Le attribuzioni da sole non possono indicare se il tuo modello è equo, imparziale o di buona qualità. Valuta attentamente i dati di addestramento e le metriche di valutazione, oltre agli attributi.
Per ulteriori informazioni sulle limitazioni, consulta il white paper sulle spiegazioni dell'IA.
Miglioramento delle attribuzioni delle funzionalità
I seguenti fattori hanno l'impatto maggiore sulle attribuzioni delle funzionalità:
- I metodi di attribuzione approssimano il valore di Shapley. Puoi aumentare la precisione dell'approssimazione aumentando il numero di percorsi per il metodo Shapley campionato. Di conseguenza, le attribuzioni potrebbero cambiare notevolmente.
- Le attribuzioni esprimono solo l'impatto della funzionalità sulla variazione del valore della previsione rispetto al valore di riferimento. Assicurati di scegliere un valore di riferimento significativo, pertinente alla domanda che stai ponendo al modello. I valori di attribuzione e la relativa interpretazione potrebbero cambiare in modo significativo quando cambi le linee di base.
Algoritmo
Vertex AI fornisce attribuzioni delle funzionalità utilizzando i valori di Shapley, un algoritmo della teoria dei giochi cooperativi che assegna il merito a ogni giocatore di una partita per un determinato risultato. Applicato ai modelli di machine learning, ciò significa che ogni caratteristica del modello viene trattata come un "giocatore" nel gioco e il merito viene assegnato in proporzione al risultato di una determinata previsione. Per i modelli di dati strutturati, Vertex AI utilizza un'approssimazione di campionamento dei valori di Shapley esatti chiamata Sampled Shapley.
Per informazioni approfondite sul funzionamento del metodo Shapley campionato, leggi il documento Bounding the Estimation Error of Sampling-based Shapley Value Approximation.
Passaggi successivi
Le seguenti risorse forniscono ulteriore materiale didattico utile: