Introduzione ad AI Explanations per AI Platform

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

AI Explanations integra le attribuzioni delle caratteristiche in AI Platform Prediction. Questa pagina fornisce una breve panoramica dei metodi di attribuzione delle caratteristiche disponibili con AI Platform Prediction. Per una discussione tecnica approfondita, consulta il nostro white paper AI AI Explanations.

AI Explanations ti aiuta a comprendere gli output del tuo modello per attività di classificazione e regressione. Ogni volta che richiedi una previsione su AI Platform, AI Explanations spiega in che misura ogni caratteristica dei dati ha contribuito al risultato previsto. Puoi quindi utilizzare queste informazioni per verificare se il modello funziona come previsto, riconoscere il bias nei modelli e trovare idee per migliorare il modello e i dati di addestramento.

Feature Attributions

Le attribuzioni delle caratteristiche indicano il contributo di ogni caratteristica nel modello alle previsioni per ogni istanza specifica. Quando richiedi le previsioni, ottieni i valori previsti in base al tuo modello. Quando richiedi spiegazioni, ottieni le previsioni insieme a informazioni sull'attribuzione delle caratteristiche.

Le attribuzioni delle caratteristiche funzionano su dati tabulari e includono funzionalità di visualizzazione integrate per i dati delle immagini. Esamina i seguenti esempi:

  • Una rete neurale profonda è addestrata a prevedere la durata di un giro in bici, in base ai dati meteo e ai dati di ridesharing precedenti. Se richiedi solo le previsioni di questo modello, ottieni la durata prevista delle corse in bici in un numero di minuti. Se richiedi spiegazioni, ottieni la durata prevista del viaggio in bicicletta, insieme a un punteggio di attribuzione per ogni caratteristica nella richiesta di spiegazioni. I punteggi di attribuzione mostrano in che misura la funzionalità ha influito sulla variazione del valore della previsione, rispetto al valore di riferimento specificato. Scegli un valore basale significativo per il tuo modello, in questo caso la durata media del giro in bici. Puoi tracciare i punteggi di attribuzione delle caratteristiche per vedere quali funzionalità hanno contribuito maggiormente alla previsione risultante:

    Un grafico di attribuzione delle caratteristiche per una durata prevista del giro in bici

  • Viene addestrato un modello di classificazione delle immagini per prevedere se una determinata immagine contiene un cane o un gatto. Se richiedi previsioni di questo modello a un nuovo set di immagini, riceverai una previsione per ciascuna immagine ("can" o "cat"). Se richiedi spiegazioni, ottieni la classe prevista insieme a un overlay per l'immagine, che mostra quali pixel dell'immagine hanno contribuito maggiormente alla previsione risultante:

    Foto di un gatto con overlay sull'attribuzione delle caratteristiche
    Foto di un gatto con overlay di attribuzione delle caratteristiche
    Foto di un cane con overlay di attribuzione delle caratteristiche
    Foto di un cane con overlay di attribuzione delle caratteristiche
  • Un modello di classificazione delle immagini viene addestrato per prevedere le specie di un fiore nell'immagine. Se richiedi previsioni di questo modello su un nuovo insieme di immagini, riceverai una previsione per ogni immagine ("daisy" o "dandelion"). Se richiedi spiegazioni, ottieni la classe prevista insieme a un overlay per l'immagine, che mostra le aree dell'immagine che hanno maggiormente contribuito alla previsione risultante:

    Foto di una margherita con overlay di attribuzione delle caratteristiche
    Foto di una margherita con overlay di attribuzione delle caratteristiche

Vantaggi e casi d'uso

Esaminando istanze specifiche e aggregando le attribuzioni delle caratteristiche nel set di dati di addestramento, puoi ottenere informazioni più dettagliate sul funzionamento del modello. Considera i seguenti vantaggi e casi d'uso:

  • Modelli di debug: le attribuzioni delle funzionalità possono aiutare a rilevare problemi nei dati che di solito non vengono rilevati dalle tecniche standard di valutazione del modello. Ad esempio, un modello di patologia dell'immagine ha ottenuto risultati stranamente validi su un set di dati di test di immagini X-Ray del torace. Le attribuzioni delle caratteristiche hanno rivelato che l'elevata precisione del modello dipendeva dai pennarelli del radiologo nell'immagine.
  • Ottimizzazione dei modelli: puoi identificare e rimuovere le funzionalità meno importanti, che possono determinare modelli più efficienti.

Limitazioni concettuali

Considera le seguenti limitazioni delle attribuzioni delle caratteristiche:

  • Le attribuzioni sono specifiche per le singole previsioni. L'ispezione di un'attribuzione per una singola previsione può fornire informazioni utili, ma potrebbe non essere generalizzabile a tutta la classe per quella singola istanza o all'intero modello. Per ottenere informazioni più generalizzabili, puoi aggregare le attribuzioni relative a sottoinsiemi nel set di dati o nell'intero set di dati.
  • Anche se le attribuzioni delle funzionalità possono essere utili per il debug del modello, non indicano sempre chiaramente se si è verificato un problema derivante dal modello o dai dati su cui il modello è addestrato. Cerca di giudicare e risolvere i problemi più comuni relativi ai dati per ridurre il numero di potenziali cause.
  • Le attribuzioni delle caratteristiche sono soggette ad attacchi contrari simili alle previsioni in modelli complessi.

Per ulteriori informazioni sulle limitazioni, consulta l'elenco generale delle limitazioni e il white paper AI AI Explanations.

Confronto dei metodi di attribuzione delle caratteristiche

AI Explanations offre tre metodi da utilizzare per le attribuzioni delle caratteristiche: Shapley, gradienti integrati e XRAI.

Metodo Spiegazione di base Tipi di modello consigliati Esempi di casi d'uso
Gradienti integrati Un metodo basato su gradienti per calcolare in modo efficiente le attribuzioni delle caratteristiche con le stesse proprietà assiomatiche del valore di Shapley. Modelli differenziabili, ad esempio le reti neurali. Consigliato soprattutto per i modelli con ampi spazi di funzionalità.
Consigliato per immagini a basso contrasto, come quelle a raggi X.
  • Classificazione e regressione nei dati tabulari
  • Classificazione sui dati delle immagini
XRAI (eXplanation con aree con ranking delle entità) In base al metodo dei gradienti integrati, XRAI valuta le aree geografiche sovrapposte dell'immagine per creare una mappa della salienza, che evidenzia le aree pertinenti dell'immagine anziché i pixel. Modelli che accettano input di immagini. Consigliato soprattutto per le immagini naturali, ovvero qualsiasi scena reale che contiene più oggetti.
  • Classificazione sui dati delle immagini
Valore di Shapley campionato Assegna il credito per il risultato a ciascuna caratteristica e considera diverse permutazioni di tali caratteristiche. Questo metodo fornisce un'approssimazione di campionamento dei valori esatti di Shapley. Modelli non distinguibili, ad esempio insieme di alberi e reti neurali1
  • Classificazione e regressione nei dati tabulari

Informazioni sui metodi di attribuzione delle funzionalità

Ogni metodo di attribuzione delle caratteristiche si basa sui valori di Shapley, un algoritmo per la teoria del gioco cooperativo che assegna il merito a ciascun giocatore di un gioco per ottenere un risultato specifico. Applicato ai modelli di machine learning, ciò significa che ciascuna funzionalità del modello viene considerata come un "giocatore" nel gioco e AI Explanations assegna al merito proporzionale a ciascuna caratteristica per il risultato di una specifica previsione.

AI Explanations ti consente di "scegliere" i giocatori, per così dire, selezionando le caratteristiche esatte per la tua richiesta di spiegazioni.

Metodo Shapley campionato

Il metodo shapley campionato fornisce un'approssimazione di campionamento dei valori esatti di Shapley.

Metodo gradienti integrati

Nel metodo gradienti integrati, il gradiente dell'output di previsione viene calcolato rispetto alle caratteristiche dell'input, insieme a un percorso integrato.

  1. I gradienti vengono calcolati a intervalli diversi di un parametro di ridimensionamento. Per i dati dell'immagine, immagina questo parametro di scalabilità come un "dispositivo di scorrimento" che scala tutti i pixel dell'immagine in nero.
  2. I gradienti sono "integrati":
    1. Viene calcolata la media dei gradienti.
    2. Viene calcolato il prodotto a livello di elemento delle sfumature medie e dell'input originale.

Per una spiegazione intuitiva di questo processo come applicato alle immagini, consulta il post del blog, " Attributioning a deep network's Forecast to their input features". Gli autori del documento originale sui gradienti integrati (Axiomatic Attribution for Deep Networks) mostrano nel post del blog precedente come appaiono le immagini in ogni fase del processo.

Metodo XRAI

Il metodo XRAI combina il metodo dei gradienti integrati con ulteriori passaggi per determinare quali aree geografiche dell'immagine contribuiscono maggiormente a una determinata previsione di classe.

  1. Attribuzione a livello di pixel: XRAI esegue l'attribuzione a livello di pixel per l'immagine di input. In questo passaggio, XRAI utilizza il metodo dei gradienti integrati con una base di riferimento nera e una base di riferimento bianca.
  2. Sovrasegmentazione: indipendentemente dall'attribuzione a livello di pixel, XRAI sovrasegmenta l'immagine per creare un mosaico di piccole aree geografiche. XRAI utilizza il metodo basato sui grafici di Felzenswalb per creare i segmenti immagine.
  3. Selezione dell'area geografica: XRAI aggrega l'attribuzione a livello di pixel all'interno di ogni segmento per determinarne la densità di attribuzione. Utilizzando questi valori, XRAI classifica ogni segmento e quindi ordina i segmenti dal più alto al meno positivo. Determina quali aree dell'immagine sono più rilevanti o contribuiscono maggiormente a una determinata previsione di classe.

Immagini che mostrano i passaggi dell'algoritmo XRAI

Modelli differenziabili e non

Nei modelli differenziabili, puoi calcolare la derivata di tutte le operazioni nel grafico di TensorFlow. Questa proprietà consente di rendere possibile la propagazione in questi modelli. Ad esempio, le reti neurali sono differenziabili. Per ottenere attribuzioni delle caratteristiche per modelli differenziabili, utilizza il metodo dei gradienti integrati.

I modelli non distinguibili includono operazioni non distinguibili nel grafico di TensorFlow, ad esempio operazioni che eseguono attività di decodifica e arrotondamento. Ad esempio, un modello creato come insieme di alberi e reti neurali non è distinguibile. Per ottenere attribuzioni delle caratteristiche per modelli non distinguibili, utilizza il metodo Shapley campionato. Anche gli esempi di Shapley funzionano su modelli differenziabili, ma in questo caso sono più costosi di quelli necessari.

Riferimenti

Le implementazioni di Shapley campionato, gradienti integrati e XRAI si basano rispettivamente sui seguenti riferimenti:

Scopri di più sull'implementazione di AI Explanations leggendo il white paper AI AI Explanations.

Risorse didattiche

Le seguenti risorse forniscono ulteriore materiale didattico utile:

Passaggi successivi