Nel valutare le spiegazioni restituite dal servizio, tieni presente queste limitazioni di alto livello. Per una spiegazione approfondita, consulta il white paper AI Explainability.
Significato e ambito delle attribuzioni delle caratteristiche
Prendi in considerazione quanto segue quando analizzi le attribuzioni delle funzionalità fornite da AI Explanations:
- Ogni attribuzione mostra solo in che misura la caratteristica ha influito sulla previsione per l'esempio specifico. Una singola attribuzione potrebbe non riflettere il comportamento generale del modello. Per comprendere il comportamento approssimativo del modello su un intero set di dati, aggrega le attribuzioni nell'intero set di dati.
- Le attribuzioni dipendono interamente dal modello e dai dati utilizzati per addestrare il modello. Possono solo indicare i pattern trovati dal modello nei dati e non possono rilevare alcuna relazione fondamentale nei dati. Quindi, la presenza o l'assenza di una forte attribuzione a una determinata funzionalità non significa che esista o meno una relazione tra la funzionalità e il target. L'attribuzione mostra semplicemente che il modello utilizza o meno la caratteristica.
- Le attribuzioni da sole non possono determinare se il tuo modello è corretto, imparziale o di qualità audio. Valuta attentamente il set di dati di addestramento, procedure e metriche di valutazione, oltre alle attribuzioni.
Migliorare le attribuzioni delle caratteristiche
I seguenti fattori hanno l'impatto maggiore sulle attribuzioni delle caratteristiche:
I metodi di attribuzione si avvicinano al valore di Shapley. Puoi aumentare la precisione dell'approssimazione:
- Aumentare il numero di passaggi integrali per i gradienti integrati o i metodi XRAI.
- Aumento del numero di percorsi integrali per il metodo di Shapley campionato.
Di conseguenza, le attribuzioni potrebbero cambiare radicalmente.
Le attribuzioni esprimono solo in che misura la caratteristica ha influito sulla variazione del valore di previsione, rispetto al valore di riferimento. Assicurati di scegliere una base di riferimento significativa, pertinente alla domanda che ti stai ponendo sul modello. I valori di attribuzione e la loro interpretazione potrebbero cambiare notevolmente quando cambi base di riferimento.
Per gradienti e XRAI integrati, l'utilizzo di due basi di riferimento può migliorare i risultati. Ad esempio, puoi specificare basi che rappresentano un'immagine completamente nera e un'immagine completamente bianca.
Limitazioni per i dati delle immagini
I due metodi di attribuzione che supportano i dati delle immagini sono gradienti integrati e XRAI.
I gradienti integrati sono un metodo di attribuzione basato sui pixel che mette in evidenza le aree importanti dell'immagine a prescindere dal contrasto, rendendolo ideale per immagini non naturali, come i raggi X. Tuttavia, l'output granulare può rendere difficile valutare l'importanza relativa delle aree. L'output predefinito mette in evidenza le aree dell'immagine con attribuzioni positive elevate disegnando dei contorni, ma questi contorni non vengono classificati e possono estendersi da un oggetto all'altro.
XRAI funziona meglio con immagini naturali e ad alto contrasto contenenti più oggetti. Poiché questo metodo produce attribuzioni basate sulle regioni, produce una mappa termica più fluida e leggibile per le regioni più rilevanti per una determinata classificazione delle immagini.
Attualmente, XRAI non funziona bene con i seguenti tipi di input di immagine:
- Immagini a basso contrasto che sono tutte una tonalità, ad esempio i raggi X.
- Immagini molto alte o molto ampie, come le panoramiche.
- Immagini molto grandi, con un possibile rallentamento del tempo di esecuzione complessivo.