Visualizzazione delle spiegazioni per i dati delle immagini

Le spiegazioni dell'IA forniscono funzionalità di visualizzazione integrate per i dati delle immagini. Quando richiedi una spiegazione su un modello di classificazione delle immagini con una visualizzazione configurata, visualizzerai la classe prevista insieme a un overlay immagine che mostra i pixel o le regioni che hanno contribuito alla previsione.

Le immagini di seguito mostrano le visualizzazioni su un'immagine di un husky. La visualizzazione a sinistra utilizza il metodo dei gradienti integrati ed evidenzia le aree con l'attribuzione dei contenuti. La visualizzazione a destra utilizza un metodo XRAI con una mappa a gradiente di colore che indicano aree di minore influenza (blu) e maggiore (giallo) nella realizzazione di una una previsione positiva.

Visualizzazione dell'attribuzione delle caratteristiche di un husky che utilizza la versione integrata gradienti
Visualizzazione dell'attribuzione delle funzionalità di un husky utilizzando XRAI

Il tipo di dati con cui lavori può influire sulla scelta di utilizzare un approccio con gradienti integrati o XRAI per visualizzare le spiegazioni.

  • XRAI tende a funzionare meglio con le immagini naturali e fornisce un miglior riepilogo di informazioni di alto livello, ad esempio mostrando che l'attribuzione positiva è correlata alla forma del muso di un cane.
  • I gradienti integrati (IG) tendono a fornire dettagli a livello di pixel è utile per scoprire attribuzioni più granulari.

Scopri di più sui metodi di attribuzione nella pagina Panoramica delle spiegazioni dell'IA.

Come iniziare

Le visualizzazioni sono configurate per modello nell'ambito del file di metadati della spiegazione.

Per aggiungere una nuova visualizzazione per il modello, includi un visualization all'interno dell'oggetto inputs che vuoi visualizzare. In visualization puoi includere opzioni come il tipo di overlay utilizzato, le attribuzioni sono evidenziate, colorate e altro ancora. Tutte le impostazioni sono facoltative.

Per creare un'altra visualizzazione con lo stesso modello, aggiorna le impostazioni nel explanation_metadata.json file e riesegui il deployment del modello.

Opzioni di visualizzazione

Le impostazioni predefinite e consigliate dipendono dal metodo di attribuzione (gradienti integrati o XRAI). Di seguito sono elencate le opzioni di configurazione e come potresti utilizzarli. Per un elenco completo dei valori delle opzioni, vedi Riferimento API.

  • type: il tipo di visualizzazione utilizzato. Per i gradienti integrati, Outlines è impostato per impostazione predefinita e mostra le regioni di attribuzione, mentre Pixels mostra l'attribuzione per pixel. Per XRAI, Pixels è l'impostazione predefinita e mostra diverse aree dell'attribuzione. Outlines non è consigliato per XRAI.
  • polarity: l'andamento delle attribuzioni evidenziate. positive è impostato per impostazione predefinita e mette in evidenza le aree con le attribuzioni positive più elevate. Ciò significa evidenziare i pixel hanno influito maggiormente sulla previsione positiva del modello. Se imposti la polarità su negative, vengono evidenziate le aree che impediscono il funzionamento del modello prevedendo la classe positiva. L'utilizzo di una polarità negativa può essere utile per eseguire il debug del modello identificando le regioni con falsi negativi. Puoi anche impostare la polarizzazione su both per visualizzare le attribuzioni positive e negative.
  • clip_above_percentile: esclude le attribuzioni superiori al percentile specificato dalle aree evidenziate. Può essere utile usare insieme i parametri dei clip per filtrare il rumore e semplificare la visualizzazione delle aree con l'attribuzione dei contenuti.
  • clip_below_percentile: esclude le attribuzioni inferiori al percentile specificato. dalle aree evidenziate.
  • color_map: la combinazione di colori utilizzata per le aree evidenziate. Il valore predefinito è pink_green per i gradienti integrati, e mostra le attribuzioni positive in verde e quelle negative in rosa. Per le visualizzazioni XRAI, la mappa colori gradiente. L'impostazione predefinita di XRAI è viridis, che evidenzia le informazioni più influenti le regioni in giallo e quelle meno influenti in blu.
  • overlay_type: come appare l'immagine originale nella visualizzazione. Se modifichi l'overlay, puoi migliorare la nitidezza visiva se l'immagine originale rende difficile la visualizzazione.

Configurazioni di esempio

Per iniziare, di seguito sono riportati alcuni oggetti visualization di esempio che puoi utilizzare come un punto di partenza e immagini che mostrano una serie di impostazioni applicate.

Gradienti integrati

Per i gradienti integrati, potrebbe essere necessario modificare i valori di clip se le aree di attribuzione sono troppo rumorose.

visualization: {
"type": "Outlines", # Can also use "Pixels"
"polarity": "positive",
"clip_below_percentile": 70,
"clip_above_percentile": 99.9,
"color_map": "pink_green",
"overlay_type": "grayscale"
}

Di seguito sono riportate due visualizzazioni che utilizzano entrambi i tipi Outlines e Pixels. Le colonne con l'etichetta "Solo predittivi", "Moderatamente predittivo", e "Quasi tutti" sono esempi di taglio a diversi livelli che possono aiutare per concentrarti sulla visualizzazione.

Visualizzazione dell'attribuzione delle funzionalità con contorni per l'attribuzione IG

Visualizzazione dell'attribuzione delle funzionalità con pixel per l'attribuzione IG

XRAI

Per le visualizzazioni XRAI, consigliamo di iniziare senza valori clip per XRAI perché l'overlay utilizza un gradiente per mostrare le aree alte e basse l'attribuzione dei contenuti.

visualization: {
"type": "Pixels", # Only valid option for XRAI
"polarity": "positive",
"clip_below_percentile": 0,
"clip_above_percentile": 100,
"color_map": "viridis",
"overlay_type": "grayscale"
}

L'immagine seguente è una visualizzazione XRAI che utilizza la mappa di colori viridis predefinita e una serie di tipi di overlay. Le aree in giallo indicano la maggiore regioni influenti che hanno contribuito positivamente alla previsione.

Una visualizzazione dell'attribuzione delle caratteristiche per l'attribuzione XRAI

Passaggi successivi

Puoi anche utilizzare lo strumento What-If per visualizzare le spiegazioni. Consulta le note di esempio per scoprire di più.