Visualizzazione delle spiegazioni per i dati delle immagini

Beta

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

AI Explanations offre funzionalità di visualizzazione integrate per i dati immagine. Quando richiedi una spiegazione su un modello di classificazione delle immagini con una visualizzazione configurata, ricevi la classe prevista insieme a un overlay immagine che mostra quali pixel o regioni hanno contribuito alla previsione.

Le immagini di seguito mostrano visualizzazioni su un'immagine husky. La visualizzazione a sinistra utilizza il metodo dei gradienti integrati ed evidenzia le aree di attribuzione positiva. La visualizzazione giusta utilizza un metodo XRAI con un gradiente di colore che indica aree di influenza minore (blu) e maggiore (giallo) nell'esecuzione di una previsione positiva.

Il tipo di dati con cui stai lavorando può influire sull'utilizzo di gradienti integrati o di un approccio XRAI per visualizzare le spiegazioni.

• L'XRAI tende a essere migliore con le immagini naturali e fornisce un riepilogo migliore di alto livello di informazioni, come dimostrando che l'attribuzione positiva è correlata alla forma del muso di un cane.
• I gradienti integrati (IG) tendono a fornire dettagli a livello di pixel ed sono utili per scoprire attribuzioni più granulari.

Scopri di più sui metodi di attribuzione nella pagina Panoramica di AI Explanations.

Per iniziare

Le visualizzazioni sono configurate per modello come parte del file di metadati spiegazione.

Per aggiungere una nuova visualizzazione per il modello, includi un oggetto visualization all'interno dell'oggetto inputs che vuoi visualizzare. Nell'oggetto visualization puoi includere opzioni quali il tipo di overlay utilizzato, le attribuzioni evidenziate, il colore e altro ancora. Tutte le impostazioni sono facoltative.

Per creare un'altra visualizzazione con lo stesso modello, aggiorna le impostazioni nel file explanation_metadata.json ed esegui nuovamente il deployment del modello.

Opzioni di visualizzazione

Le impostazioni predefinite e consigliate dipendono dal metodo di attribuzione (gradienti integrati o XRAI). Di seguito è riportato un elenco di opzioni di configurazione e come puoi utilizzarle. Per un elenco completo dei valori delle opzioni, consulta i riferimenti per le API.

• type: il tipo di visualizzazione utilizzato. Per i gradienti integrati, l'opzione Outlines è impostata per impostazione predefinita e mostra le regioni di attribuzione, mentre Pixels mostra l'attribuzione per pixel. Per XRAI, Pixels è l'impostazione predefinita e mostra le aree di attribuzione. Outlines non è consigliato per XRAI.
• polarity: la direzione delle attribuzioni evidenziate. L'impostazione predefinita positive evidenzia le aree con le attribuzioni positive più elevate. Ciò significa mettere in evidenza i pixel più influenti per la previsione positiva del modello. L'impostazione della polarità su negative evidenzia le aree che portano il modello a non prevedere la classe positiva. Usare una polarità negativa può essere utile per eseguire il debug del modello identificando regioni con falsi negativi. Puoi anche impostare la polarità su both, per mostrare le attribuzioni positive e negative.
• clip_above_percentile: esclude le attribuzioni superiori al percentile specificato dalle aree evidenziate. L'utilizzo combinato dei parametri dei clip può essere utile per filtrare il rumore e semplificare la visualizzazione delle aree di attribuzione forte.
• clip_below_percentile: esclude le attribuzioni al di sotto del percentile specificato dalle aree evidenziate.
• color_map: la combinazione di colori utilizzata per le aree evidenziate. Il valore predefinito è pink_green per i gradienti integrati e mostra le attribuzioni positive in verde e quelle negative in rosa. Per le visualizzazioni XRAI, la mappa colori è un gradiente. Il valore predefinito di XRAI è viridis, che evidenzia le regioni più influenti in giallo e le meno influenti in blu.
• overlay_type: come viene mostrata l'immagine originale nella visualizzazione. Se modifichi l'overlay, puoi aumentare la nitidezza visiva se l'immagine originale rende difficile la visualizzazione.

Configurazioni di esempio

Per iniziare, di seguito sono riportati alcuni oggetti visualization di esempio che puoi utilizzare come punto di partenza e immagini che mostrano una serie di impostazioni applicate.

Gradienti integrati

Per gradienti integrati, potrebbe essere necessario modificare i valori dei clip se le aree di attribuzione sono troppo rumorose.

visualization: {
"type": "Outlines", # Can also use "Pixels"
"polarity": "positive",
"clip_below_percentile": 70,
"clip_above_percentile": 99.9,
"color_map": "pink_green",
"overlay_type": "grayscale"
}

Di seguito sono riportate due visualizzazioni che utilizzano entrambi i tipi Outlines e Pixels. Le colonne etichettate come "Solo altamente predittivo", "Moderatamente predittivo" e "Quasi tutte" sono esempi di ritaglio a diversi livelli che possono aiutarti a perfezionare la visualizzazione.

XRAI

Per le visualizzazioni XRAI, ti consigliamo di iniziare senza alcun valore di clip per XRAI poiché l'overlay utilizza un gradiente per mostrare le aree di attribuzione alta e bassa.

visualization: {
"type": "Pixels", # Only valid option for XRAI
"polarity": "positive",
"clip_below_percentile": 0,
"clip_above_percentile": 100,
"color_map": "viridis",
"overlay_type": "grayscale"
}

L'immagine seguente è una visualizzazione XRAI che utilizza la mappa colori predefinita dei viridis e una serie di tipi di overlay. Le aree in giallo indicano le regioni più influenti che hanno contribuito positivamente alla previsione.

Passaggi successivi

Puoi anche utilizzare lo strumento What-If per visualizzare le spiegazioni. Per scoprire di più, consulta i blocchi note di esempio.