Configurare le impostazioni di visualizzazione per la classificazione delle immagini AutoML

Vertex Explainable AI fornisce funzionalità di visualizzazione integrate per i dati delle immagini. Puoi configurare le visualizzazioni per i modelli di classificazione delle immagini AutoML.

Quando richiedi una spiegazione su un modello di classificazione delle immagini, ottieni la classe prevista insieme a un overlay immagine che mostra quali pixel (gradienti integrati) o regioni (gradienti integrati o XRAI) hanno contribuito alla previsione.

Le seguenti immagini mostrano le visualizzazioni su un'immagine di un husky. La visualizzazione a sinistra utilizza il metodo dei gradienti integrati ed evidenzia le aree di attribuzione positiva. La visualizzazione a destra utilizza un metodo XRAI con un gradiente di colore che indica le aree di influenza minore (blu) e maggiore (giallo) nel fare una previsione positiva.

Visualizzazione dell'attribuzione delle caratteristiche di un husky utilizzando i gradienti integrati
Visualizzazione dell'attribuzione delle caratteristiche di un husky utilizzando XRAI

Il tipo di dati con cui lavori può influire sulla scelta tra un approccio basato sui gradienti integrati o su XRAI per visualizzare le spiegazioni.

  • XRAI tende a funzionare meglio con le immagini naturali e fornisce un riepilogo di alto livello degli approfondimenti, ad esempio mostrando che l'attribuzione positiva è correlata alla forma del muso di un cane.
  • I gradienti integrati (GI) tendono a fornire dettagli a livello di pixel ed è utile per scoprire attribuzioni più granulari.

Scopri di più sui metodi di attribuzione nella pagina Panoramica di Vertex Explainable AI.

Per iniziare

Configura la visualizzazione quando addestri un modello AutoML che supporta Vertex Explainable AI e attivi le spiegazioni quando esegui il deployment del modello.

Opzioni di visualizzazione

Le impostazioni predefinite e consigliate dipendono dal metodo di attribuzione (gradienti integrati o XRAI). L'elenco seguente descrive le opzioni di configurazione e come potresti utilizzarle. Per un elenco completo delle opzioni, consulta i riferimenti per l'API per il messaggio Visualization.

  • type: il tipo di visualizzazione utilizzato: OUTLINES o PIXELS. Specifica questo campo solo se utilizzi gradienti integrati; non puoi specificarlo se utilizzi XRAI.

    Per i gradienti integrati, il campo è impostato per impostazione predefinita su OUTLINES, che mostra le regioni di attribuzione. Per mostrare l'attribuzione per pixel, imposta il campo su PIXELS.

  • polarity: La direzionalità delle attribuzioni evidenziate. positive è impostato per impostazione predefinita, il che evidenzia le aree con le attribuzioni positive più elevate. Ciò significa evidenziare i pixel che hanno influito maggiormente sulla previsione positiva del modello. Se imposti la polarità su negative, vengono evidenziate le aree che portano il modello a non prevedere la classe positiva. L'utilizzo di una polarità negativa può essere utile per eseguire il debug del modello identificando le regioni di falsi negativi. Puoi anche impostare la polarità su both, che mostra le attribuzioni positive e negative.

  • clip_percent_upperbound: Esclude le attribuzioni al di sopra del percentile specificato dalle aree evidenziate. L'utilizzo combinato dei parametri del clip può essere utile per escludere il rumore e semplificare la visualizzazione delle aree di attribuzione significativa.

  • clip_percent_lowerbound: Esclude le attribuzioni al di sotto del percentile specificato dalle aree evidenziate.

  • color_map: La combinazione di colori utilizzata per le aree evidenziate. Il valore predefinito è pink_green per i gradienti integrati, e mostra le attribuzioni positive in verde e quelle negative in rosa. Per le visualizzazioni XRAI, la mappa dei colori è un gradiente. L'impostazione predefinita di XRAI è viridis che evidenzia le regioni più significative in giallo e le meno significative in blu.

    Per un elenco completo dei valori possibili, consulta i riferimenti per l'API del messaggio Visualization.

  • overlay_type: Come appare l'immagine originale nella visualizzazione. Se modifichi l'overlay, puoi migliorare la nitidezza visiva se l'immagine originale rende difficile la visualizzazione.

    Per un elenco completo dei valori possibili, consulta i riferimenti per l'API del messaggio Visualization.

Configurazioni di esempio

Per iniziare, ecco alcune configurazioni Visualization che puoi utilizzare come punto di partenza e immagini che mostrano una serie di impostazioni applicate.

Gradienti integrati

Per i gradienti integrati, potrebbe essere necessario modificare i valori di ritaglio se le aree di attribuzione sono troppo rumorose.

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

Di seguito sono riportate due visualizzazioni che utilizzano i tipi outlines e pixels. Le colonne etichettate "Solo altamente predittive", "Moderatamente predittive" e "Quasi tutte" sono esempi di troncamento a diversi livelli che possono aiutarti a mettere a fuoco la visualizzazione.

Visualizzazione dell'attribuzione delle caratteristiche con contorni per l'attribuzione IG

Una visualizzazione dell'attribuzione delle caratteristiche con pixel per l'attribuzione IG

XRAI

Per le visualizzazioni XRAI, ti consigliamo di iniziare senza valori di ritaglio per XRAI perché l'overlay utilizza un gradiente per mostrare le aree di attribuzione alta e bassa.

visualization: {
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

L'immagine seguente è una visualizzazione XRAI che utilizza la mappa dei colori viridis predefinita e una gamma di tipi di overlay. Le aree in giallo indicano le regioni più significative che hanno contribuito positivamente alla previsione.

Una visualizzazione dell'attribuzione delle caratteristiche per l'attribuzione XRAI

Passaggi successivi

  • Utilizza Ottenere spiegazioni per ottenere previsioni con spiegazioni dal tuo modello.
  • Per informazioni dettagliate su come migliorare i risultati di Vertex Explainable AI per i modelli di classificazione delle immagini AutoML, leggi Migliorare le spiegazioni.