Configurare le impostazioni di visualizzazione per la classificazione delle immagini AutoML

Vertex Explainable AI fornisce funzionalità di visualizzazione integrate per i dati delle immagini. Puoi configurare le visualizzazioni per la classificazione delle immagini AutoML di grandi dimensioni.

Quando richiedi una spiegazione su un modello di classificazione delle immagini, classe prevista insieme a un overlay immagine che mostra quali pixel (gradienti integrati) o regioni (gradienti integrati o XRAI) hanno contribuito a la previsione.

Le seguenti immagini mostrano le visualizzazioni su un'immagine husky. A sinistra utilizza il metodo dei gradienti integrati ed evidenzia le aree un'attribuzione positiva. La visualizzazione corretta utilizza un metodo XRAI con un gradiente di colore che indica le aree di influenza minore (blu) e maggiore (giallo) per fare una previsione positiva.

Visualizzazione dell'attribuzione delle caratteristiche di un husky che utilizza la versione integrata gradienti
Visualizzazione dell'attribuzione delle caratteristiche di un husky utilizzando l'XRAI

Il tipo di dati con cui lavori può influire sull'utilizzo o meno di una i gradienti integrati o l'approccio XRAI per visualizzare le spiegazioni.

  • XRAI tende a funzionare meglio con le immagini naturali e fornisce un miglior riepilogo di informazioni di alto livello, ad esempio mostrando che l'attribuzione positiva è correlata alla forma del muso di un cane.
  • I gradienti integrati (IG) tendono a fornire dettagli a livello di pixel è utile per scoprire attribuzioni più granulari.

Scopri di più sui metodi di attribuzione in Vertex Explainable AI Pagina Panoramica.

Per iniziare

Configura la visualizzazione addestrare un modello AutoML che supporti Vertex Explainable AI e abilitare le spiegazioni quando esegui il deployment del modello.

Opzioni di visualizzazione

Le impostazioni predefinite e consigliate dipendono dal metodo di attribuzione (gradienti integrati o XRAI). Il seguente elenco descrive la configurazione le opzioni disponibili e come utilizzarle. Per un elenco completo delle opzioni, consulta il riferimento all'API per il messaggio Visualization.

  • type: il tipo di visualizzazione utilizzato: OUTLINES o PIXELS. Specifica solo questo campo se utilizzi gradienti integrati. non puoi specificarlo utilizzano gli XRAI.

    Per i gradienti integrati, il campo predefinito è OUTLINES, che mostra regioni di attribuzione. Per mostrare l'attribuzione per pixel, imposta il campo su PIXELS.

  • polarity: l'andamento delle attribuzioni evidenziate. positive è impostato per impostazione predefinita e mette in evidenza le aree con le attribuzioni positive più elevate. Ciò significa evidenziare i pixel che hanno avuto maggiore influenza sulla previsione positiva del modello. L'impostazione della polarità su negative evidenzia le aree che inducono il modello a non predire la classe positiva. L'uso della polarità negativa può essere utile per: il debug del modello identificando le regioni con falsi negativi. Puoi anche impostare la polarizzazione su both per visualizzare le attribuzioni positive e negative.

  • clip_percent_upperbound: esclude le attribuzioni al di sopra del percentile specificato dalle aree evidenziate. Può essere utile usare insieme i parametri dei clip per filtrare il rumore e semplificare la visualizzazione delle aree con l'attribuzione dei contenuti.

  • clip_percent_lowerbound: esclude le attribuzioni al di sotto del percentile specificato dalle aree evidenziate.

  • color_map: la combinazione di colori utilizzata per le aree evidenziate. Il valore predefinito è pink_green per i gradienti integrati, che mostra attribuzioni positive in verde e negativo in rosa. Per le visualizzazioni XRAI, la mappa colori gradiente. L'impostazione predefinita di XRAI è viridis, che evidenzia le regioni più significative in giallo e le meno significative in blu.

    Per un elenco completo dei valori possibili, consulta il riferimento all'API per il messaggioVisualization.

  • overlay_type: come appare l'immagine originale nella visualizzazione. La modifica dell'overlay può contribuire ad aumentare la nitidezza visiva se l'immagine originale complica la visualizzazione.

    Per un elenco completo dei valori possibili, consulta il riferimento all'API per il messaggioVisualization.

Configurazioni di esempio

Per iniziare, di seguito sono riportate configurazioni Visualization di esempio che puoi utilizzare come punto di partenza e immagini che mostrano una serie di impostazioni applicate.

Gradienti integrati

Per le sfumature integrate, potrebbe essere necessario regolare i valori del clip se aree di attribuzione sono troppo rumorose.

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

Di seguito sono riportate due visualizzazioni che utilizzano entrambi i tipi outlines e pixels. Le colonne etichettate come "Solo altamente predittivo", "Moderatamente predittivo" e "Quasi tutti" sono esempi di clip a diversi livelli che possono aiutarti a focalizzare la visualizzazione.

Visualizzazione dell'attribuzione delle funzionalità con contorni per l'attribuzione IG

Un'attribuzione delle caratteristiche con pixel per l'attribuzione IG

XRAI

Per le visualizzazioni XRAI, ti consigliamo di iniziare senza valori di clip per XRAI perché l'overlay utilizza un gradiente per mostrare le aree di attribuzione alta e bassa.

visualization: {
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

L'immagine seguente è una visualizzazione XRAI che utilizza la mappa di colori viridis predefinita e una serie di tipi di overlay. Le aree in giallo indicano la maggiore regioni influenti che hanno contribuito positivamente alla previsione.

Una visualizzazione dell'attribuzione delle funzionalità per l'attribuzione XRAI

Passaggi successivi

  • Utilizza la sezione Generare spiegazioni per ottenere predizioni con spiegazioni dal tuo modello.
  • Per maggiori dettagli su come migliorare i risultati di Vertex Explainable AI per AutoML per la classificazione delle immagini, lettura Migliorare le spiegazioni.