Erläuterungen für Bilddaten visualisieren

AI Explanations bietet integrierte Visualisierungsfunktionen für Ihre Bilddaten. Wenn Sie eine Erklärung für ein Bildklassifizierungsmodell mit einer konfigurierten Visualisierung anfordern, erhalten Sie die vorhergesagte Klasse zusammen mit einem Bild-Overlay, das zeigt, welche Pixel oder Regionen zur Vorhersage beigetragen haben.

Die folgenden Bilder zeigen Visualisierungen auf einem Husky-Bild. In der linken Visualisierung wird die integrierte Farbverlaufsmethode verwendet und Bereiche mit positiver Zuordnung hervorgehoben. Bei der rechten Visualisierung wird eine XRAI-Methode mit einem Farbverlauf verwendet, der Bereiche mit geringerem (blau) und größerem (gelb) Einfluss auf eine positive Vorhersage anzeigt.

Eine Visualisierung der Featurezuordnung eines Huskys mithilfe integrierter Farbverläufe
Visualisierung einer Featurezuordnung eines Huskys mithilfe von XRAI

Der Datentyp, mit dem Sie arbeiten, kann beeinflussen, ob Sie einen integrierten Farbverlauf oder einen XRAI-Ansatz zur Visualisierung Ihrer Erklärungen verwenden.

  • XRAI funktioniert in der Regel besser mit natürlichen Bildern und bietet eine ausführlichere Zusammenfassung der Erkenntnisse, zum Beispiel, dass positive Zuordnung mit der Gesichtsform eines Hundes in Zusammenhang steht.
  • Integrierte Farbverläufe liefern normalerweise Details auf Pixelebene und sind nützlich, um detailliertere Zuordnungen aufzudecken.

Weitere Informationen zu den Zuordnungsmethoden finden Sie auf der Übersichtsseite von AI Explanations.

Einstieg

Visualisierungen werden pro Modell als Teil der Erklärungsmetadatendatei konfiguriert.

Fügen Sie für eine neue Visualisierung für Ihr Modell ein visualization-Objekt in das inputs-Objekt ein, das Sie visualisieren möchten. Im visualization-Objekt können Sie Optionen wie den Typ des verwendeten Overlays, die hervorgehobenen Zuordnungen, die Farbe und mehr hinzufügen. Alle Einstellungen sind optional.

Zur Erstellung einer weiteren Visualisierung mit demselben Modell aktualisieren Sie die Einstellungen in der Datei explanation_metadata.json und stellen das Modell neu bereit.

Visualisierungsoptionen

Die Standardeinstellungen und die empfohlenen Einstellungen hängen von der Zuordnungsmethode, d. h. integrierte Farbverläufe oder XRAI ab. Im Folgenden finden Sie eine Liste der Konfigurationsoptionen und ihrer Verwendungsmöglichkeiten. Eine vollständige Liste der Optionswerte finden Sie in der API-Referenz.

  • type: Der verwendete Visualisierungstyp. Bei integrierten Farbverläufen wird Outlines standardmäßig festgelegt und zeigt Regionen mit Zuordnung, während Pixels die Zuordnung pro Pixel zeigt. Bei XRAI ist Pixels die Standardeinstellung und zeigt Zuordnungsbereiche. Outlines wird für XRAI nicht empfohlen.
  • polarity: Die Ausrichtung der hervorgehobenen Zuordnungen. positive ist standardmäßig festgelegt. Dadurch werden Bereiche mit den höchsten positiven Zuordnungen hervorgehoben. Dies bedeutet, dass Pixel hervorgehoben werden, die für die positive Vorhersage des Modells am wichtigsten waren. Wenn Sie die Polarität auf negative festlegen, werden Bereiche hervorgehoben, die dazu führen, dass das Modell die positive Klasse nicht vorhersagt. Die Verwendung einer negativen Polarität kann für die Fehlerbehebung in Ihrem Modell nützlich sein, da falsch negative Regionen identifiziert werden. Sie können auch die Polarität auf both festlegen, um positive und negative Zuordnungen anzusehen.
  • clip_above_percentile: Schließt Zuordnungen oberhalb des angegebenen Perzentils aus den markierten Bereichen aus. Die Verwendung der Clipparameter kann hilfreich sein, um Rauschen herauszufiltern und Bereiche mit starker Zuordnung leichter zu erkennen.
  • clip_below_percentile: Schließt Zuordnungen unterhalb des angegebenen Perzentils aus den markierten Bereichen aus.
  • color_map: Das für die markierten Bereiche verwendete Farbschema. Die Standardeinstellung für integrierte Farbverläufe ist pink_green, bei denen positive Zuordnungen grün und negative Zuordnungen pink angezeigt werden. Bei XRAI-Visualisierungen ist die Farbkarte ein Farbverlauf. Der XRAI-Standardwert ist viridis, der die einflussreichsten Regionen gelb und die am wenigsten beeinflussenden blau hervorhebt.
  • overlay_type: Visualisierungsart des Originalbilds. Das Anpassen des Overlays kann die visuelle Klarheit verbessern, wenn das Originalbild die Visualisierung erschwert.

Beispielkonfigurationen

Im Folgenden finden Sie Beispiele für visualization-Objekte, die Sie als Ausgangspunkt verwenden können, sowie Bilder, die eine Reihe von angewendeten Einstellungen zeigen.

Integrierte Gradienten

Bei integrierten Farbverläufen müssen Sie möglicherweise die Clipwerte anpassen, wenn die Zuordnungsbereiche zu viel Rauschen enthalten.

visualization: {
"type": "Outlines", # Can also use "Pixels"
"polarity": "positive",
"clip_below_percentile": 70,
"clip_above_percentile": 99.9,
"color_map": "pink_green",
"overlay_type": "grayscale"
}

Unten sehen Sie zwei Visualisierungen, die beide Typen Outlines und Pixels verwenden. Die Spalten "Highly predictive only", "Moderately predictive" und "Almost all" sind Beispiele für Clips auf verschiedenen Ebenen, die bei der Visualisierung helfen können.

Eine Visualisierung der Featurezuordnung mit Umrissen für die Zuordnung von integriertem Farbverlauf

Eine Visualisierung der Featurezuordnung mit Pixeln für die Zuordnung von integriertem Farbverlauf

XRAI

Für XRAI-Visualisierungen empfehlen wir, nicht mit Clipwerten für XRAI zu beginnen, da das Overlay einen Farbverlauf verwendet, um Bereiche mit hoher und niedriger Zuordnung anzuzeigen.

visualization: {
"type": "Pixels", # Only valid option for XRAI
"polarity": "positive",
"clip_below_percentile": 0,
"clip_above_percentile": 100,
"color_map": "viridis",
"overlay_type": "grayscale"
}

Das Bild unten ist eine XRAI-Visualisierung mit der Standard-Viridis-Farbkarte und einer Reihe von Overlay-Typen. Die gelben Bereiche kennzeichnen die einflussreichsten Regionen, die positiv zur Vorhersage beigetragen haben.

Eine Visualisierung der Featurezuordnung für XRAI-Zuordnung

Nächste Schritte

Sie können Ihre Erklärungen auch mithilfe des What-If-Tools visualisieren. Weitere Informationen finden Sie in den Beispielnotebooks.