Visualisierungseinstellungen für die AutoML-Bildklassifizierung konfigurieren

Vertex Explainable AI bietet integrierte Visualisierungsfunktionen für Ihre Bilddaten. Sie können Visualisierungen für AutoML-Bildklassifizierungsmodelle konfigurieren.

Wenn Sie eine Erläuterung zu einem Bildklassifizierungsmodell anfordern, erhalten Sie die vorhergesagte Klasse zusammen mit einem Bild-Overlay, das zeigt, welche Pixel (integrierte Gradienten) oder Regionen (integrierte Gradienten oder XRAI) zur Vorhersage beigetragen haben.

Die folgenden Bilder zeigen Visualisierungen im Bild eines Huskys. In der linken Visualisierung werden die Methode integrierter Gradienten verwendet und Bereiche mit positiver Attribution hervorgehoben. Bei der rechten Visualisierung wird eine XRAI-Methode mit einem Farbverlauf genutzt, der Bereiche mit geringerem (blau) und größerem (gelb) Einfluss auf eine positive Vorhersage angibt.

Eine Visualisierung der Featurezuordnung eines Huskys mithilfe integrierter Farbverläufe
Visualisierung einer Featurezuordnung eines Huskys mithilfe von XRAI

Der Datentyp, mit dem Sie arbeiten, kann beeinflussen, ob Sie einen integrierten Farbverlauf oder einen XRAI-Ansatz zur Visualisierung Ihrer Erklärungen verwenden.

  • XRAI funktioniert in der Regel besser mit natürlichen Bildern und bietet eine ausführlichere Zusammenfassung der Erkenntnisse, zum Beispiel, dass positive Zuordnung mit der Gesichtsform eines Hundes in Zusammenhang steht.
  • Integrierte Farbverläufe liefern normalerweise Details auf Pixelebene und sind nützlich, um detailliertere Zuordnungen aufzudecken.

Weitere Informationen zu Attributionsmethoden finden Sie auf der Übersichtsseite zu Vertex Explainable AI.

Erste Schritte

Sie konfigurieren eine Visualisierung, wenn Sie ein AutoML-Modell trainieren, das Vertex Explainable AI unterstützt, und Erläuterungen beim Bereitstellen des Modells aktivieren.

Visualisierungsoptionen

Die Standardeinstellungen und die empfohlenen Einstellungen hängen von der Zuordnungsmethode, d. h. integrierte Farbverläufe oder XRAI ab. In der folgenden Liste werden Konfigurationsoptionen und ihre Verwendung erläutert. Eine vollständige Liste der Optionen finden Sie in der API-Referenz zur Visualization-Nachricht.

  • type: Der Typ der verwendeten Visualisierung: OUTLINES oder PIXELS. Nutzen Sie dieses Feld nur, wenn Sie integrierte Gradienten verwenden. Sie können es nicht ausfüllen, wenn Sie XRAI verwenden.

    Bei integrierten Gradienten ist für das Feld standardmäßig OUTLINES festgelegt. Damit werden Regionen der Attribution angezeigt. Um die Attribution pro Pixel darzustellen, legen Sie für das Feld den Wert PIXELS fest.

  • polarity: Die Ausrichtung der hervorgehobenen Attributionen. positive ist standardmäßig festgelegt. Dadurch werden Bereiche mit den höchsten positiven Zuordnungen hervorgehoben. Dies bedeutet, dass Pixel hervorgehoben werden, die für die positive Vorhersage des Modells am wichtigsten waren. Wenn Sie die Polarität auf negative festlegen, werden Bereiche hervorgehoben, die dazu führen, dass das Modell die positive Klasse nicht vorhersagt. Die Verwendung einer negativen Polarität kann für die Fehlerbehebung in Ihrem Modell nützlich sein, da falsch negative Regionen identifiziert werden. Sie können für die Polarität auch both festlegen, um positive wie negative Attributionen darzustellen.

  • clip_percent_upperbound: Schließt Attributionen oberhalb des angegebenen Perzentils aus den markierten Bereichen aus. Die Verwendung der Clipparameter kann hilfreich sein, um Rauschen herauszufiltern und Bereiche mit starker Zuordnung leichter zu erkennen.

  • clip_percent_lowerbound: Schließt Attributionen unterhalb des angegebenen Perzentils aus den markierten Bereichen aus.

  • color_map: Das für die markierten Bereiche verwendete Farbschema. Die Standardeinstellung für integrierte Farbverläufe ist pink_green, bei denen positive Zuordnungen grün und negative Zuordnungen pink angezeigt werden. Bei XRAI-Visualisierungen ist die Farbkarte ein Farbverlauf. Der XRAI-Standardwert ist viridis, der die einflussreichsten Regionen gelb und die am wenigsten beeinflussenden blau hervorhebt.

    Eine vollständige Liste der möglichen Werte finden Sie in der API-Referenz zur Visualization-Nachricht.

  • overlay_type: Visualisierungsart des Originalbilds. Das Anpassen des Overlays kann die visuelle Klarheit verbessern, wenn das Originalbild die Visualisierung erschwert.

    Eine vollständige Liste der möglichen Werte finden Sie in der API-Referenz zur Visualization-Nachricht.

Beispielkonfigurationen

Für den Einstieg finden Sie im Folgenden Beispiele für Visualization-Konfigurationen, die Sie als Ausgangspunkt verwenden können, sowie Bilder, die eine Reihe von angewendeten Einstellungen veranschaulichen.

Integrierte Gradienten

Bei integrierten Farbverläufen müssen Sie möglicherweise die Clipwerte anpassen, wenn die Zuordnungsbereiche zu viel Rauschen enthalten.

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

Unten sehen Sie zwei Visualisierungen, die beide Typen outlines und pixels verwenden. Die Spalten "Highly predictive only", "Moderately predictive" und "Almost all" sind Beispiele für Clips auf verschiedenen Ebenen, die bei der Visualisierung helfen können.

Eine Visualisierung der Featurezuordnung mit Umrissen für die Zuordnung von integriertem Farbverlauf

Eine Visualisierung der Featurezuordnung mit Pixeln für die Zuordnung von integriertem Farbverlauf

XRAI

Für XRAI-Visualisierungen empfehlen wir, nicht mit Clipwerten für XRAI zu beginnen, da das Overlay einen Farbverlauf verwendet, um Bereiche mit hoher und niedriger Zuordnung anzuzeigen.

visualization: {
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

Das Bild unten ist eine XRAI-Visualisierung mit der Standard-Viridis-Farbkarte und einer Reihe von Overlay-Typen. Die gelben Bereiche kennzeichnen die einflussreichsten Regionen, die positiv zur Vorhersage beigetragen haben.

Eine Visualisierung der Feature-Attribution für die XRAI-Attribution

Nächste Schritte

  • Verwenden Sie Erläuterungen abrufen, um Vorhersagen mit Erläuterungen von Ihrem Modell zu erhalten.
  • Weitere Informationen zur Verbesserung der Vertex Explainable AI-Ergebnisse für AutoML-Bildklassifizierungsmodelle finden Sie unter Erläuterungen verbessern.