可视化图片数据的说明

AI Explanations 内置可视化功能以用于处理图片数据。如果您请求对配置了可视化效果的图片分类模型进行说明,您会得到预测的类以及一个叠加图层,其中显示哪些像素或区域有助于预测。

下图显示哈士奇图片上的可视化效果。左侧的可视化效果使用的是积分梯度方法,并突出显示了正向归因的区域。右侧的可视化效果使用 XRAI 方法,并用渐变颜色表示进行正向预测时影响较小(蓝色)和影响较大(黄色)的区域。

使用积分梯度的哈士奇特征归因可视化效果
使用 XRAI 的哈士奇特征归因可视化效果

您使用的数据类型会影响您是使用积分梯度还是 XRAI 方法来可视化说明。

  • XRAI 更适合自然图片,并且可提供更简洁的数据洞见总结,例如表明正向归因与狗的脸形有关。
  • 积分梯度 (IG) 可提供像素级的详细信息,有助于发现更精确的归因。

请参阅 AI Explanations“概览”页,详细了解归因方法。

使用入门

每个模型都配置了可视化效果作为说明元数据文件的一部分。

要为模型添加新的可视化效果,请在要进行可视化的 inputs 对象中添加一个 visualization 对象。在 visualization 对象中,您可以添加一些选项,例如所用的叠加层类型、突出显示哪些归因、颜色等等。所有设置都是可选的。

要使用相同的模型创建其他可视化效果,请更新 explanation_metadata.json 文件中的设置并重新部署模型

可视化选项

默认设置和推荐设置取决于归因方法(积分梯度或 XRAI)。以下是配置选项列表以及如何使用这些选项。如需查看选项值的完整列表,请参阅 API 参考

  • type:所使用的可视化类型。对于积分梯度,Outlines 为默认设置,并显示归因区域,而 Pixels 显示每像素归因。对于 XRAI,Pixels 为默认设置,并显示归因区域。不建议对 XRAI 使用 Outlines
  • polarity:突出显示的归因的方向性。positive 是默认设置,突出显示正向归因最高的区域。这意味着突出显示对模型的正向预测影响最大的像素。将 polarity 设置为 negative 会突出显示导致模型不预测正类别的区域。使用负 polarity 有助于通过识别假负例区域来调试模型。您还可以将 polarity 设置为 both,以显示正向和负向归因。
  • clip_above_percentile:从突出显示的区域中排除高于指定百分位的归因。结合使用 clip 参数有助于过滤掉干扰内容,以便更轻松地查看强归因的区域。
  • clip_below_percentile:从突出显示的区域中排除低于指定百分比的归因。
  • color_map:用于突出显示的区域的配色方案。积分梯度的默认值为 pink_green,绿色表示正向归因,粉红色表示负向归因。对于 XRAI 可视化,色表是渐变的。XRAI 默认值为 viridis,影响最大的区域以黄色突出显示,影响最小的区域以蓝色突出显示。
  • overlay_type:原始图片在可视化效果中的显示方式。如果原始图片加大了查看可视化效果的难度,则调整叠加层有助于提高视觉清晰度。

配置示例

首先,请参阅下面的示例 visualization 对象(您可以从此入手)以及显示已应用的一系列设置的图片。

积分梯度

对于积分梯度,如果归因区域过于杂乱,您可能需要调整裁剪值。

visualization: {
"type": "Outlines", # Can also use "Pixels"
"polarity": "positive",
"clip_below_percentile": 70,
"clip_above_percentile": 99.9,
"color_map": "pink_green",
"overlay_type": "grayscale"
}

以下是同时使用 OutlinesPixels 类型的两种可视化效果。标记为“仅限高预测性”“中等预测性”和“几乎所有”的列是不同裁剪级别的示例,这些裁剪有助于聚焦可视化效果。

使用 IG 归因轮廓的特征归因可视化效果

使用 IG 归因像素的特征归因可视化效果

XRAI

对于 XRAI 可视化,我们建议首先不要调整 XRAI 的裁剪值,因为叠加层以渐变方式显示高归因和低归因的区域。

visualization: {
"type": "Pixels", # Only valid option for XRAI
"polarity": "positive",
"clip_below_percentile": 0,
"clip_above_percentile": 100,
"color_map": "viridis",
"overlay_type": "grayscale"
}

下图是使用默认的翠绿色色表和一系列叠加层类型的 XRAI 可视化效果。黄色区域表示对预测产生正向影响最大的区域。

XRAI 归因的特征归因可视化效果

后续步骤

您还可以使用 What-If 工具来可视化您的说明。如需了解详情,请参阅示例笔记本