AI Explanations 的局限性

在考虑该服务返回的说明时，您应该牢记这些高层级限制。如需了解深入的说明，请参阅 AI 可解释性白皮书。

特征归因的含义和适用范围

在分析 AI Explanations 提供的特征归因时，请考虑以下几点事项：

  • 每个归因只会反映特征对该特定样本的预测结果的影响程度。单一归因可能无法反映模型的总体行为。如需了解模型在处理整个数据集方面的大致行为，请对整个数据集进行归因汇总。
  • 归因完全取决于模型以及用于训练该模型的数据。它们只能指出模型在数据中发现的模式，而无法检测到数据中的任何基本关系。因此，某个特征是否存在强有力的归因并不意味着该特征与目标之间是否存在关联。归因只是表明模型是否在其预测中使用该特征。
  • 您不能仅凭归因，就判断模型是否公平、无偏差或可靠。除了相应归因之外，您还要仔细评估训练数据集、过程和评估指标。

改善特征归因

以下因素对特征归因的影响最大：

  • 归因方法只会大致估计 Shapley 值。您可以通过以下方式提高估值的精确度：

    • 增加积分梯度或 XRAI 方法的积分步数。
    • 增加采样 Shapley 方法的积分路径数。

    因此，归因可能会发生巨大变化。

  • 归因只能表明相对于基准值，特征对预测值变化的影响程度。在为模型选择基准时，请确保该基准与您询问的问题相关且有意义。 归因值及其解释可能会随着基准的改变而发生显著变化。

  • 针对积分梯度和 XRAI 使用两个基准可以改善结果。例如，您可以指定不同基准来表示全黑图片和全白图片。

图片数据的限制

积分梯度和 XRAI 是支持图片数据的两种归因方法。

积分梯度是一种基于像素的归因方法，该方法会突出显示图片中的重要区域（无论对比度如何），因此非常适合非自然图片（如 X 光）。但是，输出细化可能导致难以评估区域的相对重要性。默认输出会通过绘制轮廓线突出显示图片中具有较高正向归因的区域，但这些轮廓线不会进行排序，并且可能跨越对象。

XRAI 最适合包含多个对象的高对比度自然图片。 由于这种方法生成基于区域的归因，因此它可以生成更为人性化且更加方便的区域热度图，这些区域对于某一指定图片分类而言最为突出。

目前，XRAI 对以下类型的图片输入无效。

  • 低对比度图片（如 X 光）。
  • 非常高或非常宽的图片，例如全景图。
  • 非常大的图片，这种图片可能会降低整体运行时间。