AI Explanations の制限事項

サービスから返された説明を検討する場合、次の制限事項に注意してください。詳細については、AI Explanations のホワイトペーパーをご覧ください。

特徴属性の意味と範囲

AI Explanations から提供される特徴属性を分析する際は、次の点に注意してください。

  • それぞれの属性は、特徴がそのサンプルの予測にどの程度影響を及ぼしたのかのみを示します。1 つの属性では、モデルの全体的な動作が反映されていない可能性があります。データセット全体に対するモデルのおおまかな動作を把握するには、データセット全体で属性を集計する必要があります。
  • 属性は、モデルとそのモデルのトレーニングに使用されるデータに完全に依存します。モデルがデータで見つけたパターンだけでは、データの基本的な関係を把握することはできません。つまり、特定の特徴に対して強い属性が存在するかどうかで、特徴と対象との関係性を判断することはできません。属性は、そのモデルが予測で特徴を使用しているかどうかを表すだけです。
  • 属性だけでは、モデルが公平で、偏りがなく、高品質かどうかはわかりません。属性だけでなく、トレーニング データセット、手順、評価指標を慎重に評価する必要があります。

特徴属性の改善

次の要素は、特徴属性に最も大きな影響を与えます。

  • アトリビューション方式では Shapley 値の近似値を計算します。近似の精度を上げるには、以下を行います。

    • 統合勾配方式または XRAI 方式の積分ステップ数を増やす。
    • サンプリングされた Shapley 方式の積分経路の数を増やす。

    その結果、属性が大きく変化する可能性があります。

  • 特徴属性は、指定したベースライン値を基準として、その特徴が予測値の変化にどの程度影響を及ぼしたかのみを示します。モデルに対する質問に関連する、有意なベースラインを選択するようにしてください。ベースラインを切り替えると、属性の値とその解釈が大きく変わることがあります。

  • 統合勾配と XRAI の場合、2 つのベースラインを使用すると結果が向上します。たとえば、完全に黒の画像と完全に白の画像を表すベースラインを指定できます。

画像データの制限

統合勾配と XRAI の 2 つのアトリビューション方式が、画像データに対応しています。

統合勾配は、コントラストに関係なく画像内の重要な領域をハイライト表示するピクセルベースのアトリビューション方式で、X 線などの非自然画像に最適です。ただし、出力が詳細な場合に、領域の相対的な重要度の評価が難しくなる場合があります。デフォルトの出力では、画像内で高い正の属性を持つ領域の輪郭が描画されることでハイライト表示されます。この輪郭はランク付けされておらず、複数の物体をまたがることがあります。

XRAI は、複数の物体を含む、自然で高コントラストの画像に最適です。この方式では、リージョンベースの属性が生成されます。画像分類で最も顕著な領域のより滑らかな、人間が読める形のヒートマップが生成されます。

現在、XRAI は次のタイプの画像入力ではうまく機能しません。

  • X 線など、モノクロ色調で低コントラストの画像。
  • パノラマなど、高さや幅が非常に大きな画像。
  • 非常に大きな画像。全体のランタイムが遅くなる可能性があります。