서비스에서 반환된 설명을 사용하려면 다음과 같은 높은 등급의 제한사항에 유의해야 합니다. 자세한 내용은 AI Explainability 백서를 참조하세요.
특성 기여 분석의 의미와 범위
AI Explanations에서 제공된 특성 기여도를 분석할 때는 다음을 고려하세요.
- 각 기여 분석은 특정 예시에 대해 특성이 예측에 영향을 미친 정도를 나타냅니다. 단일 기여 분석은 모델의 전체 동작을 반영하지 않을 수 있습니다. 전체 데이터세트의 전반적인 모델 동작을 이해하려면 전체 데이트세트에 대한 기여 분석을 집계하세요.
- 기여 분석은 모델을 학습시키는 데 사용되는 모델 및 데이터에 전적으로 의존합니다. 이 기여 분석은 모델이 데이터에서 찾아내는 패턴에는 영향을 미치지만 데이터에서 근본적인 관계를 밝히지는 못합니다. 따라서 특정한 특성에 대해 강력한 기여가 존재하는지 여부가 해당 특성과 타겟 간에 관계가 있는지 여부를 나타내는 것을 아닙니다. 기여 분석은 모델이 예측에 특성을 사용 중인지 여부만 나타냅니다.
- 기여 분석만으로는 모델이 공평하고 편향되지 않으며 품질을 신뢰할 수 있는지 여부를 알 수 없습니다. 기여 분석 외에 학습 데이터세트, 절차, 평가 측정항목을 신중하게 평가해야 합니다.
특성 기여 분석 개선
특성 기여 분석에 가장 큰 영향을 미치는 요소는 다음과 같습니다.
기여 분석 방법은 Shapley 값의 근사치를 계산합니다. 다음과 같은 방법으로 근사치의 정밀도를 높일 수 있습니다.
- 통합 경사 또는 XRAI 방법의 적분 단계 수를 늘립니다.
- 샘플링된 Shapley 방법의 적분로 수를 늘립니다.
결과적으로 기여 분석 결과가 크게 달라질 수 있습니다.
기여 분석은 기준 값을 기준으로 특성이 예측 값의 변경에 얼마나 영향을 주었는지만 표시합니다. 따라서 모델에 물어보려는 질문과 관련된 의미있는 기준을 신중하게 선택해야 합니다. 기준 값을 전환하면 기여 분석 값과 그 해석이 크게 변경될 수 있습니다.
통합 경사 및 XRAI의 경우 두 기준을 사용하면 결과를 개선할 수 있습니다. 예를 들어 완전히 검은 이미지와 완전히 흰 이미지를 나타내는 기준을 지정할 수 있습니다.
이미지 데이터의 제한 사항
이미지 데이터를 지원하는 두 가지 기여 분석 방법은 통합 경사와 XRAI입니다.
통합 경사는 픽셀 기반의 기여 분석 방법으로, 대비에 관계없이 이미지의 중요한 영역을 강조하므로 X레이와 같이 자연적이지 않은 이미지에 적합합니다. 그러나 세밀한 출력으로 인해 각 영역의 상대적 중요성을 평가하기가 어려울 수 있습니다. 기본 출력은 윤곽선을 그려 이미지에서 긍정적인 기여도가 높은 영역을 강조하지만, 이러한 윤곽선은 순위가 없고 여러 객체에 걸쳐 표시될 수 있습니다.
XRAI는 여러 객체가 포함된 자연스럽고 대비가 높은 이미지에서 가장 잘 작동합니다. 이 방법은 지역 기반의 기여 분석을 생성하므로 지정된 이미지 분류에서 가장 두드러진 지역에 대해 더 부드럽고 사람이 알아보기 편한 히트맵을 생성합니다.
현재 XRAI는 다음 유형의 이미지 입력에서 잘 작동하지 않습니다.
- X레이와 같이 한 가지 명암으로 된 대비가 낮은 이미지
- 파노라마와 같이 상하 또는 좌우로 긴 이미지
- 매우 큰 이미지. 이 경우 전체적인 런타임이 느려질 수 있습니다.