AI Explanations는 AI Platform 예측에 특징 기여 분석을 통합합니다. 이 페이지에서는 AI Platform Prediction에서 사용할 수 있는 특성 기여 분석 메서드의 개념을 간략히 설명합니다. 자세한 기술 논의는 AI Explanations 백서를 참조하세요.
AI Explanations는 분류 및 회귀 작업에서 모델 출력을 이해하는 데 도움이 됩니다. AI Platform에서 예측을 요청할 때마다 AI Explanations는 데이터의 각 특성이 예측 결과에 얼마나 기여했는지 알려줍니다. 이 정보를 사용하여 모델이 예상대로 작동하는지 확인하고 모델의 편향을 인식하며 모델 및 학습 데이터를 개선할 아이디어를 얻을 수 있습니다.
특성 기여 분석
특성 기여 분석은 모델의 각 특성이 각 인스턴스의 예측에 기여한 정도를 나타냅니다. 예측을 요청하면 예측 값이 모델에 적절하게 표시됩니다. 설명을 요청하면 특성 기여 분석 정보와 함께 예측이 표시됩니다.
특성 기여 분석은 표 데이터에서 작동하며 이미지 데이터에 내장된 시각화 기능을 포함합니다. 다음 예시를 고려하세요.
심층신경망은 날씨 데이터와 이전의 차량 공유 데이터를 기반으로 자전거 주행 시간을 예측하도록 학습됩니다. 이 모델에서 예측만 요청하면 예상 자전거 주행 시간이 분 단위로 표시됩니다. 설명을 요청하면 설명 요청의 각 특성에 대한 기여 분석 점수와 함께 자전거 여행 예상 시간이 표시됩니다. 기여 분석 점수는 지정한 기준 값을 기준으로 특성이 예측 값의 변경에 얼마나 영향을 주었는지 표시합니다. 모델에 적합한 의미 있는 기준을 선택합니다. 이 경우 자전거 주행 시간의 중앙값입니다. 특성 기여 점수를 플롯으로 나타내어 결과 예측에 가장 많이 기여한 특성을 확인할 수 있습니다.
이미지 분류 모델은 주어진 이미지가 개나 고양이를 포함하는지 예측하도록 학습됩니다. 이 모델에서 새로운 이미지 조합에 대한 예측을 요청하면 각 이미지에 대한 예측이 제공됩니다('강아지' 또는 '고양이'). 설명을 요청하면 이미지의 오버레이와 함께 예측 클래스가 생성되어 이미지의 어떤 픽셀이 결과 예측에 가장 많이 기여했는지를 알 수 있습니다.
특성 기여 분석 오버레이가 있는 고양이 사진 
특성 기여 분석 오버레이가 있는 강아지 사진 이미지 분류 모델은 이미지의 꽃 종을 예측하도록 학습됩니다. 이 모델에서 새로운 이미지 조합에 대한 예측을 요청하면 각 이미지에 대한 예측이 제공됩니다('데이지' 또는 '민들레'). 설명을 요청하면 이미지의 오버레이와 함께 예측 클래스가 생성되어 이미지의 어떤 부분이 결과 예측에 가장 많이 기여했는지를 알 수 있습니다.
특성 기여 분석 오버레이가 있는 데이지 사진
장점 및 사용 사례
특정 인스턴스를 검사하고 학습 데이터세트 전체에서 특성 기여 분석을 집계하면 모델 작동 방식에 대해 더 자세히 파악할 수 있습니다. 다음과 같은 장점과 사용 사례를 고려합니다.
- 디버깅 모델: 특성 기여 분석은 표준 모델 평가 기술이 일반적으로 놓칠 수 있는 데이터 문제를 감지하는 데 도움이 됩니다. 예를 들어 이미지 병리 모델은 흉부 X선 이미지의 테스트 데이터세트에서 의심스러운 양호 결과를 얻었습니다. 특성 기여 분석을 통해 모델의 높은 정확성이 이미지 내 방사선사의 펜 표시에 달려 있음이 드러났습니다.
- 모델 최적화: 덜 중요한 특성을 식별하고 제거하여 모델의 효율성을 높일 수 있습니다.
개념적 제한사항
특성 기여 분석의 제한사항을 고려하세요.
- 기여 분석은 개별 예측으로 한정됩니다. 개별 예측에 대한 기여도를 검사하면 우수한 통계를 얻을 수 있지만 그러한 통계를 개별 인스턴스의 전체 클래스 또는 전체 모델에 일반화할 수는 없습니다. 보다 일반화가 가능한 통계를 얻으려면 데이터세트의 하위 조합이나 전체 데이터세트에 대해 기여 분석을 집계할 수 있습니다.
- 특성 기여 분석이 모델 디버깅에 도움이 될 수 있지만 문제가 모델에서 발생했는지 또는 모델이 학습된 데이터에서 발생했는지 항상 명확하게 나타내는 것은 아닙니다. 최선의 판단을 내리고 일반적인 데이터 문제를 진단하여 잠재적 원인의 범위를 좁혀야 합니다.
- 복잡한 모델에서 특성 기여 분석은 예측과 마찬가지로 적대적인 공격을 받습니다.
제한사항에 대한 자세한 내용은 높은 등급의 제한사항 목록 및 AI Explanations 백서를 참조하세요.
특성 기여 분석 메서드 비교
AI Explanations는 특성 기여 분석을 사용하기 위해 샘플링된 Shapley, 통합 경사, XRAI 등 3가지 메서드를 제공합니다.
| 메서드 | 기본 설명 | 권장 모델 유형 | 사용 사례 예시 |
|---|---|---|---|
| 통합 경사 | Shapley 값과 동일한 공리 속성으로 특성 기여도를 효율적으로 계산하는 경사 기반 메서드입니다. | 신경망과 같은 미분 가능한 모델 특히 특성 공간이 큰 모델에 권장됩니다. 엑스레이와 같은 저대비 이미지에 적합합니다. |
|
| XRAI(eXplanation with Ranked Area Integrals, 평가 영역 적분으로 설명) | 통합 그래디언트 메서드에 따라 XRAI는 이미지가 겹치는 영역을 평가하여 특징 맵을 만듭니다. 이 맵은 픽셀이 아닌 이미지의 관련 영역을 강조 표시합니다. | 이미지 입력을 허용하는 모델입니다. 특히 여러 객체를 포함하는 실제 장면인 자연스러운 이미지에 권장됩니다. |
|
| 샘플링된 Shapley | 각 특성 결과에 크레딧을 할당하고 특성의 다른 순열을 고려합니다. 이 메서드는 정확한 Shapley 값의 샘플링 근사값을 제공합니다. | 나무와 신경망의 앙상블과 같은 미분할 수 없는 모델1 |
|
특성 기여 분석 메서드 이해하기
각 특성 기여 분석 메서드는 Shapley 값을 기반으로 합니다. 특정 결과를 위해 게임의 각 플레이어에게 크레딧을 할당하는 협동 게임 이론 알고리즘입니다. 머신러닝 모델에 적용하면 각 모델 특성이 게임의 '플레이어'로 취급됩니다. AI Explanations는 특정 예측 결과를 위해 각 특성에 비례적으로 크레딧을 할당합니다.
AI Explanations는 사용자가 설명 요청에 대한 정확한 특성을 선택하여 플레이어를 '선택'할 수 있도록 합니다.
샘플링된 Shapley 메서드
샘플링된 Shapley 메서드는 정확한 Shapley 값의 샘플링 근사값을 제공합니다.
통합 경사 메서드
통합 그래디언트 메서드에서는 입력 특성에 대하여 적분 경로와 함께 예측 결과의 경사가 계산됩니다.
- 경사는 확장 매개변수의 다른 구간에서 계산됩니다. (이미지 데이터에서는 이미지의 모든 픽셀을 검은색으로 조정하는 '슬라이더'로 이 확장 매개변수를 상상합니다.)
- 경사가 '통합'됩니다.
- 경사들의 평균이 계산됩니다.
- 평균 경사와 원래 입력 값의 요소별 결과가 계산됩니다.
이미지에 적용되는 이 프로세스에 대한 직관적인 설명은 블로그 게시물 '입력 특성에 대한 딥 네트워크의 예측 기여 분석'을 참조하세요. 통합 그래디언트에 대한 원본 자료(딥 네트워크용 공리 기여 분석)의 저자가 블로그 게시물에서 프로세스의 각 단계를 이미지로 보여줍니다.
XRAI 메서드
XRAI 메서드는 통합 그래디언트 메서드를 추가 단계와 결합하여 이미지의 어느 영역이 특정 클래스 예측에 가장 많이 기여하는지 확인합니다.
- 픽셀 수준 기여: XRAI는 입력 이미지에 대해 픽셀 수준 기여를 사용합니다. 이 단계에서 XRAI는 검은색 기준선과 흰색 기준선이 있는 통합 그래디언트 메서드를 사용합니다.
- 과도하게 세분화: XRAI는 픽셀 수준의 기여와 관계없이 이미지를 세분화하여 작은 영역의 패치워크를 만듭니다. XRAI는 Felzenswalb의 그래프 기반 메서드를 사용하여 이미지 세그먼트를 만듭니다.
- 영역 선택: XRAI는 각 세그먼트 내의 픽셀 수준 기여를 집계하여 기여 밀도를 결정합니다. 이러한 값을 사용하여 XRAI는 각 세그먼트를 순위 지정하고 가장 높은 순으로 세그먼트를 정렬합니다. 이렇게 하면 이미지의 어느 부분이 가장 중요한지 또는 특정 클래스 예측에 가장 크게 기여하는지를 결정합니다.
미분 가능 및 미분 불가능 모델
미분 가능 모델에서 TensorFlow 그래프의 모든 작업의 파생 값을 계산할 수 있습니다. 이 속성 덕분에 이러한 모델에서 역전파가 가능합니다. 예를 들어 신경망은 미분할 수 있습니다. 미분할 수 있는 모델의 특성 기여 분석을 가져오려면 통합 경사 메서드를 사용합니다.
미분 불가 모델에는 디코딩 및 반올림 작업을 수행하는 작업 등 TensorFlow 그래프에서 미분할 수 없는 작업이 포함됩니다. 예를 들어 나무와 신경망의 앙상블로 만들어진 모델은 미분할 수 없습니다. 미분할 수 없는 모델의 특성 기여 분석을 가져오려면 샘플링된 Shapley 메서드를 사용합니다. 샘플링된 Shapley는 미분 가능 모델에서도 기능하지만, 이 경우 계산 비용이 더 높습니다.
참조
샘플링된 Shapley, 통합 경사, XRAI의 구현은 각각 다음 참조를 기반으로 합니다.
AI Explanations 백서를 읽고 AI Explanations 구현에 대해 자세히 알아보세요.
교육 리소스
다음 리소스는 추가로 유용한 교육 자료를 제공합니다.
- 해석 가능한 머신러닝: Shapley 값
- Ankur Taly의 통합 그래디언트 GitHub 저장소
- SHAP(Shapley Additive exPlanations) 라이브러리
- Shapley 값 소개