머신러닝 모델은 설계자라도 모델에서 특정 예측이 생성된 방법 또는 이유를 설명할 수 없기 때문에 종종 '블랙 박스'라고 불립니다. Vertex Explainable AI는 모델 의사결정을 더 효과적으로 이해할 수 있도록 기능 기반 및 예시 기반 설명을 제공합니다.
모델의 작동 방식과 학습 데이터 세트에 의해 어떻게 영향을 받는지 알면 ML을 빌드하거나 사용하는 모든 사용자에게 모델을 개선하고, 예측에 대한 신뢰도를 높이고, 문제가 발생한 시기와 이유를 파악할 수 있습니다.
예시 기반 설명
예시 기반 설명을 사용하면 Vertex AI가 최근접 이웃 검색을 사용하여 입력과 가장 유사한 예시 목록(일반적으로 학습 세트)을 반환합니다. 일반적으로 유사한 입력은 유사한 예측을 생성할 것으로 예상되므로 이러한 설명을 사용하여 모델의 동작을 탐색하고 설명할 수 있습니다.
예시 기반 설명은 다음과 같은 여러 시나리오에서 유용할 수 있습니다.
데이터 또는 모델 개선: 예시 기반 설명의 핵심 사용 사례 중 하나는 모델이 예측에서 특정 실수를 하는 이유를 파악하고 이러한 통계를 사용하여 데이터 또는 모델을 개선하는 것입니다. 이를 위해서는 먼저 관심 있는 테스트 데이터를 선택하세요. 비즈니스 요구사항 또는 모델이 가장 심각한 실수를 하는 데이터 같은 휴리스틱 데이터일 수 있습니다.
예를 들어 이미지를 새 또는 비행기로 분류하는 모델이 있는데, 이 모델에서는 다음과 같은 새를 높은 신뢰도를 가지고 비행기로 잘못 분류하고 있다고 가정해 보겠습니다. 예시 기반 설명을 사용하면 학습 세트에서 비슷한 이미지를 검색하여 현재 상황을 파악할 수 있습니다.
모든 설명은 비행기 클래스의 어두운 실루엣이므로 이는 새 실루엣을 더 많이 얻으라는 신호입니다.
하지만 설명이 주로 새 클래스에서 비롯된 경우 데이터가 풍부함에도 불구하고 모델이 관계를 학습할 수 없다는 신호이므로 모델 복잡성을 늘리는 것을 고려해야 합니다(예를 들어, 레이어를 더 추가하는 등)
새로운 데이터 해석: 모델이 새와 비행기를 분류하도록 학습되었지만 실제로 이 모델은 연, 드론, 헬리콥터의 이미지도 발견한다고 가정해 보겠습니다. 가장 가까운 이웃 데이터 세트에 연, 드론, 헬리콥터의 라벨이 지정된 일부 이미지가 포함된 경우 예시 기반 설명을 사용하여 가장 자주 발생하는 이웃의 가장 자주 발생하는 라벨을 적용하여 새로운 이미지를 분류할 수 있습니다. 이는 키트의 잠재 표현이 새 또는 비행기의 표현과 다르며 가장 가까운 이웃 데이터 세트에 있는 라벨이 지정된 키트와 더 비슷할 것으로 예상되기 때문입니다.
이상점 감지: 직관적으로 인스턴스가 학습 세트의 모든 데이터와 멀리 떨어져 있는 경우 이상점이 발생할 수 있습니다. 신경망은 실수에 지나치게 확신이 있어 알려진 오류를 마스킹하는 것으로 알려져 있습니다. 예시 기반 설명을 사용하여 모델을 모니터링하면 가장 심각한 이상점을 식별하는 데 도움이 됩니다.
능동적 학습: 예시 기반 설명은 수동 라벨링의 이점을 활용할 수 있는 인스턴스를 식별하는 데 도움이 됩니다. 라벨 지정이 느리거나 비용이 많이 드는 경우 특히 제한적인 라벨링 리소스에서 가능한 가장 많은 데이터세트를 얻을 수 있으므로 유용합니다.
예를 들어 의료 환자를 감기 또는 독감으로 분류하는 모델이 있다고 가정해 보겠습니다. 환자가 독감이 있는 것으로 분류되고 모든 예시 기반 설명이 독감 클래스에서 제공되는 경우, 의사는 더 자세히 살펴볼 필요 없이 모델의 예측에 대해 더 확신을 가질 수 있습니다. 하지만 일부 설명은 독감 클래스에서 가져온 것이고 다른 설명은 감기 클래스에서 가져온 경우라면 의사의 의견을 구할 가치가 있을 것입니다. 이렇게 하면 까다로운 인스턴스에 더 많은 라벨이 있는 데이터 세트가 생성되므로 다운스트림 모델은 복잡한 관계를 더 쉽게 학습할 수 있습니다.
예시 기반 설명을 지원하는 모델을 만들려면 예시 기반 설명 구성을 참조하세요.
지원되는 모델 유형
입력을 위한 임베딩(잠재 표현)을 제공할 수 있는 모든 TensorFlow 모델이 지원됩니다. 결정 트리와 같은 트리 기반 모델은 지원되지 않습니다. PyTorch 또는 XGBoost와 같은 다른 프레임워크의 모델은 아직 지원되지 않습니다.
심층신경망의 경우 일반적으로 출력 레이어에 더 가까운 상위 레이어가 '유의미한' 학습을 했다고 가정하므로 임베딩에 종종 두 번째 레이어가 선택됩니다. 몇 가지 서로 다른 레이어를 실험하고, 확보된 예시를 조사하고, 몇 가지 정량적(클래스 일치) 또는 정성적(유효한) 측정항목을 기준으로 하나를 선택할 수 있습니다.
TensorFlow 모델에서 임베딩을 추출하고 최근접 이웃 검색을 수행하는 방법에 대한 설명은 예시 기반 설명 노트북을 참조하세요.
특성 기반 설명
Vertex Explainable AI는 Vertex AI에 특성 기여 분석을 통합합니다. 이 섹션에서는 Vertex AI와 함께 제공되는 특성 기여 분석 메서드의 개념을 간략히 설명합니다.
특성 기여 분석은 모델의 각 특성이 각 인스턴스의 예측에 기여한 정도를 나타냅니다. 예측을 요청하면 예측 값이 모델에 적절하게 표시됩니다. 설명을 요청하면 특성 기여 분석 정보와 함께 예측이 표시됩니다.
특성 기여 분석은 표 데이터에서 작동하며 이미지 데이터에 내장된 시각화 기능을 포함합니다. 다음 예시를 고려하세요.
심층신경망은 날씨 데이터와 이전의 차량 공유 데이터를 기반으로 자전거 주행 시간을 예측하도록 학습됩니다. 이 모델에서 예측만 요청하면 예상 자전거 주행 시간이 분 단위로 표시됩니다. 설명을 요청하면 설명 요청의 각 특성에 대한 기여 분석 점수와 함께 자전거 여행 예상 시간이 표시됩니다. 기여 분석 점수는 지정한 기준 값을 기준으로 특성이 예측 값의 변경에 얼마나 영향을 주었는지 표시합니다. 모델에 적합한 의미 있는 기준을 선택합니다. 이 경우 자전거 주행 시간의 중앙값입니다. 특성 기여 점수를 플롯으로 나타내어 결과 예측에 가장 많이 기여한 특성을 확인할 수 있습니다.
이미지 분류 모델은 주어진 이미지가 개나 고양이를 포함하는지 예측하도록 학습됩니다. 이 모델에서 새로운 이미지 조합에 대한 예측을 요청하면 각 이미지에 대한 예측이 제공됩니다('강아지' 또는 '고양이'). 설명을 요청하면 이미지의 오버레이와 함께 예측 클래스가 생성되어 이미지의 어떤 픽셀이 결과 예측에 가장 많이 기여했는지를 알 수 있습니다.
특성 기여 분석 오버레이가 있는 고양이 사진 
특성 기여 분석 오버레이가 있는 강아지 사진 이미지 분류 모델은 이미지의 꽃 종을 예측하도록 학습됩니다. 이 모델에서 새로운 이미지 조합에 대한 예측을 요청하면 각 이미지에 대한 예측이 제공됩니다('데이지' 또는 '민들레'). 설명을 요청하면 이미지의 오버레이와 함께 예측 클래스가 생성되어 이미지의 어떤 부분이 결과 예측에 가장 많이 기여했는지를 알 수 있습니다.
특성 기여 분석 오버레이가 있는 데이지 사진
지원되는 모델 유형
특성 기여 분석은 모든 유형의 모델(AutoML 및 커스텀 학습), 프레임워크(TensorFlow, scikit, XGBoost), BigQuery ML 모델, 모달리티(이미지, 텍스트, 테이블 형식, 동영상)에 지원됩니다.
특성 기여 분석을 사용하려면 Vertex AI Model Registry에 모델을 업로드하거나 등록할 때 특성 기여 분석을 위한 모델을 구성합니다.
또한 다음 AutoML 모델 유형의 경우 특성 기여 분석이 Google Cloud 콘솔에 통합됩니다.
- AutoML 이미지 모델(분류 모델만 해당)
- AutoML 테이블 형식 모델(분류 및 회귀 모델만 해당)
통합된 AutoML 모델 유형의 경우 학습 중에 Google Cloud 콘솔에서 특성 기여 분석을 사용 설정하여 모델 전반의 모델 특성 중요도와 온라인 및 일괄 예측 모두의 로컬 특성 중요도를 확인할 수 있습니다.
통합되지 않은 AutoML 모델 유형의 경우 모델 아티팩트를 Vertex AI Model Registry에 업로드할 때 모델 아티팩트를 내보내고 특성 기여 분석을 구성하여 특성 기여 분석을 사용 설정할 수 있습니다.
장점
특정 인스턴스를 검사하고 학습 데이터 세트 전체에서 특성 기여 분석을 집계하면 모델 작동 방식에 대해 더 자세히 파악할 수 있습니다. 다음과 같은 장점이 있습니다.
디버깅 모델: 특성 기여 분석은 표준 모델 평가 기술이 일반적으로 놓칠 수 있는 데이터 문제를 감지하는 데 도움이 됩니다.
예를 들어 이미지 병리 모델은 흉부 X선 이미지의 테스트 데이터 세트에서 의심스러운 양호 결과를 얻었습니다. 특성 기여 분석을 통해 모델의 높은 정확성이 이미지 내 방사선사의 펜 표시에 달려 있음이 드러났습니다. 이 예시에 대한 자세한 내용은 AI Explanations 백서를 참조하세요.
모델 최적화: 덜 중요한 특성을 식별하고 삭제하여 모델의 효율성을 높일 수 있습니다.
특성 기여 분석 메서드
각 특성 기여 분석 메서드는 Shapley 값을 기반으로 합니다. 특정 결과를 위해 게임의 각 플레이어에게 크레딧을 할당하는 협동 게임 이론 알고리즘입니다. 머신러닝 모델에 적용하면 각 모델 특성이 게임의 '플레이어'로 취급됩니다. Vertex Explainable AI는 특정 예측 결과를 위해 각 특성에 비례적으로 크레딧을 할당합니다.
샘플링된 Shapley 메서드
샘플링된 Shapley 메서드는 정확한 Shapley 값의 샘플링 근사값을 제공합니다. AutoML 테이블 형식 모델은 특성 중요도에 대해 샘플링된 Shapley 메서드를 사용합니다. 샘플링된 Shapley는 나무와 신경망의 메타 앙상블 인 이러한 모델에 효과적으로 작동합니다.
샘플링된 Shapley 메서드의 작동 방식에 대한 자세한 내용은 샘플링 기반 Shapley 값 근사값의 추정 오차 경계 지정 백서를 참조하세요.
통합 그래디언트 메서드
통합 그래디언트 메서드에서는 입력 특성에 대하여 적분 경로와 함께 예측 결과의 경사가 계산됩니다.
- 경사는 확장 매개변수의 다른 구간에서 계산됩니다. 각 간격의 크기는 가우시안 구적법 규칙을 사용하여 결정됩니다. (이미지 데이터에서는 이미지의 모든 픽셀을 검은색으로 조정하는 '슬라이더'로 이 확장 매개변수를 상상합니다.)
- 경사는 다음과 같이 적분됩니다.
- 적분은 가중 평균을 사용하여 근사값이 구해집니다.
- 평균 경사와 원래 입력 값의 요소별 결과가 계산됩니다.
이미지에 적용되는 이 프로세스에 대한 직관적인 설명은 블로그 게시물 '입력 특성에 대한 딥 네트워크의 예측 기여 분석'을 참조하세요. 통합 그래디언트에 대한 원본 자료(딥 네트워크용 공리 기여 분석)의 저자가 블로그 게시물에서 프로세스의 각 단계를 이미지로 보여줍니다.
XRAI 메서드
XRAI 메서드는 통합 그래디언트 메서드를 추가 단계와 결합하여 이미지의 어느 영역이 특정 클래스 예측에 가장 많이 기여하는지 확인합니다.
- 픽셀 수준 기여: XRAI는 입력 이미지에 대해 픽셀 수준 기여를 사용합니다. 이 단계에서 XRAI는 검은색 기준선과 흰색 기준선이 있는 통합 그래디언트 메서드를 사용합니다.
- 과도하게 세분화: XRAI는 픽셀 수준의 기여와 관계없이 이미지를 세분화하여 작은 영역의 패치워크를 만듭니다. XRAI는 Felzenswalb의 그래프 기반 메서드를 사용하여 이미지 세그먼트를 만듭니다.
- 영역 선택: XRAI는 각 세그먼트 내의 픽셀 수준 기여를 집계하여 기여 밀도를 결정합니다. 이러한 값을 사용하여 XRAI는 각 세그먼트를 순위 지정하고 가장 높은 순으로 세그먼트를 정렬합니다. 이렇게 하면 이미지의 어느 부분이 가장 중요한지 또는 특정 클래스 예측에 가장 크게 기여하는지를 결정합니다.
특성 기여 분석 메서드 비교
Vertex Explainable AI는 특성 기여 분석을 사용하기 위해 샘플링된 Shapley, 통합 그래디언트, XRAI 등 3가지 메서드를 제공합니다.
| 메서드 | 기본 설명 | 권장 모델 유형 | 사용 사례 | 호환되는 Vertex AI Model 리소스 |
|---|---|---|---|---|
| 샘플링된 Shapley | 각 특성 결과에 크레딧을 할당하고 특성의 다른 순열을 고려합니다. 이 메서드는 정확한 Shapley 값의 샘플링 근사값을 제공합니다. | 나무와 신경망의 앙상블과 같은 미분할 수 없는 모델 |
|
|
| 통합 그래디언트 | Shapley 값과 동일한 공리 속성으로 특성 기여도를 효율적으로 계산하는 경사 기반 메서드입니다. | 신경망과 같은 미분 가능한 모델 특히 특성 공간이 큰 모델에 권장됩니다. 엑스레이와 같은 저대비 이미지에 적합합니다. |
|
|
| XRAI(eXplanation with Ranked Area Integrals, 평가 영역 적분으로 설명) | 통합 그래디언트 메서드에 따라 XRAI는 이미지가 겹치는 영역을 평가하여 특징 맵을 만듭니다. 이 맵은 픽셀이 아닌 이미지의 관련 영역을 강조 표시합니다. | 이미지 입력을 허용하는 모델입니다. 특히 여러 객체를 포함하는 실제 장면인 자연스러운 이미지에 권장됩니다. |
|
|
기여 분석 방법에 대한 보다 자세한 비교는 AI Explanations 백서를 참조하세요.
미분 가능 및 미분 불가능 모델
미분 가능 모델에서 TensorFlow 그래프의 모든 작업의 파생 값을 계산할 수 있습니다. 이 속성 덕분에 이러한 모델에서 역전파가 가능합니다. 예를 들어 신경망은 미분할 수 있습니다. 미분할 수 있는 모델의 특성 기여 분석을 가져오려면 통합 그래디언트 메서드를 사용합니다.
통합 그래디언트 메서드는 미분이 불가능한 모델에는 작동하지 않습니다. 미분 불가 입력을 인코딩하여 통합 그래디언트 메서드로 작업하는 방법을 자세히 알아보세요.
미분 불가 모델에는 디코딩 및 반올림 작업을 수행하는 작업 등 TensorFlow 그래프에서 미분할 수 없는 작업이 포함됩니다. 예를 들어 나무와 신경망의 앙상블로 만들어진 모델은 미분할 수 없습니다. 미분할 수 없는 모델의 특성 기여 분석을 가져오려면 샘플링된 Shapley 메서드를 사용합니다. 샘플링된 Shapley는 미분 가능 모델에서도 기능하지만, 이 경우 계산 비용이 더 높습니다.
개념적 제한사항
특성 기여 분석의 제한사항을 고려하세요.
AutoML의 로컬 특성 중요도를 포함하여 특성 기여 분석은 개별 예측에 따라 달라집니다. 개별 예측에 대한 특성 기여도를 검사하면 우수한 통계를 얻을 수 있지만 그러한 통계를 개별 인스턴스의 전체 클래스 또는 전체 모델에 일반화할 수는 없습니다.
AutoML 모델에 대해 보다 일반화 가능한 통계를 얻으려면 모델 특성 중요도를 참조하세요. 다른 모델에 대해 보다 일반화 가능한 통계를 얻으려면 데이터 세트의 하위 집합 또는 전체 데이터 세트에 대해 기여 분석을 집계합니다.
특성 기여 분석이 모델 디버깅에 도움이 될 수 있지만 문제가 모델에서 발생했는지 또는 모델이 학습된 데이터에서 발생했는지 항상 명확하게 나타내는 것은 아닙니다. 최선의 판단을 내리고 일반적인 데이터 문제를 진단하여 잠재적 원인의 범위를 좁혀야 합니다.
복잡한 모델에서 특성 기여 분석은 예측과 마찬가지로 적대적인 공격을 받습니다.
제한사항에 대한 자세한 내용은 높은 등급의 제한사항 목록 및 AI Explanations 백서를 참조하세요.
참조
특성 기여 분석의 경우 샘플링된 Shapley, 통합 경사, XRAI의 구현은 각각 다음 참조를 기반으로 합니다.
AI Explanations 백서를 읽고 Vertex Explainable AI의 구현에 대해 자세히 알아보세요.
Notebooks
Vertex Explainable AI 사용을 시작하려면 다음 노트북을 사용하세요.
| 노트북 | 설명 기능 메서드 | ML 프레임워크 | 형식 | 태스크 |
|---|---|---|---|---|
| GitHub 링크 | 예시 기반 설명 | TensorFlow | 이미지 | 제공된 입력 이미지의 클래스를 예측하고 온라인 설명을 가져오는 분류 모델 학습 |
| GitHub 링크 | 특성 기반 | AutoML | 테이블 형식 | 은행 커스텀의 정기 예금 구매 여부를 예측하고 일괄 설명을 가져오는 이진 분류 모델 학습 |
| GitHub 링크 | 특성 기반 | AutoML | 테이블 형식 | 아이리스 꽃의 종류를 예측하고 온라인 설명을 가져오는 분류 모델 학습 |
| GitHub 링크 | 특성 기반(샘플링된 Shapley) | scikit-learn | 테이블 형식 | 택시 요금을 예측하고 온라인 설명을 가져오는 선형 회귀 모델 학습 |
| GitHub 링크 | 특성 기반(적분 경사) | TensorFlow | 이미지 | 제공된 입력 이미지의 클래스를 예측하고 일괄 설명을 가져오는 분류 모델 학습 |
| GitHub 링크 | 특성 기반(적분 경사) | TensorFlow | 이미지 | 제공된 입력 이미지의 클래스를 예측하고 온라인 설명을 가져오는 분류 모델 학습 |
| GitHub 링크 | 특성 기반(적분 경사) | TensorFlow | 테이블 형식 | 주택의 평균 가격을 예측하고 일괄 설명을 가져오는 회귀 모델 학습 |
| GitHub 링크 | 특성 기반(적분 경사) | TensorFlow | 테이블 형식 | 주택의 평균 가격을 예측하고 온라인 설명을 가져오는 회귀 모델 학습 |
| GitHub 링크 | 특성 기반(적분 경사) | TensorFlow | 이미지 | 사전 학습된 분류 모델인 Inception_v3을 사용하여 일괄 및 온라인 설명 가져오기 |
| GitHub 링크 | 특성 기반(샘플링된 Shapley) | TensorFlow | text | 리뷰 텍스트를 사용하여 영화 리뷰를 긍정적 또는 부정적으로 분류하고 온라인 설명을 가져오는 LSTM 모델 학습 |
교육 리소스
다음 리소스는 추가로 유용한 교육 자료를 제공합니다.