Vertex AI의 모델 편향 측정항목

이 페이지에서는 모델 학습 후 모델 예측 출력에 표시될 수 있는 모델 편향을 감지하는 데 사용할 수 있는 모델 평가 측정항목을 설명합니다. 이 페이지의 예시와 표기법에서는 모델 공정성 평가 소개에 자세히 설명된 가상의 대학 지원 데이터 세트를 사용합니다.

학습 전 데이터에서 생성되는 측정항목에 대한 설명은 데이터 편향 측정항목을 참조하세요.

개요

이 대학 지원 데이터 세트 예시에는 슬라이스 1에 캘리포니아 지원자 200명, 슬라이스 2에 플로리다 지원자 100명이 있습니다. 모델 학습 후에는 다음과 같은 혼동 행렬이 있습니다.

캘리포니아 지원자 승인(예측) 거부(예측)
승인(정답) 50(참양성) 10(거짓음성)
거부(정답) 20(거짓양성) 120(참음성)
플로리다 지원자 승인(예측) 거부(예측)
승인(정답) 20(참양성) 0(거짓음성)
거부(정답) 30(거짓양성) 50(참음성)

일반적으로 대부분의 측정항목에 대한 부호는 다음과 같이 해석할 수 있습니다.

  • 양수 값: 슬라이스 2보다 슬라이스 1을 선호하는 잠재적인 편향을 나타냅니다.

  • 0 값: 슬라이스 1과 슬라이스 2 사이에 편향이 없음을 나타냅니다.

  • 음수 값: 슬라이스 1보다 슬라이스 2를 선호하는 잠재적 편향을 나타냅니다.

이러한 해석이 측정항목에 적용되지 않는 경우에는 메모해 둡니다.

정확성 차이

정확성 차이는 슬라이스 1과 슬라이스 2의 정확성 차이를 측정합니다.

$$ \frac{tp_1 + tn_1}{n_1} - \frac{tp_2 + tn_2}{n_2} $$

((슬라이스 1의 참양성 + 슬라이스 1의 참음성)/슬라이스 1의 총 인스턴스 수) - ((슬라이스 2의 참양성 + 슬라이스 2의 참음성)/슬라이스 2의 총 인스턴스 수)

예시 데이터 세트에 응용:

((올바르게 예측된 50개의 캘리포니아 승인 + 올바르게 예측된 120개의 캘리포니아 거부)/ 캘리포니아 지원자 200명) - ((올바르게 예측된 20개의 플로리다 승인 + 올바르게 예측된 50개의 플로리다 거부)/ 플로리다 지원자 100명) = 170/200 - 70/100 = 0.15

정확도 차이의 양수 값은 모델이 플로리다 지원자보다 캘리포니아 지원자에게 더 정확하다는 것을 나타냅니다. 이는 캘리포니아 지원자를 선호하는 잠재적 편향을 나타낼 수 있습니다.

예측 라벨의 양성 비율 차이(DPPPL)

예측 라벨의 양성 비율 차이(DPPPL)는 모델이 한 슬라이드에 다른 슬라이스보다 지나치게 많은 긍정적인 예측을 만드는 경향이 있는지 여부를 측정합니다. DPPPL은 예측 라벨의 양성 비율 차이를 계산하며 예측 라벨의 양성 비율은 슬라이스의 (예측된 긍정적 결과/총 인스턴스 수)입니다.

$$ \frac{tp_1 + fp_1}{n_1} - \frac{tp_2 + fp_2}{n_2} $$

((슬라이스 1의 참양성 + 슬라이스 1의 거짓양성)/슬라이스 1의 총 인스턴스 수) - ((슬라이스 2의 참양성 + 슬라이스 2의 거짓양성)/슬라이스 2의 총 인스턴스 수)

예시 데이터 세트에 응용:

((올바르게 예측된 50개의 캘리포니아 승인 + 잘못 예측된 20개의 캘리포니아 승인)/ 캘리포니아 지원자 200명) - ((올바르게 예측된 20개의 플로리다 승인 + 잘못 예측된 30개의 플로리다 승인)/ 플로리다 지원자 100명) = 70/200 - 50/100 = -0.15

DPPPL의 음수 값은 모델이 캘리포니아 지원자보다 플로리다 지원자를 지나치게 많이 승인한다는 것을 나타냅니다.

재현율 차이

재현율 차이는 슬라이스 1과 슬라이스 2 간의 재현율 차이를 측정하며 라벨이 지정된 긍정적 결과만 살펴봅니다. 재현율 차이를 동등한 기회라고도 합니다.

$$ \frac{tp_1}{l^1_1} - \frac{tp_2}{l^1_2} $$

(슬라이스 1의 참양성/(슬라이스 1의 참양성 + 슬라이스 1의 거짓양성)) - (슬라이스 2의 참양성/(슬라이스 2의 참양성 + 슬라이스 2의 거짓음성))

예시 데이터 세트에 응용:

(올바르게 예측된 50개의 캘리포니아 승인/(올바르게 예측된 50개의 캘리포니아 승인 + 잘못 예측된 10개의 캘리포니아 거부)) - (올바르게 예측된 20개의 플로리다 승인/(올바르게 예측된 20개의 플로리다 승인 + 잘못 예측된 0개의 캘리포니아 거부)) = 50/60 - 20/20 = -0.17

음수 값은 모델이 캘리포니아 지원자보다 플로리다 지원자를 더 잘 재현한다는 것을 나타냅니다. 즉, 이 모델은 캘리포니아 지원자보다 플로리다 지원자에 대한 승인 결정의 정확성이 더 높은 편입니다.

관련성 차이

관련성 차이는 슬라이스 1과 슬라이스 2 간에 참음성 비율이라고도 하는 관련성의 차이를 측정합니다. 이는 재현율 차이로 생각할 수 있지만 라벨이 지정된 부정적인 결과에 해당합니다.

$$ \frac{tn_1}{l^0_1} - \frac{tn_2}{l^0_2} $$

(슬라이스 1의 참음성/(슬라이스 1의 참음성 + 슬라이스 1의 거짓양성)) - (슬라이스 2의 참음성/(슬라이스 2의 참음성 + 슬라이스 2의 거짓양성))

예시 데이터 세트에 응용:

(올바르게 예측된 120개의 캘리포니아 거부/(올바르게 예측된 120개의 캘리포니아 거부 + 잘못 예측된 20개의 캘리포니아 승인)) - (올바르게 예측된 50개의 플로리다 거부/(올바르게 예측된 50개의 플로리다 거부 + 잘못 예측된 30개의 플로리다 승인)) = 120/140- 50/80 = 0.23

양수 값은 지원이 거부되는 경우 모델에서 플로리다 지원자보다 캘리포니아 지원자의 재현율이 더 높다는 의미입니다. 즉, 이 모델은 플로리다 지원자보다 캘리포니아 지원자에 대한 거부 결정의 정확성이 더 높은 편입니다.

오류 유형 비율의 차이

오류 유형 비율의 차이는 슬라이스 1과 2 간의 오류(거짓음성과 거짓양성) 분포 방식의 차이를 측정합니다. 오류 유형 비율은 (거짓음성 (유형 I 오류)/거짓양성(유형 II 오류))으로 계산됩니다. 오류 유형 비율의 차이를 전체 실험 대상 동등성이라고도 합니다.

$$ \frac{fn_1}{fp_1} - \frac{fn_2}{fp_2} $$

(슬라이스 1의 거짓음성/슬라이스 1의 거짓양성) - (슬라이스 2의 거짓음성/슬라이스 2의 거짓양성)

예시 데이터 세트에 응용:

(잘못 예측된 10개의 캘리포니아 거부/잘못 예측된 20개의 캘리포니아 승인) - (잘못 예측된 0개의 플로리다 거부/잘못 예측된 30개의 플로리다 승인) = (10/20 - 0/30) = 0.5

이 모델은 캘리포니아 지원자와 플로리다 지원자 모두에게 30개의 오류를 일으키지만, 오류 유형 비율의 차이의 양수 값은 모델이 긍정적 결과를 과도 예측하는 경향(높은 거짓양성 오류 비율)이 있으므로 플로리다 지원자보다 캘리포니아 지원자의 부정적 결과를 과소 예측합니다(낮은 거짓음성 오류 비율).

오류 유형 비율의 차이에 대한 부호는 일반적으로 다음과 같이 해석할 수 있습니다.

  • 양수 값: 모델이 슬라이스 1의 거짓음성 오류보다 거짓양성 오류를 지나치게 많이 생성한다는 의미입니다.

  • 0 값: 모델이 두 슬라이스에 대한 거짓양성 오류를 동일한 양으로 생성한다는 의미입니다.

  • 음수 값: 모델이 슬라이스 2에 대해 거짓음성 오류보다 거짓양성 오류를 지나치게 많이 생성한다는 의미입니다.

거짓음성 또는 거짓양성의 유해성은 모델의 애플리케이션에 따라 달라지므로 이 측정항목의 부호는 반드시 모델의 편향을 나타내지 않습니다.

다음 단계