Vertex AI의 데이터 편향 측정항목

이 페이지에서는 모델 학습 전에 원시 데이터 및 정답 값에 표시될 수 있는 데이터 편향을 감지하는 데 사용할 수 있는 평가 측정항목을 설명합니다. 이 페이지의 예시와 표기법에서는 모델 공정성 평가 소개에 자세히 설명된 가상의 대학 지원 데이터 세트를 사용합니다.

학습 후 데이터에서 생성되는 측정항목에 대한 설명은 모델 편향 측정항목을 참조하세요.

개요

이 대학 지원 데이터 세트 예시에는 슬라이스 1에 캘리포니아 지원자 200명, 슬라이스 2에 플로리다 지원자 100명이 있으며, 다음과 같이 라벨이 지정되어 있습니다.

슬라이스 거부 수락
캘리포니아 140 60
플로리다 80 20

일반적으로 대부분의 측정항목에 대한 부호는 다음과 같이 해석할 수 있습니다.

  • 양수 값: 슬라이스 2보다 슬라이스 1을 선호하는 잠재적인 편향을 나타냅니다.

  • 0 값: 슬라이스 1과 슬라이스 2 사이에 편향이 없음을 나타냅니다.

  • 음수 값: 슬라이스 1보다 슬라이스 2를 선호하는 잠재적 편향을 나타냅니다.

이러한 해석이 측정항목에 적용되지 않는 경우에는 메모해 둡니다.

집단 크기 차이

집단 크기 차이는 슬라이스 1과 슬라이스 2에 추가 예시가 있는지 여부를 측정하며, 두 슬라이스의 총 집단으로 정규화됩니다.

$$ \frac{n_1-n_2}{n_1+n_2} $$

(슬라이스 1의 총 집단 - 슬라이스 2의 총 집단) / (슬라이스 1 및 2의 집단 합계)

예시 데이터 세트에 응용:

(캘리포니아 지원자 200명 - 플로리다 지원자 100명)/ 총 지원자 300명 = 100/300 = 0.33.

집단 크기 차이의 양수 값은 플로리다 지원자보다 캘리포니아 지원자가 지나치게 많음을 나타냅니다. 양수 값은 자체적으로 편향을 나타내거나 나타내지 않을 수 있지만 모델이 이 데이터를 학습하면 캘리포니아 지원자에게 더 유리하게 작동하는 방법을 학습할 수 있습니다.

True 라벨의 양성 비율 차이(DPPTL)

True 라벨의 양성 비율 차이(DPPTL)는 데이터 세트가 한 슬라이스에 다른 슬라이스보다 지나치게 많은 정답 라벨을 가지고 있는지 여부를 측정합니다. 이 측정항목은 슬라이스 1과 슬라이스 2 사이의 True 라벨 양성 비율 차이를 계산합니다. 여기서 슬라이스의 True 라벨 양성 비율은 (라벨이 지정된 양성 결과 / 총 집단 크기)입니다. 이 측정항목을 라벨 불균형이라고도 합니다.

$$ \frac{l^1_1}{n_1} - \frac{l^1_2}{n_2} $$

(슬라이스 1의 라벨이 지정된 긍정적 결과/슬라이스 1의 총 집단 크기) - (슬라이스 2의 라벨이 지정된 긍정적 결과/슬라이스 2의 총 집단 크기)

예시 데이터 세트에 응용:

(승인된 60명의 캘리포니아 지원자/200명의 캘리포니아 지원자) - (승인된 20명의 플로리다 지원자/100명의 플로리다 지원자) = 60/200~20/100 = 0.1.

DPPTL의 양수 값은 데이터 세트가 플로리다 지원자보다 캘리포니아 지원자에게 훨씬 더 긍정적인 결과임을 나타냅니다. 양수 값은 자체적으로 편향을 나타내거나 나타내지 않을 수 있지만 모델이 이 데이터를 학습하면 캘리포니아 지원자에게 훨씬 더 긍정적인 결과를 예측하는 방법을 학습할 수 있습니다.

다음 단계