데이터 라벨링 서비스는 평가 작업을 실행할 때 머신 러닝 모델의 사양에 따라 달라지는 평가 측정항목 집합을 생성합니다. 이 가이드에서는 여러 유형의 평가 측정항목과 이러한 측정항목을 보는 방법을 설명합니다.
시작하기 전에
시작하기 전에 평가 작업을 생성하고 평가 작업을 처음 실행할 때까지 기다립니다. 기본적으로 평가 작업은 매일 오전 10시(UTC)에 실행됩니다.
작업이 실행되면 정답 라벨 지정을 위해 데이터가 직접 검토자에게 전송됩니다(이 옵션을 사용 설정한 경우). 그런 다음 평가 측정항목을 계산합니다. 수동 라벨링에는 시간이 걸리므로 작업에서 샘플링하는 데이터가 많은 경우 첫 번째 평가 측정항목을 확인하는 데 하루 이상 걸릴 수 있습니다.
모델 간의 평균 정밀도 비교
AI Platform 예측에서 여러 모델 버전을 하나의 모델 리소스에 그룹화할 수 있습니다. 한 모델의 각 모델 버전은 동일한 작업을 수행해야 하지만 각각 다르게 학습될 수 있습니다.
단일 모델에 여러 모델 버전이 있고 각각 하나씩 평가 작업을 만든 경우 시간 경과에 따른 모델 버전의 평균 정밀도를 비교하는 차트를 볼 수 있습니다.
Google Cloud 콘솔에서 AI Platform 모델 페이지를 엽니다.
비교할 모델 버전이 포함된 모델의 이름을 클릭합니다.
평가 탭을 클릭합니다.
이 페이지의 차트는 시간 경과에 따른 각 모델 버전의 평균 정밀도를 비교합니다. 차트 간격을 변경할 수 있습니다.
모델 버전의 평가 작업에서 최근 실행 중에 오류가 발생한 경우 이 페이지에도 오류가 표시됩니다.
특정 모델 버전의 측정항목 보기
더 자세한 평가 측정항목을 보려면 단일 모델 버전을 확인합니다.
Google Cloud 콘솔에서 AI Platform 모델 페이지를 엽니다.
관심 있는 모델 버전이 포함된 모델의 이름을 클릭합니다.
관심 있는 모델 버전의 이름을 클릭합니다.
평가 탭을 클릭합니다.
이 페이지에는 이전 섹션에서 설명한 비교 보기와 유사한 시간 경과에 따른 평균 정밀도 차트가 있습니다. 또한 모델 버전의 최근 평가 작업 실행 중에 발생한 오류도 표시됩니다.
날짜 입력 필드에 날짜를 입력하여 개별 평가 작업 실행의 측정항목을 봅니다. 모든 라벨을 클릭하고 드롭다운 목록에서 특정 라벨을 선택하여 측정항목을 추가로 필터링할 수도 있습니다. 다음 섹션에서는 개별 평가 작업 실행에 대해 볼 수 있는 측정항목을 설명합니다.
정밀도-재현율 곡선
정밀도-재현율 곡선은 분류 임계값을 조정할 경우 머신러닝 모델의 정밀도와 재현율이 어떻게 변경되는지 보여줍니다.
혼동 행렬
혼동 행렬은 모든 정답 라벨과 예측 라벨의 쌍을 표시하므로 머신러닝 모델이 특정 라벨을 다른 라벨로 오인하는 패턴을 볼 수 있습니다.
혼동 행렬은 분류를 수행하는 모델 버전에만 생성됩니다.
나란히 비교
모델 버전이 이미지 분류 또는 텍스트 분류를 수행하는 경우 머신러닝 모델의 예측 라벨과 각 예측 입력의 정답 라벨을 나란히 비교한 내용을 볼 수 있습니다.
모델 버전에서 이미지 객체 감지를 수행하는 경우 머신러닝 모델의 예측 경계 상자와 정답 경계 상자를 나란히 비교한 내용을 볼 수 있습니다. 경계 상자 위로 마우스를 가져가면 관련 라벨이 표시됩니다.
다음 단계
평가 작업을 업데이트, 일시중지 또는 삭제하는 방법 알아보기