Vertex AI를 사용한 모델 평가

이 페이지에서는 Vertex AI를 사용하여 모델을 평가하는 방법을 설명합니다. 개요는 Vertex AI의 모델 평가를 참조하세요.

기본 요건

1. 프로젝트 및 개발 환경 설정의 단계를 따릅니다. 또한 다음 서비스를 사용 설정합니다.

   • Compute Engine API
   • Dataflow API

2. Vertex AI는 AutoML 또는 커스텀 학습을 통해 학습된 모델을 평가할 수 있습니다. Google Cloud 콘솔 가이드에서는 Vertex AI Model Registry로 가져온 학습된 모델이 있어야 합니다.

3. 테스트 데이터 세트를 BigQuery 또는 Cloud Storage에 업로드하세요. 테스트 데이터 세트에는 예측에 대한 실제 결과인 정답이 포함되어 있습니다. 파일 또는 데이터 세트 ID로의 링크를 가져오세요.

4. BigQuery 테이블 또는 Cloud Storage URI 형식의 일괄 예측 출력을 가져야 합니다.

5. 기본 Compute Engine 서비스 계정에 다음 IAM 권한이 있는지 확인하세요.

   • Vertex AI 관리자(aiplatform.admin)
   • Vertex AI 서비스 에이전트(aiplatform.serviceAgent)
   • 스토리지 객체 관리자(storage.objectAdmin)
   • Dataflow 작업자(dataflow.worker)
   • BigQuery 데이터 편집자(bigquery.dataEditor)(BigQuery 테이블 형식으로 데이터를 제공하는 경우에만 필요)

평가 생성

콘솔

1. Google Cloud 콘솔에서 Vertex AI 모델 페이지로 이동합니다.

   모델 페이지로 이동

2. 평가하려는 모델의 이름을 클릭합니다.

3. 모델의 버전 번호를 클릭합니다.

4. 평가 탭에서 평가 만들기를 클릭합니다.

5. 평가 이름을 입력합니다.

6. 분류 또는 회귀와 같은 목표를 선택합니다.

7. 모델이 예측하도록 학습된 학습 데이터의 열인 평가 타겟 열 이름을 입력합니다.

8. 소스 선택에서 테스트 데이터 세트의 소스를 선택합니다.

   1. BigQuery 테이블에 BigQuery 경로를 입력합니다.

   2. Cloud Storage의 파일에 Cloud Storage 경로를 입력합니다.

9. 일괄 예측 출력에서 출력 형식을 선택합니다.

   1. BigQuery 경로 또는 Cloud Storage URI를 입력합니다.

10. 평가 시작을 클릭합니다.

Python

Vertex AI Pipelines에서 Vertex AI API 모델 평가 워크플로를 보려면 다음 모델 유형에 대한 예시 노트북을 참조하세요.

• AutoML 테이블 형식 분류

• AutoML 테이블 형식 회귀

• AutoML 동영상 분류

• AutoML 텍스트 분류

• 커스텀 테이블 형식 분류

• 커스텀 테이블 형식 회귀

Python SDK

Vertex AI로 모델을 평가하기 위한 SDK는 실험용 기능입니다. 실험용 기능 사용자로 가입하려면 온보딩 양식을 작성하세요.

모델 평가 작업이 완료되면 Vertex AI에서 자동으로 이메일 알림을 보냅니다.

평가 측정항목 보기

참고: Model Registry에 등록된 BigQuery ML 모델의 경우 Vertex AI에서는 회귀 및 이진 분류 모델의 평가 측정항목만 표시합니다.

콘솔

1. Google Cloud 콘솔에서 Vertex AI 모델 페이지로 이동합니다.

   모델 페이지로 이동

2. 모델 버전으로 이동합니다.

3. 평가 탭에서 측정항목을 봅니다.

Python

Vertex AI Pipelines에서 Vertex AI API 모델 평가 워크플로를 보려면 다음 모델 유형에 대한 예시 노트북을 참조하세요.

• AutoML 테이블 형식 분류

• AutoML 테이블 형식 회귀

• AutoML 동영상 분류

• AutoML 텍스트 분류

• 커스텀 테이블 형식 분류

• 커스텀 테이블 형식 회귀

Python SDK

Vertex AI로 모델을 평가하기 위한 SDK는 실험용 기능입니다. 실험용 기능 사용자로 가입하려면 온보딩 양식을 작성하세요.

평가 측정항목 비교

여러 모델, 모델 버전, 평가 작업 간에 평가 결과를 비교할 수 있습니다. 모델 버전 관리에 대한 자세한 내용은 Model Registry에서 버전 관리를 참조하세요.

분류, 회귀, 예측과 같은 동일한 유형의 모델만 비교할 수 있습니다. 다른 모델을 비교할 때는 모든 모델 버전의 유형이 동일해야 합니다.

평가는 한 번에 최대 5개까지만 비교할 수 있습니다.

1. Google Cloud 콘솔에서 Vertex AI Model Registry로 이동합니다.

   모델 페이지로 이동

2. 모델 또는 모델 버전으로 이동합니다.

   • 모델 페이지에서 여러 모델을 비교하려면 비교하려는 모델 이름 옆에 있는 체크박스를 선택합니다.

   • 여러 모델 버전을 비교하려면 다음 안내를 따르세요.

     1. 모델 페이지에서 모델 이름을 클릭하여 모델 버전 목록을 엽니다.

     2. 비교할 버전 옆에 있는 체크박스를 선택합니다.

   • 동일한 모델 버전의 평가 작업을 비교하려면 다음 안내를 따르세요.

     1. 모델 페이지에서 모델 이름을 클릭하여 모델 버전 목록을 엽니다.

     2. 버전 번호를 클릭합니다.

     3. 비교할 평가 작업 옆에 있는 체크박스를 선택합니다.

3. 비교를 클릭합니다.

다음 단계

• 모델 반복 방법 알아보기