평가는 차단 호출 또는 비차단 호출을 제공합니다. 프로덕션 요구사항에 따라 콜백 유형을 선택합니다.
| 콜백 유형 | 선택한 서비스 | 참고사항 |
|---|---|---|
| 동기식 API (차단형) | 평가 온라인 서비스 | 시작 오버헤드가 없습니다. SDK를 사용하여 호출할 수 있습니다. 호출자 프로세스에서 차단 호출을 실행합니다. |
| 비동기식 API(비차단형) | 평가 파이프라인 서비스 | 시작 오버헤드는 약 5분입니다. SDK 또는 UI를 사용하여 호출할 수 있습니다. 프로젝트에서 Vertex AI 관리형 파이프라인을 시작합니다. |
Rapid Eval SDK
Rapid Eval SDK에 대한 자세한 내용은 Vertex AI SDK의 평가 소개를 참조하세요.
Rapid Eval API
Rapid Eval API에 대한 자세한 내용은 Rapid Eval API를 참조하세요.
서비스 계정
서비스 계정은 온라인 평가 서비스에서 모델 기반 평가 측정항목에 대한 온라인 예측 서비스로부터 예측을 가져오는 데 사용됩니다. 이 서비스 계정은 온라인 평가 서비스에 대한 첫 번째 요청에서 프로비저닝됩니다.
| 이름 | 설명 | 이메일 주소 | 역할 |
|---|---|---|---|
| Vertex AI Rapid Eval 서비스 에이전트 | 모델 기반 평가를 위한 예측을 가져오는 데 사용되는 서비스 계정입니다. | service-PROJECT_NUMBER@gcp-sa-ENV-vertex-eval.iam.gserviceaccount.com |
roles/aiplatform.rapidevalServiceAgent |
Rapid Eval 서비스 에이전트와 관련된 권한은 다음과 같습니다.
| 역할 | 권한 |
|---|---|
| Vertex AI Rapid Eval 서비스 에이전트(roles/aiplatform.rapidevalServiceAgent) | aiplatform.endpoints.predict |
다음 단계
- 온라인 평가 서비스를 빠르게 실행하는 방법 알아보기. 온라인 평가 빠른 시작 사용해 보기
- 성능 평가 알아보기
- 계산 기반 평가 알아보기
- 쌍별 모델 기반 평가 알아보기
- 기반 모델 조정 방법 알아보기