튜토리얼: 콘솔을 사용하여 평가 실행

프리뷰

이 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

Google Google Cloud 콘솔을 사용하여 생성형 AI 평가 서비스를 시작하는 방법을 알아봅니다.

시작하기 전에

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   IAM으로 이동
2. 프로젝트를 선택합니다.
3. 액세스 권한 부여를 클릭합니다.

4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.

5. 역할 선택 목록에서 역할을 선택합니다.
6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
7. 저장을 클릭합니다.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   IAM으로 이동
2. 프로젝트를 선택합니다.
3. 액세스 권한 부여를 클릭합니다.

4. 새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.

5. 역할 선택 목록에서 역할을 선택합니다.
6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
7. 저장을 클릭합니다.

모델 평가

모델을 평가하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 생성형 AI 평가 페이지로 이동합니다.

   평가로 이동

2. 새 평가를 클릭하여 평가 페이지를 엽니다.

3. 평가 데이터 세트 정의에서 옵션을 선택합니다.

   • 파일 업로드: 업로드를 클릭하여 CSV 또는 JSONL 파일을 업로드합니다. 데이터 세트에는 프롬프트 템플릿에 사용할 프롬프트 또는 레코드가 포함되어야 하며, 선택적으로 모델 응답이 포함될 수 있습니다. 최대 행 수는 200개입니다.

   • 데이터 생성: Gen AI Evaluation Service가 데이터 세트를 생성하도록 안내하는 프롬프트 템플릿을 입력합니다. 프롬프트 템플릿에 정의한 변수가 데이터 세트에 생성되고 채워집니다. 자세한 내용은 프롬프트 템플릿 사용하기를 참고하세요.

     1. 생성할 변수 정의: 생성할 변수와 생성 안내를 위한 변수 설명을 지정합니다. 필요한 경우 다른 변수 설명 추가를 클릭합니다.

     2. 생성할 샘플 수를 입력합니다.

     3. 데이터 세트 생성 및 미리보기를 클릭하여 프롬프트 템플릿과 변수를 기반으로 생성된 데이터 세트를 표시합니다. 데이터 세트를 조정하려면 변수 설명에 세부정보를 추가하고 다시 생성을 클릭합니다.

   • 모델 로그 사용: 선택한 모델의 로깅된 트래픽에서 프롬프트와 대답의 스냅샷을 사용합니다. Vertex AI에 배포된 모델에서 요청-응답 로그를 사용 설정한 경우에만 이 옵션을 사용할 수 있습니다. 로깅을 사용 설정한 경우 충분한 샘플이 누적될 때까지 기다립니다.

     1. 트래픽을 로깅할 모델과 리전을 선택합니다. 선택한 모델과 리전에서 로깅을 이미 사용 설정해야 합니다.

     2. 샘플링 수를 입력합니다.

     3. (선택사항) 프롬프트 템플릿별 필터링을 사용 설정하여 프롬프트 템플릿과 일치하는 로그만 사용합니다. 다양한 사용 사례에 선택한 모델을 사용하고 특정 사용 사례를 평가하려는 경우에 유용합니다.

4. 평가할 모델 응답 정의에서 옵션을 선택합니다.

   • 데이터 세트에서 (평가 데이터 세트 정의에서 파일 업로드를 선택한 경우에만 사용 가능): 업로드된 데이터 세트의 필드 중 하나를 응답으로 사용하려면 응답 열을 선택합니다.

   • 모델에서 (평가 데이터 세트 정의에 모델 로그 사용을 선택한 경우에만 사용 가능): 모델 로그를 평가 데이터 세트로 사용하는 경우 Gen AI Evaluation Service는 모델 로그의 모델 응답을 사용합니다.

   • 통화 모델: 모델을 선택합니다. Gen AI Evaluation Service는 선택한 모델에서 프롬프트를 실행하고 평가에 응답을 사용합니다.

5. (선택사항) 자동 생성 평가 측정항목의 경우 맞춤 안내를 지정하여 각 프롬프트에서 생성된 기준표를 안내할 수 있습니다. 예를 들면 Evaluate the dataset on cultural sensitivity to the countries {name}입니다. 자세한 내용은 평가 측정항목 정의를 참고하세요.

6. 이름 및 출력 디렉터리에 다음을 입력합니다.

   1. 평가 이름: 평가 이름을 입력합니다.

   2. 비공개 데이터 출력 경로: 평가를 저장할 Cloud Storage 버킷의 이름을 입력하거나 찾아보기를 클릭하여 버킷을 선택합니다.

7. 평가를 클릭합니다.

평가 결과 보기

평가 결과를 보려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 생성형 AI 평가 페이지로 이동합니다.

   평가로 이동

2. 평가 이름을 클릭합니다.

3. 평가 데이터 세트의 각 프롬프트에 대해 모델의 응답이 평가 결과와 함께 표시됩니다.

다음 단계

• 평가 측정항목 정의