사용자 가이드: 요약 자동 평가

요약 자동 평가 (자동 평가)는 정확성, 완전성, 준수라는 세 가지 측정항목을 기반으로 요약의 품질을 평가합니다. 이 기능은 맞춤 섹션 정의를 조정하거나 요약 모델에 영향을 미치는 소프트웨어를 업그레이드할 때 중요한 요약 생성기의 품질을 평가하는 데 도움이 됩니다. 평가 측정항목에 대한 자세한 내용은 요약 자동 평가 기본사항을 참고하세요.

시작하기 전에

  • 평가를 위한 후보 요약을 생성하는 요약 생성기를 만듭니다.
  • 생성기의 섹션 정의는 평가의 정답으로 사용됩니다.
  • 최종 점수가 생성기 품질을 반영하려면 각 섹션의 안내가 생성기의 안내와 일치해야 합니다.

요약 자동 평가 요청 만들기

요약 생성기를 만들려면 다음 단계를 따르세요.

  1. Agent Assist 콘솔로 이동하여 로그인합니다.

    콘솔로 이동

  2. 프로젝트를 선택합니다.

  3. 평가 > 새 평가를 클릭합니다.

  4. 고유한 표시 이름을 입력하고 후보자 요약과 일치하는 생성기를 선택합니다.

  5. 다음을 클릭합니다.

  6. 다음 두 가지 옵션 중 하나를 사용하여 평가 데이터 세트를 선택합니다.

    • 기간의 대화 무작위 샘플: Agent Assist 요약 기능을 구매한 경우 기간과 최대 대화 수를 지정합니다. 평가에서는 기록에서 최대 대화 수와 요약을 무작위로 선택합니다.
    • 특정 데이터 세트 선택: 대화형 통계로 선별한 특정 대화 샘플을 선택합니다.

  7. 다음 옵션 중 하나에서 요약 소스를 선택합니다.

    • 지정된 생성기를 사용하여 누락된 요약만 생성합니다. 요약 생성 비용을 지불합니다.
    • 모든 대화의 새로운 요약을 생성합니다. 요약 생성 비용을 지불합니다.
    • 요약을 생성하지 않습니다. 대신 데이터 세트에서 찾은 기존 요약을 사용하세요. 다른 비용을 지불해야 합니다.

  8. 다음을 클릭합니다.

  9. 폴더 선택을 클릭하고 결과를 저장할 버킷의 Cloud Storage 폴더를 선택한 다음 확인을 클릭합니다. 자동 평가가 CSV 파일에 작성되고 Cloud Storage 버킷에 저장됩니다.

  10. 실행을 클릭합니다. 이 작업은 장기 실행 작업입니다. 새 평가가 표에 표시됩니다.

평가

다음 단계에 따라 요약 생성기와 완료된 평가 세션 실행 목록을 확인하세요.

  1. Agent Assist 콘솔로 이동하여 로그인합니다. 콘솔로 이동
  2. 프로젝트를 선택합니다.
  3. 평가를 클릭합니다.
  4. 선택사항: 생성 시간 순서를 전환하려면 생성 시간 열 머리글에서 keyboard_arrow_down 아래쪽을 클릭합니다.

목록 필터링

목록을 필터링하여 특정 평가를 검색하려면 다음 단계를 따르세요.

  1. 평가 필터링을 클릭합니다.

  2. 다음 옵션 중 하나를 선택합니다.

    - **Display name**
- **Generator name**
- **Create time**

  3. 매개변수 값을 입력합니다.

평가 삭제

  1. 생성기가 평가를 완료할 때까지 기다립니다.
  2. 삭제 삭제를 클릭하여 평가를 지웁니다.

평가 결과 보기

Agent Assist 콘솔에서 자세한 평가 결과를 보려면 다음 단계를 따르세요.

  1. Agent Assist 콘솔로 이동하여 로그인합니다. 콘솔로 이동
  2. 프로젝트를 선택합니다.
  3. 평가를 클릭합니다.
  4. 목록에서 행을 클릭하여 다음 정보가 포함된 평가 세부정보를 확인합니다.
    • 생성기의 표시 이름
    • 대화 수
    • 대화형 인사이트 데이터 세트가 있는 경우 연결된 대화형 인사이트 데이터 세트의 이름
    • 실행 시간
    • Cloud Storage 출력
    • 전체 데이터 세트의 전체 성능 결과
    • 데이터 세트의 각 대화에 대한 대화 수준 결과

대화 수준 결과

상담사 지원 도구는 대화 수준 평가 결과를 표에 표시합니다.

  1. 평가 세부정보 페이지에서 대화 수준 결과 표의 행을 클릭하여 자세한 결과, 요약, 대화 스크립트를 확인합니다.
  2. 섹션을 클릭하면 요약에서 해당 섹션의 예가 표시됩니다.

결과 비교

다음 단계에 따라 여러 평가의 결과를 비교하세요.

  1. Agent Assist 콘솔에서 평가로 이동합니다.
  2. 평가를 클릭하여 세부정보를 확인합니다. 이 평가를 통해 비교의 기준을 제공하고 비교에 포함할 측정항목을 결정합니다.
  3. 비교 > 실행 추가를 클릭하여 비교할 다른 평가를 추가합니다. 한 번에 최대 5개의 평가를 비교할 수 있습니다. 각 표시 이름은 회색으로 강조 표시됩니다.
  4. 비교에서 평가를 삭제하려면 닫기 닫기를 클릭합니다.

제한사항

요약 자동 평가에서는 VPC 서비스 제어를 지원하지 않습니다.

사용 가능한 리전

요약 자동 평가는 두 Agent Assist 리전에서만 사용할 수 있습니다. 각 기능에 사용할 수 있는 리전 목록은 지역화 표를 참고하세요.