기본 제공되는 테스트 기능을 사용하여 버그를 발견하고 회귀를 방지할 수 있습니다. 에이전트를 테스트하려면 시뮬레이터를 사용하여 테스트 사례를 만들고 골든 테스트 사례를 정의한 다음 필요에 따라 테스트 사례를 실행합니다. 테스트 실행은 테스트 사례에 정의된 최종 사용자 입력에 대한 에이전트 응답이 변경되지 않았는지 확인합니다.
아래 안내에는 콘솔 사용 방법이 나와 있지만 API에서도 동일한 기능을 확인할 수 있습니다.
시뮬레이터 설정
시뮬레이터를 처음 열 때는 에이전트 환경 또는 흐름 버전과 활성 흐름을 선택해야 합니다. 대부분의 경우 임시 환경과 기본 시작 흐름을 사용해야 합니다.
웹훅 전환 버튼을 사용하면 언제든지 웹훅 호출을 사용 설정하거나 사용 중지할 수 있습니다. 웹훅을 사용 중지하는 것은 테스트 사례를 정의할 때 유용합니다.
시뮬레이터 입력
시뮬레이터와 상호작용 시 최종 사용자 입력을 텍스트로 제공한 다음 Enter 키를 누르거나 보내기 버튼을 클릭합니다. 일반 텍스트 외에도 입력 선택기를 사용하여 다른 입력 유형을 선택할 수 있습니다.
- Parameter: 매개변수 값을 삽입합니다. 새 매개변수를 제공하거나 기존 매개변수의 사전 설정 값을 제공할 수 있습니다.
- Event: 이벤트를 호출합니다.
- DTMF: 전화 통신 상호작용을 위해 듀얼 톤 다중 주파수 신호(Touch-Tone) 입력을 전송합니다.
테스트 사례 만들기
대화를 만들려면 다음 단계를 따르세요.
- Dialogflow CX 콘솔을 엽니다.
- GCP 프로젝트를 선택합니다.
- 에이전트를 선택합니다.
- Test Agent를 클릭하여 시뮬레이터를 엽니다.
- 에이전트와 채팅을 통해 테스트하려는 기능을 다루는 대화를 만듭니다. 매 차례마다 트리거된 인텐트, 에이전트 응답, 활성 페이지, 세션 매개변수 값이 올바른지 확인합니다.
대화를 테스트 사례로 저장하려면 다음 안내를 따르세요.
- 저장 버튼을 클릭합니다.
- 테스트 사례 표시 이름을 입력합니다. 모든 테스트 사례의 표시 이름은 고유해야 합니다.
- 원하는 경우 태그 이름을 입력합니다. 태그를 사용하여 테스트 사례를 정리할 수 있습니다. 모든 태그는 '#'으로 시작해야 합니다.
- 선택적으로 테스트 사례의 목적을 설명하는 메모를 제공합니다.
- 원하는 경우 테스트 사례에서 추적하려는 매개변수를 선택합니다. 추천 매개변수 목록이 제공됩니다. 추적할 다른 매개변수를 입력할 수도 있습니다. 추적 매개변수를 선택하면 테스트 사례를 실행할 때 매개변수 어설션이 확인됩니다. 매개변수 어설션에 대한 자세한 내용은 테스트 사례 실행 섹션을 참조하세요.
- 저장을 클릭하여 테스트 사례를 저장합니다.
테스트 사례 실행
에이전트의 모든 테스트 사례를 보려면 관리 탭에서 테스트 사례를 클릭합니다. 테스트 사례 표에는 테스트 이름, 태그, 최신 테스트 시간 및 환경, 최신 테스트 결과가 표시됩니다.
테스트 사례를 실행하려면 다음 안내를 따르세요.
- 실행하려는 테스트 사례를 선택하고 실행을 클릭합니다. 또는 모든 테스트 사례 실행을 클릭합니다.
- 테스트 사례를 실행할 환경을 선택합니다.
- 테스트가 실행되기 시작하며 태스크 큐에서 상태를 확인할 수 있습니다. 완료되면 테스트 결과가 업데이트됩니다.
테스트 결과 세부정보를 보려면 테스트 사례를 클릭합니다. 골든 테스트 사례와 마지막 실행 대화는 나란히 표시됩니다.
에이전트의 대화 차례를 클릭하면 해당 차례의 세부정보를 볼 수 있습니다. 테스트 엔진은 다음과 같은 데이터 유형을 차례로 테스트하여 테스트 결과를 평가합니다.
에이전트 대화상자:
각 대화 차례에서 에이전트 대화는 골든에서 마지막 실행으로 비교됩니다. 차이가 있으면 경고가 표시됩니다. 에이전트 대화는 동일한 에이전트 상태에 따라 달라지는 경우가 많기 때문에 이러한 차이로 인해 테스트에 통과하지 못하는 일은 없습니다.
일치하는 인텐트:
테스트를 통과하려면 각 차례마다 일치하는 인텐트가 동일해야 합니다.
현재 페이지:
테스트에 통과하기 위해서는 각 차례의 활성 페이지가 동일해야 합니다.
세션 매개변수:
테스트 사례를 만들 때 추적 매개변수를 추가한 경우 테스트 엔진은 해당 세션 매개변수를 확인하고 매개변수 누락 또는 예상치 않은 매개변수값이 있거나 매개변수 값이 일치하지 않으면 테스트에 실패합니다.
경우에 따라 업데이트된 에이전트로 인해 테스트 사례에 예상되는 오류가 발생할 수 있습니다. 마지막 실행 시 대화에 예상 변경사항이 포함된 경우 골든으로 저장을 클릭하여 골든 테스트 사례를 덮어쓸 수 있습니다.
테스트 사례 수정
테스트 사례를 수정하려면 테스트 사례 표에서 테스트 사례를 선택한 후 테스트 사례 이름 옆에 있는 수정 아이콘을 클릭합니다. 테스트 사례 업데이트 대화상자가 나타납니다.
테스트 사례의 메타데이터 및 설정을 수정하려면 설정 탭을 클릭합니다.
테스트 사례 이름, 태그, 참고 필드를 수정하거나 새 추적 매개변수를 추가할 수 있습니다.
저장을 클릭합니다.
테스트 사례의 사용자 입력을 수정하려면 사용자 입력 탭을 클릭합니다.
사용자 입력을 JSON 형식으로 추가, 삭제, 수정합니다.
확인을 클릭합니다. 자동 테스트 실행이 시작되고, 테스트 실행이 완료되면 업데이트된 대화가 표시됩니다.
저장을 클릭하여 원래의 골든 테스트 사례를 덮어쓰거나 다른 이름으로 저장을 클릭하여 변경사항이 포함된 새 테스트 사례를 만듭니다.
테스트 범위 보기
모든 테스트 사례의 테스트 범위 보고서를 보려면 범위를 클릭합니다.
범위 페이지에는 다음 탭이 포함됩니다.
전환 범위는 테스트 사례가 수행한 전환 타겟을 가진 모든 상태 핸들러(경로 그룹 제외)에 대해 결정됩니다. 소스 흐름/페이지 및 전환 타겟 흐름/페이지가 표에 나열됩니다.
인텐트 범위는 테스트 사례와 일치하는 모든 인텐트에 따라 결정됩니다.
경로 그룹 범위는 테스트 사례와 일치하는 모든 경로 그룹에 따라 결정됩니다.
테스트 사례 가져오기 및 내보내기
테스트 사례를 내보내려면 다음 안내를 따르세요.
- 테스트 사례를 선택하고 내보내기를 클릭하거나 모든 테스트 사례 내보내기를 클릭합니다.
- 로컬 파일로 다운로드를 클릭하거나 Cloud Storage 버킷 URI를 제공하고 Google Cloud Storage로 내보내기를 클릭합니다.
테스트 사례를 가져올 때 Dialogflow는 항상 대상 에이전트의 새 테스트 사례를 만들고 기존 테스트 사례를 덮어쓰지 않습니다. 테스트 사례를 가져오려면 다음 안내를 따르세요.
- 가져오기를 클릭합니다.
- 로컬 파일을 선택하거나 Cloud Storage 버킷 URI를 제공합니다.