실험은 실시간 트래픽을 처리하는 동안 여러 흐름 버전(변이 버전)의 성능을 제어 버전(일반적으로 프로덕션 버전)과 비교하는 데 사용됩니다. 각 흐름 버전에 실시간 트래픽 일부를 할당하고 다음 측정항목을 모니터링할 수 있습니다.
- 포함됨: 아래 다른 측정항목을 트리거하지 않고 END_SESSION에 도달한 세션 수입니다. 전화 통합을 사용하는 에이전트만 사용할 수 있습니다.
- 실시간 에이전트 전달 속도: 라이브 에이전트에게 전달된 세션 수
- 콜백 속도: 최종 사용자가 다시 시작한 세션 수입니다. 전화 통합을 사용하는 에이전트만 사용할 수 있습니다.
- 이탈률: 최종 사용자가 이탈한 세션 수입니다. 전화 통합을 사용하는 에이전트만 사용할 수 있습니다.
- 세션 종료율: END_SESSION에 도달한 세션 수입니다.
- 일치하는 않는 총 횟수: 일치하지 않는 이벤트의 총 발생 횟수입니다.
- 총 차례 횟수: 총 대화 차례 수(최종 사용자 입력 1개와 에이전트 응답 1개를 차례 하나로 간주).
- 평균 차례 횟수: 평균 차례 횟수입니다.
준비
실험을 준비하려면 다음 안내를 따르세요.
- 실험에 사용할 흐름을 결정합니다. 단일 흐름에서 여러 실험을 실행할 수 없으므로 에이전트를 여러 흐름으로 나누어야 합니다.
- 흐름의 여러 버전을 만듭니다. 각 버전의 차이점은 비교하려는 대상에 따라 작거나 클 수 있습니다.
- 실험에 할당할 트래픽 양을 결정합니다. 사소한 변경사항을 테스트할 경우 트래픽이 더 많은 상태로 시작할 수 있습니다. 방해가 될 수 있는 대규모 변경의 경우 실험에 소량의 트래픽을 할당하는 것이 좋습니다.
실험 만들기
실험을 만들려면 다음 안내를 따르세요.
- Dialogflow CX 콘솔을 엽니다.
- GCP 프로젝트를 선택하여 에이전트 선택기를 엽니다.
- 에이전트를 선택하여 에이전트 빌더를 엽니다.
- 관리 탭을 선택합니다.
- 실험을 클릭하여 실험 패널을 엽니다.
- 상태 탭을 선택합니다.
- 만들기를 클릭합니다.
- 설명을 입력합니다.
- 실험을 실행할 환경을 선택합니다.
- 실험의 흐름을 선택합니다.
- 원하는 경우 실험이 자동으로 중지되는 일수를 입력합니다.
- 제어 흐름 버전과 제어 버전으로 이동할 트래픽 비율을 입력합니다.
- 1~4개의 변형 흐름 버전과 변형 버전으로 이동할 트래픽 비율을 입력합니다.
- 원하는 경우 변이 흐름에 트래픽을 점진적으로 출시하려면 자동 출시 및 단계 사용 설정을 클릭합니다. 자동화된 실험은 변이 흐름에서 트래픽 비율이 증가하는 기간인 단계를 기반으로 합니다. 자동 출시는 하나의 변이 흐름만 지원합니다.
- 출시 규칙에서 하나 이상의 조건부 규칙을 설정하여 실험이 단계별로 진행되는 방법을 결정할 수 있습니다.
- 최소 하나와 일치 규칙을 선택한 경우 하나 이상의 규칙과 현재 단계의 지속 시간이 충족되면 실험이 다음 단계로 진행됩니다.
- 모두 일치 규칙을 선택한 경우에는 모든 규칙과 현재 단계의 지속 시간이 충족되면 실험이 다음 단계로 진행됩니다.
- 단계만을 선택하면 각 단계의 지속 시간에 따라 실험이 진행됩니다.
- 단계 증가에서 변이 흐름에 할당할 트래픽 비율과 각 단계의 지속 시간을 정의합니다. 각 단계의 기본 지속 시간은 6시간입니다.
- 중지 조건을 선택하여 변이 흐름에 트래픽 전송을 중지할 조건을 하나 이상 설정합니다. 중지된 실험은 다시 시작할 수 없습니다.
- 출시 규칙에서 하나 이상의 조건부 규칙을 설정하여 실험이 단계별로 진행되는 방법을 결정할 수 있습니다.
- 저장을 클릭합니다.
실험 시작 및 중지
언제든지 저장된 실험을 시작하거나 실행 중인 실험을 수동으로 중지할 수 있습니다. 실험을 중지하면 트래픽 할당이 취소되고 트래픽이 원래 상태로 되돌아갑니다.
실험을 시작하거나 중지하려면 다음 안내를 따르세요.
- 실험 패널을 엽니다.
- 상태 탭을 선택합니다.
- 목록에서 실험 시작 또는 중지를 클릭합니다.
실험 관리
언제든지 실험을 수정하거나 삭제할 수 있습니다.
- 실험 패널을 엽니다.
- 상태 탭을 선택합니다.
- 목록에서 실험의 옵션 more_vert 메뉴를 클릭합니다.
- 수정 또는 삭제를 클릭합니다.
실험 상태 모니터링
상태와 관계없이 모든 실험을 실험 패널에서 확인할 수 있습니다. 실험 상태는 네 가지로 나눌 수 있습니다.
- 임시: 실험이 생성되었지만 실행된 적이 없습니다.
- 대기중: 실험이 최근 시작되었으나 아직 결과가 제공되지 않습니다.
- 실행 중: 실험이 실행 중이며 중간 결과를 사용할 수 있습니다.
- 완료됨: 자동 또는 수동으로 중지되어 실험이 완료되었습니다.
실험 결과 보기
실험 결과를 확인하려면 다음 안내를 따르세요.
- Dialogflow CX 콘솔을 엽니다.
- GCP 프로젝트를 선택하여 에이전트 선택기를 엽니다.
- 에이전트를 선택하여 에이전트 빌더를 엽니다.
- 관리 탭을 선택합니다.
- 실험을 클릭하여 실험 패널을 엽니다.
- 결과 탭을 선택합니다.
- 환경과 실험을 선택해 결과를 확인합니다.
초록색으로 표시된 결과는 유리한 결과를 제안하고 빨간색은 덜 유리한 결과를 제안합니다. 경우에 따라 숫자가 높을수록/낮을수록 더 좋은 것은 아닙니다(높은 이탈률/낮은 이탈률).
제한사항
다음과 같은 제한사항이 적용됩니다.
- 상호작용 로깅 사용 설정 에이전트 설정을 사용 설정해야 합니다.