실험

실험은 실시간 트래픽을 처리하는 동안 여러 흐름 버전(변이 버전)의 성능을 제어 버전(일반적으로 프로덕션 버전)과 비교하는 데 사용됩니다. 각 흐름 버전에 실시간 트래픽 일부를 할당하고 다음 측정항목을 모니터링할 수 있습니다.

  • 포함됨: 아래 다른 측정항목을 트리거하지 않고 END_SESSION에 도달한 세션 수입니다. 전화 통합을 사용하는 에이전트만 사용할 수 있습니다.
  • 실시간 에이전트 전달 속도: 라이브 에이전트에게 전달된 세션 수
  • 콜백 속도: 최종 사용자가 다시 시작한 세션 수입니다. 전화 통합을 사용하는 에이전트만 사용할 수 있습니다.
  • 이탈률: 최종 사용자가 이탈한 세션 수입니다. 전화 통합을 사용하는 에이전트만 사용할 수 있습니다.
  • 세션 종료율: END_SESSION에 도달한 세션 수입니다.
  • 일치하는 않는 총 횟수: 일치하지 않는 이벤트의 총 발생 횟수입니다.
  • 총 차례 횟수: 총 대화 차례 수(최종 사용자 입력 1개와 에이전트 응답 1개를 차례 하나로 간주).
  • 평균 차례 횟수: 평균 차례 횟수입니다.

준비

실험을 준비하려면 다음 안내를 따르세요.

  1. 실험에 사용할 흐름을 결정합니다. 단일 흐름에서 여러 실험을 실행할 수 없으므로 에이전트를 여러 흐름으로 나누어야 합니다.
  2. 흐름의 여러 버전을 만듭니다. 각 버전의 차이점은 비교하려는 대상에 따라 작거나 클 수 있습니다.
  3. 실험에 할당할 트래픽 양을 결정합니다. 사소한 변경사항을 테스트할 경우 트래픽이 더 많은 상태로 시작할 수 있습니다. 방해가 될 수 있는 대규모 변경의 경우 실험에 소량의 트래픽을 할당하는 것이 좋습니다.

실험 만들기

실험을 만들려면 다음 안내를 따르세요.

  1. Dialogflow CX 콘솔을 엽니다.
  2. 프로젝트를 선택하여 에이전트 선택기를 엽니다.
  3. 에이전트를 선택하여 에이전트 빌더를 엽니다.
  4. 관리 탭을 선택합니다.
  5. 실험을 클릭하여 실험 패널을 엽니다.
  6. 상태 탭을 선택합니다.
  7. 만들기를 클릭합니다.
  8. 설명을 입력합니다.
  9. 실험을 실행할 환경을 선택합니다.
  10. 실험의 흐름을 선택합니다.
  11. 원하는 경우 실험이 자동으로 중지되는 일수를 입력합니다.
  12. 제어 흐름 버전과 제어 버전으로 이동할 트래픽 비율을 입력합니다.
  13. 1~4개의 변형 흐름 버전과 변형 버전으로 이동할 트래픽 비율을 입력합니다.
  14. 원하는 경우 변이 흐름에 트래픽을 점진적으로 출시하려면 자동 출시 및 단계 사용 설정을 클릭합니다. 자동화된 실험은 변이 흐름에서 트래픽 비율이 증가하는 기간인 단계를 기반으로 합니다. 자동 출시는 하나의 변이 흐름만 지원합니다.
    1. 출시 규칙에서 하나 이상의 조건부 규칙을 설정하여 실험이 단계별로 진행되는 방법을 결정할 수 있습니다.
      1. 최소 하나와 일치 규칙을 선택한 경우 하나 이상의 규칙과 현재 단계의 지속 시간이 충족되면 실험이 다음 단계로 진행됩니다.
      2. 모두 일치 규칙을 선택한 경우에는 모든 규칙과 현재 단계의 지속 시간이 충족되면 실험이 다음 단계로 진행됩니다.
      3. 단계만을 선택하면 각 단계의 지속 시간에 따라 실험이 진행됩니다.
    2. 단계 증가에서 변이 흐름에 할당할 트래픽 비율과 각 단계의 지속 시간을 정의합니다. 각 단계의 기본 지속 시간은 6시간입니다.
    3. 중지 조건을 선택하여 변이 흐름에 트래픽 전송을 중지할 조건을 하나 이상 설정합니다. 중지된 실험은 다시 시작할 수 없습니다.
  15. 저장을 클릭합니다.

실험 시작 및 중지

언제든지 저장된 실험을 시작하거나 실행 중인 실험을 수동으로 중지할 수 있습니다. 실험을 중지하면 트래픽 할당이 취소되고 트래픽이 원래 상태로 되돌아갑니다.

실험을 시작하거나 중지하려면 다음 안내를 따르세요.

  1. 실험 패널을 엽니다.
  2. 상태 탭을 선택합니다.
  3. 목록에서 실험 시작 또는 중지를 클릭합니다.

실험 관리

언제든지 실험을 수정하거나 삭제할 수 있습니다.

  1. 실험 패널을 엽니다.
  2. 상태 탭을 선택합니다.
  3. 목록에서 실험의 옵션 메뉴를 클릭합니다.
  4. 수정 또는 삭제를 클릭합니다.

실험 상태 모니터링

상태와 관계없이 모든 실험을 실험 패널에서 확인할 수 있습니다. 실험 상태는 네 가지로 나눌 수 있습니다.

  • 임시: 실험이 생성되었지만 실행된 적이 없습니다.
  • 대기중: 실험이 최근 시작되었으나 아직 결과가 제공되지 않습니다.
  • 실행 중: 실험이 실행 중이며 중간 결과를 사용할 수 있습니다.
  • 완료됨: 자동 또는 수동으로 중지되어 실험이 완료되었습니다.

실험 결과 보기

실험 결과를 확인하려면 다음 안내를 따르세요.

  1. Dialogflow CX 콘솔을 엽니다.
  2. 프로젝트를 선택하여 에이전트 선택기를 엽니다.
  3. 에이전트를 선택하여 에이전트 빌더를 엽니다.
  4. 관리 탭을 선택합니다.
  5. 실험을 클릭하여 실험 패널을 엽니다.
  6. 결과 탭을 선택합니다.
  7. 환경과 실험을 선택해 결과를 확인합니다.

초록색으로 표시된 결과는 유리한 결과를 제안하고 빨간색은 덜 유리한 결과를 제안합니다. 경우에 따라 숫자가 높을수록/낮을수록 더 좋은 것은 아닙니다(높은 이탈률/낮은 이탈률).

제한사항

다음과 같은 제한사항이 적용됩니다.

이전
테스트 사례
다음
지속적 테스트 및 배포