에이전트 유효성 검사

에이전트 설계 페이지에서 설명했듯이 에이전트의 설계가 에이전트 품질에 큰 영향을 미칠 수 있습니다. 에이전트 디자이너가 고품질 에이전트를 만들 수 있도록 Dialogflow는 유효성 검사 기능을 제공합니다. 에이전트 학습이 수행되고 완료될 때마다 자동으로 에이전트 유효성 검사가 제공됩니다. 유효성 검사 결과는 Dialogflow 콘솔 또는 API에서 액세스할 수 있습니다.

유효성 검사 결과는 참고용이며, 에이전트의 품질과 성능을 개선하려면 수정해야 하는 오류의 목록을 제공합니다. 에이전트에 오류가 있는 경우 이를 무시하고 에이전트를 실행하도록 선택할 수 있습니다. 에이전트 유효성 검사는 에이전트의 동작에 어떠한 영향도 주지 않습니다.

다음은 확인할 수 있는 결과의 예시입니다.

  • 인텐트에 너무 비슷한 학습 문구가 있습니다.
  • 인텐트에 충분한 수의 학습 문구에 사용되지 않는 매개변수가 있습니다.
  • 대체 인텐트에 부정적 예시가 없습니다.
  • 이 텍스트가 일부 학습 문구에만 주석 처리되고 다른 학습 문구에는 주석 처리되지 않았습니다.

자동 유효성 검사 사용 설정 및 중지

기본적으로 에이전트가 학습될 때마다 에이전트 유효성 검사가 자동으로 수행됩니다. 이 설정을 사용 설정하거나 중지할 수 있습니다.

  1. Dialogflow ES 콘솔로 이동합니다.
  2. 에이전트를 선택합니다.
  3. 에이전트 이름 옆에 있는 설정 아이콘을 클릭합니다.
  4. ML 설정 탭을 선택합니다.
  5. 에이전트 유효성 검사 설정을 사용(기본값) 또는 중지로 전환합니다.

에이전트 유효성 검사 스크린샷

에이전트 유효성 검사 페이지

에이전트의 유효성 검사 데이터에 액세스하려면 다음 안내를 따르세요.

  1. Dialogflow ES 콘솔로 이동합니다.
  2. 에이전트를 선택합니다.
  3. 사이드바 메뉴에서 유효성 검사를 클릭합니다.

에이전트 유효성 검사 스크린샷

인텐트 및 항목의 유효성 검사 결과

인텐트 목록 또는 항목 목록 페이지를 방문하면 유효성 검사 오류가 있는 인텐트나 항목의 이름 옆에는 표시기가 나타납니다.

에이전트 유효성 검사 오류 스크린샷

유효성 검사 오류가 있는 특정 인텐트 또는 항목의 페이지를 방문하면 저장 버튼 근처에 오류 표시기가 나타납니다.

에이전트 유효성 검사 오류 스크린샷

이 버튼을 클릭하면 인텐트 또는 항목의 오류 목록이 표시됩니다. 기본적으로 심각도가 CRITICAL 또는 ERROR인 오류만 표시됩니다. 심각도 유형을 전환하여 WARNING과 INFO도 표시할 수 있습니다.

에이전트 유효성 검사 오류 스크린샷

특정 학습 문구 및 매개변수에 대한 오류 표시기도 표시될 수 있으며, 이러한 표시기 위에 마우스를 올려 놓으면 세부정보가 표시됩니다.

에이전트 유효성 검사 오류 스크린샷

버전 및 환경의 유효성 검사 결과

버전 및 환경을 볼 때 각 에이전트 버전에 고유한 유효성 검사 오류가 있을 수 있습니다. 오류가 있으면 버전 옆에 유효성 검사 아이콘이 표시됩니다.

에이전트 유효성 검사 오류 스크린샷

아이콘을 클릭하면 세부정보가 표시됩니다.

에이전트 유효성 검사 오류 스크린샷

API를 사용한 유효성 검사 결과

대부분의 경우 Dialogflow 콘솔을 사용하여 유효성 검사 결과를 볼 수 있습니다. 하지만 API에서 이 데이터에 액세스할 수 있습니다.

REST

Agents 유형의 getValidationResult 메서드를 호출합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID

HTTP 메서드 및 URL: 

GET https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

심각도 상태

유효성 검사는 다음과 같은 심각도 상태를 표시할 수 있습니다.

심각도 설명
INFO 에이전트가 권장사항을 따르지 않습니다.
WARNING 에이전트가 예상대로 작동하지 않을 수 있습니다.
ERROR 에이전트에 부분적인 실패가 발생할 수 있습니다.
CRITICAL 에이전트가 완전히 실패할 수 있습니다.
SEVERITY_UNSPECIFIED 지정되지 않음 절대로 이 값을 사용하지 마세요. (이 심각도는 API를 통해 가능)

유효성 검사 시행

에이전트 학습이 수행되고 완료될 때마다 자동으로 에이전트 유효성 검사가 제공됩니다. 새로운 유효성 검사 결과를 생성하려면 자동 유효성 검사를 사용 중지하고 수동으로 유효성 검사를 트리거합니다. 콘솔의 에이전트 ML 설정 페이지를 참조하세요.

여러 문제 처리

다수의 문제가 발견되면 다음 사항을 고려해야 합니다.

  • 소규모 배치의 문제를 해결합니다. 유사한 문제가 많은 경우 에이전트를 다시 학습시킨 후 한 가지 문제를 해결하면 비슷한 문제가 해결될 수 있습니다.
  • 한 번에 최대 5,000개의 문제가 표시됩니다. 문제가 5,000개를 넘는 경우 5,000개 미만이 될 때까지 개수가 감소하지 않을 수 있습니다.
이전
감사 로깅
다음
애널리틱스