이 문서는 Recommendations AI, Retail Search, 새로운 Retail 콘솔에 대한 문서입니다. 제한된 GA 단계에서 Retail Search를 사용하려면 Cloud 영업팀에 문의하세요.

Recommendations AI만 사용하는 경우 Recommendations 콘솔에서 Recommendations AI 문서를 참조하세요.

A/B 실험

이 페이지에서는 A/B 실험을 통해 Retail이 비즈니스에 어떤 영향을 미치는지 파악하는 방법을 설명합니다.

개요

A/B 실험은 실험 그룹과 통제그룹이라는 두 그룹이 있는 무작위 실험입니다. 실험 그룹은 다른 방식으로 처리(이 경우 Retail API에서 예측 또는 검색결과)되고 통제 그룹은 그렇지 않습니다

Retail API로 A/B 실험을 실행하면 사용자 이벤트를 기록할 때 사용자가 속했던 그룹에 대한 정보가 포함됩니다. Retail API는 이 정보를 사용하여 모델을 미세조정하고 측정항목을 제공합니다.

실험 그룹의 사용자는 Retail API에서 생성된 결과를 확인하지만 통제 그룹은 그렇지 않다는 점을 제외하면 두 버전의 애플리케이션이 동일해야 합니다. 두 그룹의 사용자 이벤트를 로깅합니다.

트래픽 분할에 대한 자세한 내용은 App Engine 문서의 트래픽 분할을 참조하세요.

실험 플랫폼

Google 최적화 도구 또는 Optimizely와 같은 타사 실험 플랫폼을 사용하여 실험을 설정합니다. 통제 그룹과 실험 그룹은 각각 플랫폼에서 고유한 실험 ID를 부여받습니다. 사용자 이벤트를 기록할 때 experimentIds 필드에 실험 ID를 포함하여 사용자가 속한 그룹을 지정합니다. 실험 ID를 제공하면 Retail API가 통제 그룹과 실험 그룹이 보는 애플리케이션 버전의 측정항목을 비교할 수 있습니다.

A/B 실험 권장사항

A/B 실험의 목표는 사이트 업데이트의 영향을 정확히 파악하는 것입니다(이 경우 Retail 적용의 영향). 영향을 정확히 측정하려면 다른 차이가 실험 결과에까지 영향을 주지 않도록 실험을 올바르게 설계하고 구현해야 합니다.

의미 있는 A/B 실험을 설계하려면 다음 팁을 참조하세요.

  • A/B 실험을 설정하기 전에 예측 또는 검색 미리보기를 사용하여 모델이 예상대로 작동하는지 확인합니다.

  • 실험 그룹과 통제 그룹의 사이트 동작이 동일해야 합니다.

    사이트 동작에는 지연 시간, 표시 형식, 텍스트 형식, 페이지 레이아웃, 이미지 품질, 이미지 크기가 포함됩니다. 통제 그룹과 실험 그룹의 경험 간에 이러한 속성에 대한 분명한 차이점이 없어야 합니다.

  • Retail에서 반환된 결과를 허용 및 표시하고, 반환된 순서와 동일한 순서로 표시합니다.

    재고가 없는 항목을 필터링할 수 있습니다. 하지만 비즈니스 규칙에 따라 결과를 필터링하거나 정렬해서는 안 됩니다.

  • 사용자 이벤트에 기여 분석 토큰을 올바르게 포함해야 합니다. 자세히 알아보기

  • 추천 또는 검색결과를 요청할 때 사용자가 제공하는 제공 구성이 해당 추천 또는 검색결과 의도와 결과를 표시하는 위치와 일치하는지 확인합니다.

    Recommendations AI를 사용하면 제공 구성이 모델 학습 방법 및 제품 추천에 영향을 미칩니다. 자세히 알아보기

  • 기존 솔루션을 Retail API와 비교하는 경우 통제 그룹의 실험 환경을 실험 그룹의 환경과 분리해서 유지합니다.

    통제 솔루션이 추천 또는 검색결과를 제공하지 않으면 통제 페이지에서 Retail API의 추천 또는 검색결과를 제공하지 마세요. 제공할 경우 테스트 결과가 왜곡될 수 있습니다.