이 페이지에서는 A/B 실험을 사용해서 Vertex AI Search for Retail이 비즈니스에 미치는 영향을 이해하는 방법을 설명합니다.
개요
A/B 실험은 실험 그룹과 통제그룹이라는 두 그룹이 있는 무작위 실험입니다. 실험 그룹은 다른 방식으로 처리(이 경우 Vertex AI Search for Retail에서 예측 또는 검색 결과)되고 통제 그룹은 그렇지 않습니다
A/B 실험을 실행하면 사용자 이벤트를 기록할 때 사용자가 속했던 그룹에 대한 정보가 포함됩니다. 이 정보는 모델을 미세 조정하고 측정항목을 제공하기 위해 사용됩니다.
실험 그룹의 사용자는 Vertex AI Search for Retail에서 생성된 결과를 확인하지만 통제 그룹은 그렇지 않다는 점을 제외하면 두 버전의 애플리케이션이 동일해야 합니다. 두 그룹의 사용자 이벤트를 로깅합니다.
트래픽 분할에 대한 자세한 내용은 App Engine 문서의 트래픽 분할을 참조하세요.
실험 플랫폼
Google 최적화 도구 또는 Optimizely와 같은 타사 실험 플랫폼을 사용하여 실험을 설정합니다. 통제 그룹과 실험 그룹은 각각 플랫폼에서 고유한 실험 ID를 부여받습니다. 사용자 이벤트를 기록할 때 experimentIds 필드에 실험 ID를 포함하여 사용자가 속한 그룹을 지정합니다. 실험 ID를 제공하면 사용자가 통제 그룹과 실험 그룹이 보는 애플리케이션 버전의 측정항목을 비교할 수 있습니다.
A/B 실험 권장사항
A/B 실험의 목표는 사이트 업데이트의 영향을 정확히 파악하는 것입니다(이 경우 Vertex AI Search for Retail 적용의 영향). 영향을 정확히 측정하려면 다른 차이가 실험 결과에까지 영향을 주지 않도록 실험을 올바르게 설계하고 구현해야 합니다.
의미 있는 A/B 실험을 설계하려면 다음 팁을 참조하세요.
A/B 실험을 설정하기 전에 예측 또는 검색 미리보기를 사용하여 모델이 예상대로 작동하는지 확인합니다.
실험 그룹과 통제 그룹의 사이트 동작이 동일해야 합니다.
사이트 동작에는 지연 시간, 표시 형식, 텍스트 형식, 페이지 레이아웃, 이미지 품질, 이미지 크기가 포함됩니다. 통제 그룹과 실험 그룹의 경험 간에 이러한 속성에 대한 분명한 차이점이 없어야 합니다.
Vertex AI Search for Retail에서 반환된 결과를 허용 및 표시하고, 반환된 순서와 동일한 순서로 표시합니다.
재고가 없는 항목을 필터링할 수 있습니다. 하지만 비즈니스 규칙에 따라 결과를 필터링하거나 정렬해서는 안 됩니다.
사용자 이벤트에 기여 분석 토큰을 포함할 경우 올바르게 설정되었는지 확인합니다. 기여 분석 토큰 문서를 참조하세요.
추천 또는 검색 결과를 요청할 때 사용자가 제공하는 서빙 구성이 해당 추천 또는 검색 결과 의도와 결과를 표시하는 위치와 일치하는지 확인합니다.
추천을 사용하면 서빙 구성이 모델 학습 방법 및 제품 추천에 영향을 미칩니다. 자세히 알아보기
기존 솔루션을 Vertex AI Search for Retail과 비교하는 경우 통제 그룹의 실험 환경을 실험 그룹의 환경과 분리해서 유지합니다.
통제 솔루션이 추천 또는 검색 결과를 제공하지 않으면 통제 페이지에 Vertex AI Search for Retail의 추천 또는 검색 결과를 제공하지 마세요. 제공할 경우 테스트 결과가 왜곡될 수 있습니다.
사용자가 제어 그룹과 실험 그룹 간에 전환하지 않도록 합니다. 이는 동일한 세션 내에서 특히 중요하지만 세션 전체에서 권장됩니다. 이렇게 하면 실험 성능이 개선되고 통계적 유의성이 있는 A/B 테스트 결과를 더 빨리 얻을 수 있습니다.