Nesta página, descrevemos como usar experimentos A/B para entender como a Vertex AI para Pesquisa para varejo está afetando seus negócios.
Visão geral
Um experimento A/B é um experimento aleatório com dois grupos: um grupo experimental e um grupo de controle. O grupo experimental recebe tratamento diferente (neste caso, previsões ou resultados da pesquisa da Vertex AI para Pesquisa para varejo) e o grupo de controle não.
Ao realizar um experimento A/B, você inclui as informações sobre em qual grupo um usuário estava quando os eventos foram registrados. Essas informações são usadas para refinar o modelo e fornecer métricas.
As duas versões do aplicativo precisam ser as mesmas, exceto que os usuários no grupo experimental veem os resultados gerados pela Vertex AI para Pesquisa para varejo, e o grupo de controle não. Você registra eventos de usuário em ambos os grupos.
Para mais informações sobre a divisão de tráfego, consulte Como dividir o tráfego na documentação do App Engine.
Plataformas experimentais
Configure o experimento usando uma plataforma de experimento de terceiros, como o Google Optimize ou o Optimizer. Os grupos experimental e de controle recebem um ID de experimento exclusivo da plataforma. Ao registrar um evento de usuário, especifique o grupo em que o usuário está, incluindo o código do experimento no campo experimentIds. Ao fornecer o ID do experimento, você pode comparar as métricas das versões do seu aplicativo vistas pelos grupos de controle e experimental.
Práticas recomendadas para experimentos A/B
O objetivo de um experimento A/B é determinar com precisão o impacto da atualização do site (nesse caso, usando a Vertex AI para Pesquisa para varejo). Para ter uma medida precisa do impacto, é necessário projetar e implementar o experimento corretamente para que outras diferenças não se influenciem e afetem os resultados.
Para criar um experimento A/B significativo, use as seguintes dicas:
Antes de configurar seu experimento A/B, use a previsão ou a visualização de pesquisa para garantir que o modelo esteja se comportando conforme o esperado.
Verifique se o comportamento do seu site é idêntico ao do grupo experimental e do grupo de controle.
O comportamento do site inclui latência, formato de exibição, formato de texto, layout da página, qualidade da imagem e tamanho da imagem. Não pode haver diferenças visíveis para nenhum desses atributos entre a experiência dos grupos de controle e experimental.
Aceite e exiba os resultados conforme eles são retornados da Vertex AI para Pesquisa para varejo e exiba-os na mesma ordem em que são retornados.
Filtrar itens que estão esgotados é aceitável. No entanto, evite filtros ou organize os resultados com base nas suas regras de negócios.
Se você incluir um token de atribuição com os eventos de usuário, verifique se ele está configurado corretamente. Consulte a documentação dos tokens de atribuição.
Verifique se a configuração de veiculação fornecida ao solicitar recomendações ou resultados da pesquisa corresponde à sua intenção para essa recomendação ou resultado da pesquisa e ao local em que os resultados são exibidos.
Quando você usa recomendações, a configuração de exibição afeta a forma como os modelos são treinados e, portanto, quais produtos são recomendados. Saiba mais.
Se você estiver comparando uma solução atual com a Vertex AI para Pesquisa para varejo, mantenha a experiência do grupo de controle estritamente separada da experiência do grupo experimental.
Se a solução de controle não fornecer uma recomendação ou um resultado da pesquisa, não forneça um da Vertex AI para Pesquisa para varejo nas páginas de controle. Se você fizer isso, os resultados do teste serão distorcidos.
Garanta que seus usuários não alternem entre o grupo de controle e o grupo experimental. Isso é especialmente importante na mesma sessão, mas também recomendado em todas as sessões. Isso melhora o desempenho do experimento e ajuda você a conseguir resultados de testes A/B estatisticamente significativos mais cedo.