Esta página descreve como pode usar experiências A/B para compreender o impacto da Pesquisa Vertex AI para comércio na sua empresa.
Vista geral
Uma experiência A/B é uma experiência aleatória com dois grupos: um grupo experimental e um grupo de controlo. O grupo experimental recebe um tratamento diferente (neste caso, previsões ou resultados da pesquisa da Vertex AI Search for commerce); o grupo de controlo não.
Quando executa uma experiência de teste A/B, inclui as informações sobre o grupo em que um utilizador estava quando regista eventos do utilizador. Essas informações são usadas para refinar o modelo e fornecer métricas.
Ambas as versões da sua aplicação têm de ser iguais, exceto que os utilizadores no grupo experimental veem resultados gerados pela Vertex AI Search for commerce e o grupo de controlo não. Regista eventos de utilizador para ambos os grupos.
Para mais informações sobre a divisão de tráfego, consulte o artigo Dividir tráfego na documentação do App Engine.
Plataformas de experiências
Configure a experiência através de uma plataforma de experiências de terceiros, como a VWO ou a AB Tasty. Os grupos de controlo e experimental recebem um ID da experiência exclusivo da plataforma. Quando regista um evento do utilizador,
especifique em que grupo o utilizador se encontra incluindo o ID da experiência no campo
experimentIds. O ID da experiência permite-lhe comparar as métricas das versões da sua aplicação vistas pelos grupos de controlo e experimental.
Práticas recomendadas para experiências A/B
O objetivo de uma experiência A/B é determinar com precisão o impacto da atualização do seu site (neste caso, usar o Vertex AI Search for commerce). Para obter uma medição precisa do impacto, tem de conceber e implementar a experiência corretamente, para que não surjam outras diferenças que afetem os resultados da experiência.
Para criar uma experiência A/B significativa, use as seguintes dicas:
Antes de configurar a experiência A/B, use a previsão ou a pré-visualização da pesquisa para garantir que o modelo se comporta como esperado.
Certifique-se de que o comportamento do seu site é idêntico para o grupo experimental e o grupo de controlo.
O comportamento do site inclui a latência, o formato de apresentação, o formato de texto, o esquema da página, a qualidade da imagem e o tamanho da imagem. Não deve haver diferenças percetíveis para nenhum destes atributos entre a experiência dos grupos de controlo e experimental.
Aceitar e apresentar os resultados tal como são devolvidos pela Vertex AI Search for commerce e apresentá-los pela mesma ordem em que são devolvidos.
Filtrar artigos esgotados é aceitável. No entanto, deve evitar filtrar ou ordenar os resultados com base nas regras da sua empresa.
Se estiver a usar eventos de utilizadores de pesquisa e incluir o token de atribuição obrigatório, certifique-se de que estão configurados corretamente. Consulte a documentação sobre tokens de atribuição.
Certifique-se de que a configuração de publicação que fornece quando pede recomendações ou resultados da pesquisa corresponde à sua intenção para essa recomendação ou resultado da pesquisa, e à localização onde apresenta os resultados.
Quando usa recomendações, a configuração de publicação afeta a forma como os modelos são preparados e, por conseguinte, os produtos que são recomendados. Saiba mais.
Se estiver a comparar uma solução existente com o Vertex AI Search for commerce, mantenha a experiência do grupo de controlo estritamente separada da experiência do grupo experimental.
Se a solução de controlo não fornecer uma recomendação ou um resultado da pesquisa, não forneça um resultado da pesquisa do Vertex AI Search for commerce nas páginas de controlo. Se o fizer, vai distorcer os resultados do teste.
Certifique-se de que os utilizadores não alternam entre o grupo de controlo e o grupo experimental. Isto é especialmente importante na mesma sessão, mas também é recomendado em várias sessões. Isto melhora o desempenho da experiência e ajuda a obter resultados de testes A/B com relevância estatística mais cedo.