Nesta página, descrevemos como monitorar o tráfego do experimento A/B e comparar as principais métricas de negócios para pesquisa no console do Search for Retail.
Visão geral
É possível realizar um experimento A/B para comparar as principais métricas de negócios entre sua implementação de pesquisa atual e a Vertex AI para Pesquisa para varejo.
Depois de configurar o experimento e a divisão de tráfego, é possível monitorar o tráfego dele e visualizar as métricas de negócios usando a página Experimento no console do Search for Retail.
Para configurar o monitoramento de experimentos A/B no console, insira informações sobre seu teste A/B, como nome, período e informações do grupo experimental. Cada grupo de variante do experimento é mapeado para um grupo experimental criado para o experimento A/B, em que o primeiro grupo configurado no console é tratado como o controle de referência.
Cada experimento tem uma guia Monitoramento que exibe métricas de divisão de tráfego que podem ajudar a determinar se o teste A/B está configurado corretamente. Isso é importante para validar se o viés foi introduzido no teste A/B. Por exemplo, um problema típico a ser observado é se algumas consultas ou categorias são veiculadas por um grupo experimental, mas não por outros.
Cada experimento também tem uma guia Análise, em que é possível visualizar as principais comparações das métricas de negócios. Duas categorias de métricas de negócios estão incluídas:
- Métricas por pesquisa ou por navegação, como cliques por pesquisa.
- Métricas por pesquisa ou por visita de navegação, como receita por visita de navegação.
Consulte a lista de métricas para uma lista completa.
Cada métrica de negócios fornece valores brutos, aumento relativo em comparação com o controle de referência e um intervalo de confiança de 95%. É possível visualizar métricas agregadas e métricas por data.
A guia "Monitoramento de tráfego" mostra se houve divisões de tráfego não intencionais e as datas em que elas ocorreram. Uma divisão de tráfego não intencional é determinada comparando a porcentagem real de divisão de tráfego com a porcentagem de divisão pretendida inserida ao configurar o monitoramento. A divisão de tráfego será considerada correta se a diferença relativa for igual ou menor que 10%. Por exemplo, se o tráfego for dividido igualmente em dois grupos, uma divisão real de 45% a 55% estará dentro do intervalo pretendido.
Você pode usar o console para monitorar vários experimentos simultaneamente.
A data e as métricas do experimento divididas por data usam América/Los_Angeles como fuso horário e 0h do horário dos EUA/Los_Angeles para as datas de início e término.
Você pode atualizar os detalhes do experimento no console, como datas de início e término, número de grupos de variantes, IDs do experimento e porcentagem de divisão de tráfego pretendida, a qualquer momento, independentemente de o experimento estar em andamento, concluído ou pendente. Os dados são atualizados retroativamente.
O monitoramento e a análise dos experimentos A/B têm os seguintes requisitos/limitações:
O período máximo dos dados do experimento que podem ser acompanhados é de 180 dias. Se um experimento tiver sido iniciado há mais de 180 dias, as métricas mais antigas não serão capturadas.
O monitoramento de tráfego por consulta ou por categoria retorna somente as 100 principais consultas ou categorias que recebem a maior parte do tráfego de todos os grupos de variantes do experimento.
Antes de começar
Antes de configurar o monitoramento no console do Search for Retail para um experimento A/B:
Configure a ingestão de eventos do usuário para eventos veiculados pela sua implementação de pesquisa atual e pela Vertex AI para Pesquisa para varejo.
Revise as práticas recomendadas para experimentos A/B.
Configure o experimento usando uma plataforma de experimento de terceiros, como o Google Optimize ou o Optimizer.
Configure e anote o evento de usuário
experimentIdspara cada grupo experimental. Ao configurar o monitoramento de experimentos, você precisa especificar os IDs do experimento para cada grupo de variante.
Adicionar um experimento no console
Use os procedimentos a seguir para adicionar um novo experimento a ser monitorado no console da Search for Retail:
Neste procedimento, você cria grupos de variantes no console do Search for Retail que correspondem aos grupos experimentais atuais criados na plataforma de experimentos de terceiros. Para conferir exemplos de como os grupos de variantes podem ser mapeados para grupos experimentais atuais, consulte Exemplos de configurações de experimentos.
Adicionar detalhes do experimento
Adicione um experimento no console e insira os detalhes dele.
Acesse a página Experimentos no console do Search for Retail.
Acessar a página "Experimentos"Clique em Adicionar experimento.
A página Novo experimento é aberta.
Insira um nome para o experimento.
Selecione as datas de início e término do experimento.
Se o tráfego do experimento estiver configurado para aumentar gradualmente, defina a data de início como uma data em que esse aumento seja concluído e a divisão de tráfego esteja estabilizada.
Selecione o tipo de atividade que o experimento rastreia:
Procurar: navegação no seu site por categoria de página. A atividade de navegação é indicada por uma consulta vazia na resposta da pesquisa.
Pesquisa: pesquisas de consulta de texto no seu site.
Em seguida, crie grupos de variantes para o experimento.
Adicionar variantes
Depois de adicionar os detalhes do experimento no console, crie grupos de variantes que correspondam a cada grupo experimental.
O primeiro grupo de variantes que você configurou é a variante de referência. O valor de referência geralmente representa sua solução atual.
Antes de começar, verifique se você tem o evento de usuário experimentIds para cada grupo experimental.
Clique em Add Variant Arm.
O painel Create Variant Arm é aberto.
Insira o evento de usuário
experimentIdassociado à configuração do experimento que esse grupo de variantes vai monitorar:Se você estiver configurando seu primeiro grupo de variantes:insira o evento de usuário
experimentIdassociado ao grupo de referência que vai servir como valor de referência.Se você já configurou o grupo de variantes do valor de referência: insira o evento do usuário
experimentIdassociado ao próximo grupo experimental.
Insira um nome legível para este grupo de variante.
Esse nome é exibido nos painéis de monitoramento no console.
(Opcional) Envie uma descrição desse grupo de variantes.
Selecione um destino de tráfego de veiculação:
API Search for Retail da Google Vertex AI: se esse grupo de variante monitorar o tráfego de resultados de varejo da Vertex AI para Pesquisa.
External: se esse grupo de variante monitorar o tráfego em busca de resultados de um serviço externo. Por exemplo, o grupo de variantes de valor de referência (ou de controle) provavelmente representará um destino externo se o experimento estiver comparando o tráfego de um serviço atual com o tráfego da Vertex AI para Pesquisa para varejo.
Clique em Criar para concluir o processo.
O grupo de variantes é exibido na página Novo experimento.
Repita as etapas anteriores para criar grupos de variantes associados a cada grupo de experimentos que você planeja monitorar.
Você precisa ter pelo menos um grupo Externo e um grupo da API Google Vertex AI para Pesquisa for Retail.
(Opcional) Por padrão, a porcentagem de tráfego pretendido é dividida igualmente entre todos os grupos de variantes. Para personalizar as porcentagens de tráfego pretendidas:
Na seção Adicionar variantes, clique em um valor de porcentagem de tráfego na coluna %de tráfego.
O painel Porcentagem de tráfego é aberto.
No campo Distribuição de peso, selecione Porcentagens personalizadas.
Na coluna %de tráfego de cada grupo de variantes, insira a porcentagem de tráfego pretendido.
A porcentagem de tráfego total em todos os grupos de variantes precisa totalizar 100%.
Clique em Concluído.
O painel Porcentagem de tráfego é fechado.
Clique em Criar na página Novo experimento para concluir a criação do experimento.
O experimento é exibido na página Experimentos de integração.
Exemplos de configurações de experimentos
Esta seção apresenta dois exemplos de configurações de experimentos.
O exemplo 1 mostra um controle de valor de referência e um grupo experimental da Vertex AI para Pesquisa para Varejo.
O exemplo 2 mostra a comparação de um controle de referência com dois grupos experimentais da Vertex AI para Pesquisa para varejo.
Exemplo 1: dois grupos de variantes
Neste exemplo, suponha que você planeja configurar um experimento A/B com:
- 20% das solicitações de pesquisa são enviadas a mecanismos de pesquisa internos como grupo de controle de referência.
- 20% das solicitações de pesquisa são enviadas à API Vertex AI Search for Retail como grupo experimental
- 60% como um grupo de validação que não está no teste A/B
A configuração da solicitação e do evento do usuário seria:
| Tipo de tráfego | Discovery Engine | event.experimentIds |
event.attributionToken |
Porcentagem do tráfego |
|---|---|---|---|---|
| Controlar o tráfego | Interno | CONTROL |
N/A | 20% |
| Tráfego do experimento | Google Vertex AI para Pesquisa para API Retail | EXPERIMENT |
Token de atribuição da resposta da pesquisa | 20% |
| Tráfego de validação | Um / ambos | N/A | Depende do Discovery Engine | 60% |
O tráfego de retenção pode ser veiculado por um mecanismo de pesquisa interno,
a Vertex AI para Pesquisa para varejo ou ambos. Como eles não fazem parte do teste A/B, eles não têm um ID do experimento. Para indicar quais eventos do usuário fazem parte do
teste A/B, forneça informações de experimentIds e
attributionToken. Suas strings experimentId podem ser diferentes das apresentadas
neste exemplo. Verifique se os IDs usados são consistentes entre os
experimentos e os eventos do usuário.
Ao criar o experimento correspondente no console, você criaria apenas dois grupos de variantes, porque o grupo de validação não faz parte do experimento. A divisão da porcentagem de tráfego pretendido entre os dois grupos de variantes é de 50% / 50%.
Para configurar o monitoramento desse experimento de exemplo, você cria grupos de variantes correspondentes no console para cada grupo experimental. A tabela a seguir mostra as informações que você inseriria no console durante a configuração do grupo de variantes para este exemplo.
| Nome do grupo de variante | Destino do tráfego | Código do experimento de eventos do usuário | % de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controle | Externo | CONTROLE | 50% |
| Exemplo de grupo experimental | Google Vertex AI para Pesquisa para API Retail | EXPERIMENTO | 50% |
Exemplo 2: três grupos de variantes
Neste exemplo, suponha que você planeja realizar um experimento A/B nas consultas principais (consultas de alta frequência) e incluir a ativação e a desativação de atributos dinâmicos. As configurações de solicitações e eventos de usuário seriam:
| Nome do grupo de variante | Destino do tráfego | event.experimentIds | event.attributionToken | Porcentagem do tráfego |
|---|---|---|---|---|
| Controle de consultas de cabeça | Interno | CONTROLE | N/A | 50% das consultas principais |
| Atributos dinâmicos de consultas de cabeçalho ATIVADOS | Google Vertex AI para Pesquisa para API Retail | EXP_DF_ON | Token de atribuição da resposta da pesquisa | 25% das consultas principais |
| Atributos dinâmicos das consultas de cabeçalho DESATIVADOS | Google Vertex AI para Pesquisa para API Retail | EXP_DF_OFF | Token de atribuição da resposta da pesquisa | 25% das consultas principais |
| Consultas que não são principais e outras limitações | Google Vertex AI para Pesquisa para API Retail | N/A | Depende do mecanismo usado | N/A |
Para configurar o monitoramento desse experimento de exemplo, você cria grupos de variantes correspondentes no console para cada grupo experimental. A tabela a seguir mostra as informações que você inseriria no console durante a configuração do grupo de variantes para este exemplo.
| Nome do grupo de variante | Destino do tráfego | Código do experimento de eventos do usuário | % de tráfego pretendido |
|---|---|---|---|
| Exemplo de grupo de controle | Externo | CONTROLE | 50% |
| Exemplo de grupo experimental 1 | Google Vertex AI para Pesquisa para API Retail | EXP_DF_ON | 25% |
| Exemplo de grupo experimental 2 | Google Vertex AI para Pesquisa para API Retail | EXP_DF_OFF | 25% |
Métricas de tráfego
A página Monitoramento de um experimento mostra se há divisões de tráfego não intencionais para as seguintes métricas:
- Contagem de eventos de pesquisa/navegação por data
- Contagem de visitantes da Pesquisa/navegação por data
- Contagem de eventos de pesquisa/navegação por categoria
Quando ocorrem divisões de tráfego indesejadas para uma dessas métricas, o card na parte de cima da página Monitoramento mostra as datas em que ocorreu a divisão. Clique em Divisões de tráfego não intencionais para ver uma tabela filtrável listando as divisões de tráfego não intencionais para essa métrica.
As tabelas a seguir na página Monitoramento de um experimento comparam as métricas de tráfego entre as variantes de acordo com o uso. Clique em Mostrar mais ao lado de qualquer título de tabela para abrir uma tabela filtrável que lista todas as divisões de tráfego dessa métrica:
Contagem de eventos de pesquisa/navegação por data: o número total de pesquisas ou navegações que ocorreram em um grupo de variantes em uma determinada data.
Contagem de visitantes da pesquisa/navegação por data: é o número de visitantes que consultaram ou navegaram em um grupo de variante em uma determinada data.
Contagem de eventos de pesquisa/navegação por categoria: o número total de vezes que uma determinada consulta ou categoria foi pesquisada em um grupo de variantes desde a data de início do experimento até a data de término (ou até a data de hoje, se o experimento estiver em andamento). Esta tabela mostra somente as 100 principais consultas ou categorias em termos do tráfego total de todos os grupos de variantes no experimento.
Monitorar um experimento
A página Experimentos de integração mostra uma tabela dos experimentos recentes.
Para monitorar um experimento:
Acesse a página Experimentos no console do Search for Retail.
Acessar a página "Experimentos"Clique no nome do experimento.
A página Monitoramento do experimento será aberta.
Confira se há divisões de tráfego indesejadas.
Cada métrica exibe as datas em que ocorreram divisões de tráfego não intencionais.
Se você vir divisões não intencionais, clique em Divisões de tráfego não intencionais para ver uma tabela filtrável listando as divisões de tráfego não intencionais para essa métrica.
Resolver divisões de tráfego não intencionais
O monitoramento de experimentos do console da Pesquisa para varejo pode ajudar a identificar possíveis problemas no seu experimento.
Se você encontrar divisões de tráfego não intencionais, verifique se os eventos estão marcados com o ID do experimento correto. Por exemplo, um evento que pertence a um grupo de controle sendo marcado com o ID do experimento errado pode fazer com que o evento seja atribuído ao grupo de variantes errado.
Se a inclusão de tags de eventos estiver funcionando corretamente, as divisões de tráfego não intencionais relatadas pelo console da Search for Retail poderão indicar problemas de divisão de tráfego na plataforma do experimento. Quando esse for o caso, pause o teste A/B antes de resolver o problema para que o experimento não produza resultados incorretos.
Métricas de negócios para análise
Dois grupos de métricas de negócios estão disponíveis:
- Métricas por pesquisa ou por navegação
- Visita por pesquisa ou visita por navegação
Métricas de visita por pesquisa
As definições de métricas por visita de pesquisa estão listadas abaixo. As definições de métricas por visita de navegação são semelhantes às métricas por visita de pesquisa, com todas as instâncias de pesquisa substituídas por navegação.
Na taxa de pedidos de compra, uma ordem de compra pode incluir várias SKUs. Cada SKU pode ter uma quantidade maior ou igual a um.
| Nome da métrica | Definição |
|---|---|
| Contagem de visitas de pesquisa | Contagem de visitas que contém pelo menos uma pesquisa. |
| Taxa de visualização de página | Contagem de cliques (visualizações de página) / contagem de visitas de pesquisa |
| Taxa de adição ao carrinho (ATC) | Contagem de blocos "Adicionar ao carrinho" em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa da ordem de compra | Contagem de ordens de compra em visitas de pesquisa / contagem de visitas de pesquisa |
| Taxa de receita | Soma da receita em visitas de pesquisa / contagem de visitas de pesquisa |
| Valor médio do pedido (VMP) | Soma da receita nas visitas de pesquisa / contagem de ordens de compra nas visitas de pesquisa |
Métricas por pesquisa
As definições de métricas por pesquisa estão listadas abaixo. As definições de métricas por navegação são semelhantes às métricas por pesquisa, com todas as instâncias de pesquisa substituídas por "navegação".
| Nome da métrica | Definição |
|---|---|
| Número de pesquisas | Contagem de eventos de pesquisa |
| Taxa de ausência de resultados | Contagem de eventos de pesquisa sem resultados / contagem de pesquisas |
| CTR (taxa de cliques) | Contagem de cliques gerados com a pesquisa (visualizações de página) / contagem de pesquisas |
| Taxa de adição ao carrinho (ATC) | Contagem de unidades de adição ao carrinho baseadas em pesquisa / contagem de pesquisas |
| Taxa de compra | Contagem de unidades de compra orientadas por pesquisa / contagem de pesquisas |
| Taxa de receita | Soma da receita gerada pela pesquisa / contagem de pesquisas |
| Valor médio da unidade (AUV) | Soma da receita gerada pela pesquisa / contagem de unidades de compra impulsionadas pela pesquisa |
Analisar a performance dos negócios do experimento
A guia Análise de cada experimento exibe painéis de métricas de negócios. Os painéis mostram comparações de performance em todos os grupos de variantes.
Há dois painéis de métricas:
- Métricas por visita da pesquisa e por visita da navegação
- Métricas por pesquisa e por navegação
As métricas de pesquisa ou de navegação são exibidas com base no atributo ProductType do experimento.
Cada painel exibe uma tabela de métricas resumidas com resultados agregados nas datas exibidas no filtro de período. Os valores de data padrão são as datas de início e término do experimento.
Cada métrica é exibida como uma tabela de resultados agregados, bem como um gráfico de valores diários com informações mais detalhadas.
O período da tabela agregada usa as datas de início e término do experimento como valores de data padrão. Se o experimento estiver em andamento, a data de término será definida como a data atual. É possível modificar o filtro de período. Se userAgent for
fornecido com eventos de usuário ingeridos, também será possível dividir as métricas por tipo de dispositivo.
Clique no ícone Atualizar para aplicar filtros modificados às métricas.
Quando o aumento relativo da métrica for positivo o suficiente para exceder a largura de banda do intervalo de confiança, uma cor de plano de fundo verde será exibida para essa variante. Da mesma forma, se o aumento relativo for negativo o suficiente, uma cor de fundo vermelha é exibida para essa variante. Se o aumento relativo for menor que a largura do intervalo de confiança, uma cor de fundo cinza indica que o resultado não tem significância estatística.
Por exemplo, ao comparar um grupo de variantes e um grupo de controle de referência:
- Se uma métrica Taxa de cliques por pesquisa for +3,0% e o intervalo de confiança, mostrado como Aumento CI, for [2,1%, 4,0%], o grupo de variantes vai ser destacado em verde para indicar que tem a melhor performance para essa métrica em comparação com o controle de referência.
- Se uma métrica Taxa de receita por visita de navegação for de -1,5% e o intervalo de confiança for [-2,6%, -0,4%], o grupo de variantes será destacado em vermelho para indicar que tem desempenho pior nessa métrica em comparação com o controle de referência.
- Se uma métrica Valor médio da unidade por pesquisa for +1,0% e o intervalo de confiança for [-1,1%, 3,0%], o grupo da variante será destacado em cinza para indicar que a diferença no desempenho ainda não tem significância estatística.
Geralmente, quanto mais pontos de dados, menor é a variação. As métricas acumuladas durante algumas semanas terão uma largura de banda de intervalo de confiança menor do que as métricas diárias e têm mais probabilidade de mostrar significância estatística.
Modificar os detalhes do experimento
Você pode atualizar os detalhes do experimento no console, como data de início e término, número de grupos de variantes, IDs do experimento e porcentagem da divisão de tráfego pretendida a qualquer momento, independentemente de o experimento estar em andamento, concluído ou pendente. Os dados são atualizados retroativamente.
Para editar os detalhes do experimento, faça o seguinte:
Acesse a página Experimentos no console do Search for Retail.
Acessar a página "Experimentos"Na tabela que mostra seus experimentos recentes, encontre o experimento que você planeja modificar.
Clique no ícone de três pontos Ações à direita da linha da tabela e, em seguida, clique em Editar.
A página Editar experimento é aberta.
Modifique os campos do experimento que você quer atualizar.
Clique em Update to save your changes.
Excluir um experimento do console
Para excluir um experimento no console da Pesquisa para varejo:
Acesse a página Experimentos no console do Search for Retail.
Acessar a página "Experimentos"Na tabela que mostra suas experiências recentes, encontre aquela que você planeja excluir.
Clique no ícone de três pontos Ações à direita da linha da tabela e, em seguida, clique em Excluir.
A janela de confirmação Excluir experimento? vai ser aberta.
Digite o nome do experimento e clique em Confirmar para confirmar a exclusão.
Quando a exclusão for concluída, o console vai mostrar uma mensagem informando que o experimento foi excluído.