Os experimentos são usados para comparar o desempenho de várias versões de fluxo (versões variantes) com uma versão de controle (normalmente uma versão de produção) durante o processamento de tráfego em tempo real. Você pode alocar uma parte do tráfego ativo para cada versão do fluxo e monitorar as seguintes métricas:
- Contadas: contagem de sessões que atingiram END_SESSION sem acionar outras métricas abaixo. Disponível apenas para agentes que usam uma integração de telefonia.
- Taxa de transferência do agente em tempo real: contagem de sessões entregue para um agente em tempo real.
- Taxa de callback: contagem de sessões que foram reiniciadas por um usuário final. Disponível apenas para agentes que usam uma integração de telefonia.
- Taxa abandonada: contagem de sessões que foram abandonadas por um usuário final. Disponível apenas para agentes que usam uma integração de telefonia.
- Taxa de encerramento da sessão: contagem de sessões que atingiram END_SESSION.
- Contagem total de ausência de correspondência: contagem total de ocorrências de um evento sem correspondência.
- Contagem total de turnos: número total de turnos de conversa (uma entrada de usuário final e uma resposta do agente é considerada uma turno).
- Contagem média de turnos: o número médio de voltas.
preparação
Para se preparar para os experimentos, faça o seguinte:
- Decida qual fluxo será usado para o experimento. Não é possível executar vários experimentos em um único fluxo. Por isso, particione o agente em vários fluxos.
- Crie várias versions para seu fluxo. As diferenças entre cada versão podem ser pequenas ou grandes, dependendo do que você quer comparar.
- Defina a quantidade de tráfego que será alocada ao seu experimento. Se você estiver testando pequenas alterações, poderá começar com uma quantidade maior de tráfego. Para grandes alterações que podem ser prejudiciais, considere alocar uma pequena quantidade de tráfego para o experimento.
Criar um experimento
Para criar um experimento:
- Abra o Console do Dialogflow CX.
- Selecione seu projeto do GCP para abrir o seletor de agentes.
- Selecione o agente para abrir o builder.
- Selecione a guia Manage.
- Clique em Experimentos para abrir o painel "Experimentos".
- Selecione a guia Status.
- Clique em Criar.
- Digite uma descrição.
- Selecione o ambiente em que você quer executar o experimento.
- Selecione o fluxo do experimento.
- Como alternativa, insira o número de dias em que o experimento será interrompido automaticamente.
- Insira a versão do fluxo de controle e a porcentagem do tráfego que irá para a versão do controle.
- Insira de uma a quatro versões do fluxo de variantes e a porcentagem do tráfego que irá para a versão da variante.
- Opcionalmente, clique em Ativar lançamento automático e etapas para um lançamento gradual do
tráfego para o fluxo de variantes. Um experimento automatizado é baseado em etapas,
que são durações de tempo em que uma porcentagem do tráfego é aumentada
para o fluxo da variante. O lançamento automático só é compatível com um fluxo de variantes.
- Em Regras de lançamento, é possível definir uma ou mais regras
condicionais para determinar como o experimento continuará nas etapas.
- Se você selecionar Corresponder a pelo menos uma regra, o experimento prosseguirá para a próxima etapa se pelo menos uma regra e a duração da etapa atual forem atendidas.
- Se você selecionar Corresponder todas as regras, o experimento prosseguirá para a próxima etapa se todas as regras e a duração da etapa atual forem atendidas.
- Se você selecionar Somente etapas, o experimento continuará de acordo com a duração de cada etapa.
- Em Aumentar etapas, defina uma porcentagem de tráfego para alocar ao fluxo de variantes e uma duração de tempo para cada etapa. A duração padrão de cada etapa é de seis horas.
- Selecione Condições de parada para definir uma ou mais condições em que o tráfego será interrompido para o fluxo de variantes. Não é possível reiniciar um experimento interrompido.
- Em Regras de lançamento, é possível definir uma ou mais regras
condicionais para determinar como o experimento continuará nas etapas.
- Clique em Save.
Iniciar e interromper um experimento
Você pode iniciar um experimento salvo ou interromper manualmente um experimento em execução a qualquer momento. Interromper um experimento cancelará a alocação de tráfego e reverterá o tráfego para o estado original.
Para iniciar ou interromper um experimento, siga estas etapas:
- Abra o painel "Experimentos".
- Selecione a guia Status.
- Clique em Iniciar ou Interromper para um experimento na lista.
Gerenciar experimentos
Você pode editar ou excluir experimentos a qualquer momento:
- Abra o painel "Experimentos".
- Selecione a guia Status.
- Clique no menu de opções more_vert para ver um experimento na lista.
- Clique em Editar ou Excluir.
Monitorar o status de experimentos
Todos os experimentos, independentemente do status, podem ser encontrados no painel de experimentos. Os experimentos podem ter quatro status diferentes:
- Rascunho: o experimento foi criado, mas nunca foi executado.
- Pendente: o experimento começou recentemente, mas os resultados ainda não estão disponíveis.
- Em execução: o experimento está em execução, e os resultados temporários estão disponíveis.
- Concluído: o experimento foi concluído devido à interrupção automática ou manual.
Como ver os resultados do experimento
Para ver os resultados do experimento:
- Abra o Console do Dialogflow CX.
- Selecione seu projeto do GCP para abrir o seletor de agentes.
- Selecione o agente para abrir o builder.
- Selecione a guia Manage.
- Clique em Experimentos para abrir o painel "Experimentos".
- Selecione a guia Resultados.
- Selecione um ambiente e faça testes para ver os resultados.
Resultados de cor verde sugerem um resultado favorável, enquanto o vermelho sugere um resultado menos favorável. Em alguns casos, os números mais altos/mais baixos não são necessariamente melhores (taxa de abandono alta/taxa de abandono baixa).
Limitações
Considere as seguintes limitações:
- A configuração do agente Ativar registro de interações precisa estar ativada.