Experimentos

Los experimentos se usan para comparar el rendimiento de varias versiones del flujo (versiones variantes) con una versión de control (por lo general, una versión de producción) mientras se maneja el tráfico en vivo. Puedes asignar una parte del tráfico en vivo a cada versión del flujo y supervisar las siguientes métricas:

• Contenido: Recuento de sesiones que alcanzaron END_SESSION sin activar otras métricas a continuación. Solo disponible para los agentes que usan una integración de telefonía.
• Frecuencia de transferencia de agentes en vivo: cantidad de sesiones transferidas a un agente en vivo.
• Frecuencia de devolución de llamada: Número de sesiones que un usuario final reinició. Solo disponible para los agentes que usan una integración de telefonía.
• Porcentaje de abandono: Número de sesiones que interrumpió un usuario final. Solo disponible para los agentes que usan una integración de telefonía.
• Porcentaje de finalización de sesión: Número de sesiones que alcanzaron END_SESSION.
• Recuento total de sin coincidencia: El recuento total de casos de un evento de sin coincidencia.
• Recuento total de turnos: La cantidad total de turnos de conversación (una entrada del usuario final y una respuesta del agente se considera un turno).
• Recuento del promedio de turnos: Cantidad promedio de turnos.

Preparación

A fin de prepararte para un experimento, haz lo siguiente:

1. Decide qué flujo se usará para el experimento. No puedes ejecutar varios experimentos en un solo flujo, así que asegúrate de haber particionado el agente en varios flujos.
2. Crea varias versions para tu flujo. Las diferencias entre cada versión pueden ser pequeñas o grandes, según lo que desees comparar.
3. Decida la cantidad de tráfico que se asignará al experimento. Si pruebas cambios menores, es posible que comiences con una mayor cantidad de tráfico. Para cambios grandes que pueden ser perjudiciales, considera asignar una pequeña cantidad de tráfico al experimento.

Crea un experimento

Para crear un experimento, haz lo siguiente:

1. Abre la consola de Dialogflow CX.
2. Selecciona tu proyecto de GCP para abrir el selector de agentes.
3. Selecciona tu agente para abrir el compilador del agente.
4. Selecciona la pestaña Administrar.
5. Haz clic en Experimentos para abrir el panel Experimentos.
6. Selecciona la pestaña Estado.
7. Haz clic en Crear.
8. Ingresa una descripción.
9. Selecciona el entorno desde el que deseas ejecutar el experimento.
10. Selecciona el flujo del experimento.
11. De manera opcional, ingresa la cantidad de días en los que el experimento se detendrá de forma automática.
12. Ingresa la versión del flujo de control y el porcentaje de tráfico que se dirigirá a la versión de control.
13. Ingresa una o cuatro versiones del flujo de variantes y el porcentaje de tráfico que se dirigirá a la versión de la variante.
14. De manera opcional, haz clic en Habilitar lanzamiento y pasos automáticos para obtener un lanzamiento gradual del tráfico al flujo de variantes. Un experimento automatizado se basa en pasos, que son duraciones de tiempo en las que un porcentaje de tráfico aumenta al flujo de la variante. El lanzamiento automático solo admite un flujo de variantes.
    1. En Reglas de lanzamiento, puedes establecer una o más reglas condicionales para determinar cómo debería continuar el experimento a través de los pasos.
       1. Si seleccionas Al menos una regla, el experimento continúa con el siguiente paso si se cumple al menos una regla y la duración del paso actual.
       2. Si seleccionas Hacer coincidir todas las reglas, el experimento continúa con el siguiente paso si se cumplen todas las reglas y la duración del paso actual.
       3. Si seleccionas Solo pasos, el experimento continúa de acuerdo con el tiempo de duración de cada paso.
    2. En Aumenta los pasos, define un porcentaje de tráfico para asignar al flujo de variantes y una duración de tiempo en cada paso. El tiempo de duración predeterminado para cada paso es de 6 horas.
    3. Selecciona Detener condiciones para establecer una o más condiciones en las que desees dejar de enviar tráfico al flujo de variantes. Ten en cuenta que no puedes reiniciar un experimento detenido.
15. Haz clic en Guardar.

Iniciar y detener un experimento

Puedes iniciar un experimento guardado o detener manualmente un experimento en ejecución en cualquier momento. Si detienes un experimento, se cancelará la asignación de tráfico y se revertirá el tráfico a su estado original.

Nota: Si detienes un experimento mientras está pendiente, los resultados no estarán disponibles. Si detienes un experimento mientras está en ejecución, los resultados podrían no ser concluyentes o faltar.

Para iniciar o detener un experimento, haz lo siguiente:

1. Abre el panel Experimentos.
2. Selecciona la pestaña Estado.
3. Haz clic en Iniciar o Detener para ver un experimento en la lista.

Administra experimentos

Nota: Puedes cambiar la asignación de tráfico de variantes mientras se ejecuta un experimento.

Puedes editar o borrar experimentos en cualquier momento:

1. Abre el panel Experimentos.
2. Selecciona la pestaña Estado.
3. Haz clic en el menú de opción para ver un experimento en la lista.
4. Haz clic en Editar o Borrar.

Supervisa el estado de los experimentos

Todos los experimentos, independientemente de su estado, se pueden encontrar en el panel de experimentos. Los experimentos pueden tener cuatro estados diferentes:

• Borrador: Se creó el experimento, pero nunca se ejecutó.
• Pendiente: El experimento comenzó recientemente, pero los resultados aún no están disponibles.
• En ejecución: El experimento está en ejecución y los resultados provisionales están disponibles.
• Completado: El experimento se completó debido a que se detuvo de forma manual o automática.

Visualiza los resultados del experimento

Para ver los resultados del experimento, haz lo siguiente:

1. Abre la consola de Dialogflow CX.
2. Selecciona tu proyecto de GCP para abrir el selector de agentes.
3. Selecciona tu agente para abrir el compilador del agente.
4. Selecciona la pestaña Administrar.
5. Haz clic en Experimentos para abrir el panel Experimentos.
6. Selecciona la pestaña Resultados.
7. Selecciona un entorno y experimenta para ver los resultados.

Los resultados en color verde sugieren un resultado favorable, mientras que el rojo sugiere un resultado menos favorable. Ten en cuenta que, en algunos casos, los números más altos y más bajos no siempre son mejores (tasa de abandono alto/porcentaje de abandono bajo).

Nota: Verás “no hay resultados del experimento” si no hay suficientes conversaciones a través de cada variante del experimento.

Limitaciones

Se aplica la siguiente limitación:

• La configuración del agente Habilitar registro de interacción debe estar habilitada.