Guía del usuario: evaluación automática de resúmenes

La evaluación automática de resúmenes valora la calidad de los resúmenes en función de tres métricas: precisión, integridad y coherencia. Esta función te ayuda a evaluar la calidad de los generadores de resúmenes, lo que es fundamental a la hora de ajustar las definiciones de secciones personalizadas o de actualizar el software que afecta a los modelos de resumen. Para obtener más información sobre las métricas de evaluación, consulta los conceptos básicos de la autoevaluación de resúmenes.

Antes de empezar

  • Crea un generador de resúmenes que genere resúmenes candidatos para tu evaluación.
  • Las definiciones de sección del generador sirven como datos validados en el terreno para la evaluación.
  • Para que la puntuación final refleje la calidad del generador, las instrucciones de cada sección deben coincidir con las del generador.

Crear una solicitud de autoevaluación de resumen

Sigue estos pasos para crear un generador de resúmenes.

  1. Ve a la consola de Asistente e inicia sesión.

    Ir a la consola

  2. Selecciona el proyecto.

  3. Haz clic en Evaluaciones > Nueva evaluación.

  4. Escribe un Nombre visible único y elige un Generador que se ajuste al resumen del candidato.

  5. Haz clic en Siguiente.

  6. Elige un conjunto de datos de evaluación con una de las dos opciones siguientes:

    • Muestra aleatoria de conversaciones del periodo: si has pagado por la función de resumen de Agent Assist, especifica un Periodo y un Número de conversaciones máximo. Las evaluaciones seleccionan aleatoriamente hasta el número máximo de conversaciones y resúmenes de tu historial.
    • Seleccionar un conjunto de datos específico: elige una muestra concreta de conversaciones que hayas seleccionado con Estadísticas de conversaciones.

  7. Elige una fuente de resumen entre las siguientes opciones:

    • Genera solo los resúmenes que faltan con el generador especificado. Pagas el coste de generación del resumen
    • Generar nuevos resúmenes de todas las conversaciones. Pagas el coste de generación del resumen
    • No generes resúmenes. En su lugar, utilice los resúmenes que ya se hayan encontrado en el conjunto de datos. Debes pagar un coste diferente.

  8. Haz clic en Siguiente.

  9. Haz clic en Seleccionar carpeta, elige una carpeta de Cloud Storage en un segmento para almacenar el resultado y, a continuación, haz clic en Aceptar. La autoevaluación escribe en un archivo CSV y lo guarda en tu segmento de Cloud Storage.

  10. Haz clic en Ejecutar. Se trata de una operación de larga duración. Tu nueva evaluación aparece en la tabla.

Evaluaciones

Sigue estos pasos para ver una lista de generadores de resúmenes y de ejecuciones de sesiones de evaluación completadas.

  1. Ve a la consola de Asistente e inicia sesión. Ir a la consola
  2. Selecciona el proyecto.
  3. Haz clic en Evaluaciones.
  4. Opcional: Para cambiar el orden de la hora de creación, haz clic en keyboard_arrow_down Abajo en el encabezado de la columna Hora de creación.

Filtrar la lista

Sigue estos pasos para filtrar la lista y buscar una evaluación específica:

  1. Haz clic en Filtrar evaluaciones.

  2. Elige una de estas opciones:

    - **Display name**
- **Generator name**
- **Create time**

  3. Introduce el valor del parámetro.

Eliminar una evaluación

  1. Espera a que el generador termine de ejecutar una evaluación.
  2. Haz clic en Eliminar Eliminar para borrar la evaluación.

Ver los resultados de la evaluación

Sigue estos pasos para ver los resultados detallados de la evaluación en la consola de Asistente.

  1. Ve a la consola de Asistente e inicia sesión. Ir a la consola
  2. Selecciona el proyecto.
  3. Haz clic en Evaluaciones.
  4. Haga clic en cualquier fila de la lista para ver los detalles de la evaluación, que incluyen la siguiente información:
    • Nombre visible del generador
    • Número de conversaciones
    • Si hay conjuntos de datos de Conversational Insights, nombre del conjunto de datos de Conversational Insights asociado.
    • Tiempo de ejecución
    • Salida de Cloud Storage
    • Resultados de rendimiento generales de todo un conjunto de datos
    • Resultados a nivel de conversación de cada conversación de un conjunto de datos

Resultados a nivel de conversación

Agent Assist muestra los resultados de la evaluación a nivel de conversación en una tabla.

  1. En la página Detalles de la evaluación, haz clic en cualquier fila de la tabla Resultados a nivel de conversación para ver los resultados detallados, un resumen y una transcripción de la conversación.
  2. Haga clic en una sección para ver ejemplos de esa sección del resumen.

Comparación de resultados

Sigue estos pasos para comparar los resultados de diferentes evaluaciones:

  1. En la consola de Asistente, ve a Evaluaciones.
  2. Haz clic en una evaluación para ver sus detalles. Esta evaluación proporciona la base para la comparación y determina qué métricas incluye.
  3. Haz clic en Comparar > Añadir prueba para añadir otras evaluaciones y compararlas. Puedes comparar hasta cinco evaluaciones a la vez. Cada nombre visible se destaca en gris.
  4. Para quitar una evaluación de la comparación, haz clic en Cerrar Cerrar.

Limitación

La autoevaluación de resúmenes no es compatible con Controles de Servicio de VPC.

Regiones disponibles

La autoevaluación de resúmenes solo está disponible en dos regiones de Asistente. Para ver una lista de las regiones disponibles para cada función, consulta la tabla de regionalización.