Guía del usuario: Evaluación automática del resumen

La evaluación automática del resumen (autoevaluación) evalúa la calidad de los resúmenes según tres métricas: precisión, integridad y cumplimiento. Esta función te ayuda a evaluar la calidad de los generadores de resúmenes, lo que es fundamental cuando se ajustan las definiciones de secciones personalizadas o se actualiza el software que afecta a los modelos de resumen. Para obtener más detalles sobre las métricas de evaluación, consulta los conceptos básicos de la autoevaluación de resúmenes.

Antes de comenzar

  • Crea un generador de resúmenes que genere resúmenes candidatos para tu evaluación.
  • Las definiciones de sección en el generador sirven como verdad fundamental para la evaluación.
  • Para que la puntuación final refleje la calidad del generador, las instrucciones de cada sección deben coincidir con las del generador.

Crea una solicitud de autoevaluación de resumen

Sigue estos pasos para crear un generador de resúmenes.

  1. Navega a la consola de Agent Assist y accede.

    Ir a la consola

  2. Elige tu proyecto.

  3. Haz clic en Evaluaciones > Nueva evaluación.

  4. Ingresa un Nombre visible único y elige un Generador que coincida con el resumen del candidato.

  5. Haz clic en Siguiente.

  6. Elige un conjunto de datos de evaluación con una de las siguientes dos opciones:

    • Muestra aleatoria de conversaciones del período: Si pagaste por la función de resumen de Agent Assist, especifica un período y una cantidad máxima de conversaciones. Las evaluaciones seleccionan de forma aleatoria hasta la cantidad máxima de conversaciones y resúmenes de tu historial.
    • Selecciona un conjunto de datos específico: Elige una muestra específica de conversaciones que seleccionaste con Estadísticas de conversaciones.

  7. Elige una fuente de resumen entre las siguientes opciones:

    • Genera solo los resúmenes faltantes con el generador especificado. Pagas el costo de generación del resumen.
    • Generar resúmenes nuevos para todas las conversaciones Pagas el costo de generación del resumen.
    • No generar resúmenes En su lugar, usa los resúmenes existentes que se encuentran con el conjunto de datos. Debes pagar un costo diferente.

  8. Haz clic en Siguiente.

  9. Haz clic en Seleccionar carpeta, elige una carpeta de Cloud Storage en un bucket para almacenar el resultado y, luego, haz clic en Aceptar. La autoevaluación escribe en un archivo CSV y lo guarda en tu bucket de Cloud Storage.

  10. Haz clic en Ejecutar. Esta es una operación de larga duración. Tu nueva evaluación aparecerá en la tabla.

Evaluaciones

Sigue estos pasos para ver una lista de los generadores de resúmenes y las ejecuciones de sesiones de evaluación completadas.

  1. Navega a la consola de Agent Assist y accede. Ir a la consola
  2. Elige tu proyecto.
  3. Haz clic en Evaluaciones.
  4. Opcional: Para cambiar el orden de la hora de creación, haz clic en keyboard_arrow_down Hacia abajo en el encabezado de la columna Hora de creación.

Filtra la lista

Sigue estos pasos para filtrar tu lista y buscar una evaluación específica:

  1. Haz clic en Filtrar evaluaciones.

  2. Elige una de las siguientes opciones:

    - **Display name**
- **Generator name**
- **Create time**

  3. Ingresa el valor del parámetro.

Borra una evaluación

  1. Espera a que el generador termine de ejecutar una evaluación.
  2. Haz clic en borrar Borrar para borrar la evaluación.

Visualiza los resultados de la evaluación

Sigue estos pasos para ver los resultados detallados de la evaluación en la consola de Agent Assist.

  1. Navega a la consola de Agent Assist y accede. Ir a la consola
  2. Elige tu proyecto.
  3. Haz clic en Evaluaciones.
  4. Haz clic en cualquier fila de la lista para ver los Detalles de la evaluación, que incluyen la siguiente información:
    • Nombre visible del generador
    • Cantidad de conversaciones
    • Si hay conjuntos de datos de Conversational Insights, nombre del conjunto de datos de Conversational Insights asociado
    • Tiempo de ejecución
    • Salida de Cloud Storage
    • Resultados generales del rendimiento para todo un conjunto de datos
    • Resultados a nivel de la conversación para cada conversación en un conjunto de datos

Resultados a nivel de la conversación

Agent Assist muestra los resultados de la evaluación a nivel de la conversación en una tabla.

  1. En la página Detalles de la evaluación, haz clic en cualquier fila de la tabla Resultados a nivel de la conversación para ver los resultados detallados, un resumen y una transcripción de la conversación.
  2. Haz clic en una sección para ver ejemplos de esa sección del resumen.

Comparación de resultados

Sigue estos pasos para comparar los resultados de diferentes evaluaciones:

  1. En la consola de Agent Assist, navega a Evaluations.
  2. Haz clic en una evaluación para ver sus detalles. Esta evaluación proporciona la base para la comparación y determina qué métricas incluye la comparación.
  3. Haz clic en Comparar > Agregar ejecución para agregar otras evaluaciones para la comparación. Puedes comparar hasta cinco evaluaciones a la vez. Cada nombre visible se destaca en gris.
  4. Para quitar una evaluación de la comparación, haz clic en cerrar Cerrar.

Limitación

La autoevaluación del resumen no admite los Controles del servicio de VPC.

Regiones disponibles

La autoevaluación del resumen solo está disponible en dos regiones de Agent Assist. Para obtener una lista de las regiones disponibles para cada función, consulta la tabla de regionalización.