Guia do utilizador: avaliação automática da geração de resumos

A avaliação automática da sumarização (avaliação automática) avalia a qualidade dos resumos com base em três métricas: precisão, integridade e conformidade. Esta funcionalidade ajuda a avaliar a qualidade dos geradores de resumos, o que é fundamental quando ajusta definições de secções personalizadas ou atualiza software que afeta os modelos de resumos. Para mais detalhes sobre as métricas de avaliação, consulte as noções básicas da avaliação automática de resumos.

Antes de começar

  • Crie um gerador de resumos que gere resumos candidatos para a sua avaliação.
  • As definições das secções no gerador servem como dados reais para avaliação.
  • Para que a pontuação final reflita a qualidade do gerador, as instruções de cada secção têm de corresponder às do gerador.

Crie um pedido de autoavaliação de resumo

Siga estes passos para criar um gerador de resumos.

  1. Navegue para a consola do Agent Assist e inicie sessão.

    Aceder à consola

  2. Selecione o seu projeto.

  3. Clique em Avaliações > Nova avaliação.

  4. Introduza um Nome a apresentar exclusivo e escolha um Gerador que corresponda ao resumo do candidato.

  5. Clicar em Seguinte.

  6. Escolha um conjunto de dados de avaliação com uma das duas opções seguintes:

    • Amostra aleatória de conversas do intervalo de datas: se pagou pela funcionalidade de resumo do Agent Assist, especifique um Intervalo de datas e um Número de conversas máximo. As avaliações selecionam aleatoriamente até ao número máximo de conversas e resumos do seu histórico.
    • Selecionar um conjunto de dados específico: escolha uma amostra específica de conversas que organizou com as Estatísticas de conversas.

  7. Escolha uma origem do resumo entre as seguintes opções:

    • Gere apenas os resumos em falta com o gerador especificado. Paga o custo de geração do resumo
    • Gerar novos resumos para todas as conversas. Paga o custo de geração do resumo
    • Não gerar resumos. Em alternativa, use os resumos existentes encontrados com o conjunto de dados. Tem de pagar um custo diferente.

  8. Clicar em Seguinte.

  9. Clique em Selecionar pasta, escolha uma pasta do Cloud Storage num contentor para armazenar o resultado e, de seguida, clique em OK. A avaliação automática escreve num ficheiro CSV e guarda-o no seu contentor do Cloud Storage.

  10. Clique em Executar. Esta é uma operação de longa duração. A nova avaliação é apresentada na tabela.

Avaliações

Siga estes passos para ver uma lista de geradores de resumos e execuções de sessões de avaliação concluídas.

  1. Navegue para a consola do Agent Assist e inicie sessão. Aceder à consola
  2. Selecione o seu projeto.
  3. Clique em Avaliações.
  4. Opcional: para inverter a ordem da hora de criação, clique em keyboard_arrow_down Para baixo no cabeçalho da coluna Hora de criação.

Filtre a lista

Siga estes passos para filtrar a sua lista e pesquisar uma avaliação específica:

  1. Clique em Filtrar avaliações.

  2. Escolha uma das seguintes opções:

    - **Display name**
- **Generator name**
- **Create time**

  3. Introduza o valor do parâmetro.

Elimine uma avaliação

  1. Aguarde até que o gerador termine a execução de uma avaliação.
  2. Clique em Eliminar Eliminar para limpar a avaliação.

Veja os resultados da avaliação

Siga estes passos para ver os resultados detalhados da avaliação na consola do Agent Assist.

  1. Navegue para a consola do Agent Assist e inicie sessão. Aceder à consola
  2. Selecione o seu projeto.
  3. Clique em Avaliações.
  4. Clique em qualquer linha da lista para ver os Detalhes da avaliação, que incluem as seguintes informações:
    • Nome a apresentar do gerador
    • Número de conversas
    • Se existirem conjuntos de dados do Conversational Insights, nome do conjunto de dados do Conversational Insights associado
    • Data e hora de execução
    • Saída do Cloud Storage
    • Resultados do desempenho geral de um conjunto de dados completo
    • Resultados ao nível da conversa para cada conversa num conjunto de dados

Resultados ao nível da conversa

O Assistente do agente apresenta os resultados da avaliação ao nível da conversa numa tabela.

  1. Na página Detalhes da avaliação, clique em qualquer linha da tabela Resultados ao nível da conversa para ver resultados detalhados, um resumo e uma transcrição da conversa.
  2. Clique numa secção para ver exemplos dessa secção do resumo.

Comparação de resultados

Siga estes passos para comparar os resultados de diferentes avaliações:

  1. Na consola do Assistente do agente, navegue para Avaliações.
  2. Clique numa avaliação para ver os respetivos detalhes. Esta avaliação fornece a base para a comparação e determina as métricas que a comparação inclui.
  3. Clique em Comparar > Adicionar execução para adicionar outras avaliações para comparação. Pode comparar até cinco avaliações em simultâneo. Cada nome a apresentar é realçado a cinzento.
  4. Para remover uma avaliação da comparação, clique em fechar Fechar.

Limitação

A avaliação automática da geração de resumos não suporta os VPC Service Controls.

Regiões disponíveis

A autoavaliação da geração de resumos só está disponível em duas regiões do Assistente do agente. Para ver uma lista das regiões disponíveis para cada funcionalidade, consulte a tabela de regionalização.