A avaliação automática de resumo (autoavaliação) avalia a qualidade dos resumos com base em três métricas: acurácia, integridade e aderência. Esse recurso ajuda a avaliar a qualidade dos geradores de resumo, o que é crucial ao ajustar definições de seção personalizadas ou atualizar softwares que afetam modelos de resumo. Para mais detalhes sobre as métricas de avaliação, consulte Princípios básicos da autoavaliação de resumo.
Antes de começar
- Crie um gerador de resumos que gere resumos candidatos para sua avaliação.
- As definições de seção no gerador servem como informações empíricas para avaliação.
- Para que a pontuação final reflita a qualidade do gerador, as instruções de cada seção precisam corresponder às do gerador.
Criar uma solicitação de autoavaliação de resumo
Siga estas etapas para criar um gerador de resumo.
Acesse o console do Assistente de agente e faça login.
Selecione o projeto.
Clique em Avaliações > Nova avaliação.
Insira um Nome de exibição exclusivo e escolha um Gerador que corresponda ao resumo do candidato.
Clique em Próxima.
Escolha um conjunto de dados de avaliação com uma das seguintes opções:
- Amostra aleatória de conversas do período: se você pagou pelo recurso de resumo do Agent Assist, especifique um Período e um Número máximo de conversas. As avaliações selecionam aleatoriamente até o número máximo de conversas e resumos do seu histórico.
- Selecionar um conjunto de dados específico: escolha uma amostra específica de conversas que você organizou com o Conversational Insights.
Escolha uma fonte de resumo em uma das seguintes opções:
- Gere apenas os resumos ausentes usando o gerador especificado. Você paga o custo de geração de resumo
- Gerar novos resumos para todas as conversas. Você paga o custo de geração de resumo
- Não gerar resumos. Em vez disso, use os resumos encontrados com o conjunto de dados. Você precisa pagar um custo diferente.
Clique em Próxima.
Clique em Selecionar pasta, escolha uma pasta do Cloud Storage em um bucket para armazenar o resultado e clique em Ok. A autoavaliação grava em um arquivo CSV e o salva no bucket do Cloud Storage.
Clique em Executar. Essa é uma operação de longa duração. Sua nova avaliação vai aparecer na tabela.
Avaliações
Siga estas etapas para conferir uma lista de geradores de resumo e sessões de avaliação concluídas.
- Acesse o console do Assistente de agente e faça login. Acesse o console
- Selecione o projeto.
- Clique em Avaliações.
- Opcional: para mudar a ordem de criação, clique em keyboard_arrow_down Para baixo no cabeçalho da coluna Horário de criação.
Filtrar a lista
Siga estas etapas para filtrar sua lista e pesquisar uma avaliação específica:
- Clique em Filtrar avaliações.
Escolha uma das seguintes opções:
- **Display name** - **Generator name** - **Create time**Insira o valor do parâmetro.
Como excluir uma avaliação
- Aguarde até que o gerador termine de executar uma avaliação.
- Clique em excluir Excluir para limpar a avaliação.
Visualizar os resultados da avaliação
Siga estas etapas para conferir os resultados detalhados da avaliação no console da Assistente de IA.
- Acesse o console do Assistente de agente e faça login. Acesse o console
- Selecione o projeto.
- Clique em Avaliações.
- Clique em qualquer linha da lista para ver os Detalhes da avaliação, que incluem as seguintes informações:
- Nome de exibição do gerador
- Número de conversas
- Se houver conjuntos de dados do Conversational Insights, o nome do conjunto de dados associado
- Horário da execução
- Saída do Cloud Storage
- Resultados gerais de desempenho para um conjunto de dados inteiro
- Resultados no nível da conversa para cada conversa em um conjunto de dados
Resultados no nível da conversa
O Agent Assist mostra os resultados da avaliação no nível da conversa em uma tabela.
- Na página Detalhes da avaliação, clique em qualquer linha da tabela Resultados no nível da conversa para conferir resultados detalhados, um resumo e uma transcrição da conversa.
- Clique em uma seção para ver exemplos dela no resumo.
Comparação de resultados
Siga estas etapas para comparar resultados de diferentes avaliações:
- No console do Agent Assist, navegue até Avaliações.
- Clique em uma avaliação para conferir os detalhes. Essa avaliação fornece a base para a comparação e determina quais métricas ela inclui.
- Clique em Comparar > Adicionar execução para incluir outras avaliações para comparação. É possível comparar até cinco avaliações por vez. Cada nome de exibição é destacado em cinza.
- Para remover uma avaliação da comparação, clique em fechar Fechar.
Limitação
A avaliação automática de resumo não é compatível com o VPC Service Controls.
Regiões disponíveis
A autoavaliação de resumo está disponível apenas em duas regiões do Assistente do agente. Para uma lista de regiões disponíveis para cada recurso, consulte a tabela de regionalização.