Validação de agente

Conforme discutido na página Projeto do agente, o projeto do seu agente pode influenciar muito a qualidade do seu agente. Para ajudar os designers de agentes a criar agentes de alta qualidade, o Dialogflow fornece um recurso de validação. Os resultados de validação do agente são disponibilizados automaticamente sempre que o treinamento do agente é realizado e concluído. É possível acessar os resultados de validação no Console do Dialogflow ou na API.

Os resultados de validação são apenas informativos. Eles fornecem uma lista de erros que você deve corrigir para melhorar a qualidade e o desempenho do agente. Se o agente tiver erros, é possível ignorá-los e iniciar o agente. A validação do agente não afeta o comportamento de um agente.

Veja alguns exemplos de resultados que você pode encontrar:

• Intent com frases de treinamento muito semelhantes
• Intent com um parâmetro que não é usado em frases de treinamento suficientes
• Ausência de exemplos negativos para a intent de fallback
• Texto anotado em algumas frases de treinamento, mas não em outras

Como ativar e desativar a validação automática

Por padrão, a validação do agente é executada automaticamente sempre que o agente é treinado. É possível ativar e desativar essa configuração:

1. Acesse o console do Dialogflow ES.
2. Selecione seu agente.
3. Clique no ícone de configurações ao lado do nome do agente.
4. Selecione a guia Configurações de ML.
5. Ative ou desative a configuração Agent Validation. O padrão é ativado.

Página de validação do agente

Para acessar os dados de validação do agente:

1. Acesse o console do Dialogflow ES.
2. Selecione seu agente.
3. Clique em Validação no menu da barra lateral.

Resultados de validação para intents e entidades

Quando você acessa a lista intents ou as páginas de lista de entidades, quaisquer intents ou entidades com erros de validação mostram um indicador de erro ao lado do nome.

Quando você acessa uma página de uma intent ou entidade específica que apresenta erros de validação, um indicador de erro é exibido próximo ao botão Save.

Clicar nesse botão mostra uma lista de erros do intent ou da entidade. Por padrão, apenas os erros com gravidade CRITICAL ou ERROR são mostrados. É possível alternar os tipos de gravidade para também mostrar WARNING e INFO.

Também é possível ver indicadores de erro para frases e parâmetros de treinamento específicos. Passe o cursor sobre esses indicadores para ver os detalhes.

Resultados de validação para versões e ambientes

Ao visualizar versões e ambientes (em inglês), cada versão de agente pode ter erros de validação exclusivos. Se houver algum erro, o ícone de validação aparecerá ao lado da versão.

Clicar no ícone mostrará os detalhes.

Resultados de validação com a API

Na maioria dos casos, você visualizará os resultados de validação usando o Console do Dialogflow. No entanto, também é possível acessar esses dados a partir da API.

REST

Chame o método getValidationResult no tipo Agents.

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

• PROJECT_ID: é o ID do projeto do Google Cloud.

Método HTTP e URL:

GET https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en

Para enviar a solicitação, expanda uma destas opções:

curl (Linux, macOS ou Cloud Shell)

Observação: o comando a seguir pressupõe que você fez login na CLI gcloud com sua conta de usuário executando gcloud init ou gcloud auth login, ou usando o Cloud Shell, que faz login automaticamente na CLI gcloud. . É possível verificar a conta ativa atual executando gcloud auth list.

execute o seguinte comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en"

PowerShell (Windows)

Observação: o comando a seguir pressupõe que você fez login na CLI gcloud com sua conta de usuário executando gcloud init ou gcloud auth login . É possível verificar a conta ativa atual executando gcloud auth list.

execute o seguinte comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en" | Select-Object -Expand Content

Você receberá uma resposta JSON semelhante a esta:

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

Estados de gravidade

A validação pode mostrar os seguintes estados de gravidade:

Gravidade	Descrição
INFO	O agente não segue a prática recomendada.
AVISO	O agente pode não se comportar como esperado.
ERRO	O agente pode apresentar falhas parciais.
CRÍTICA	O agente pode falhar completamente.
SEVERITY_UNSPECIFIED	Não especificado. Esse valor nunca pode ser usado. (Essa gravidade pode ocorrer na API)

Forçar validação

Os resultados de validação do agente são disponibilizados automaticamente sempre que o treinamento do agente é realizado e concluído. Para forçar novos resultados de validação, desative a validação automática e a acione manualmente. Consulte a página configurações do Agent ML (Em inglês) no Console.

Como lidar com muitos problemas

Quando um grande número de problemas é encontrado, considere o seguinte:

• Corrija problemas em lotes pequenos. Se houver muitos problemas semelhantes, corrigir um problema pode corrigir problemas semelhantes depois que você treinar novamente o agente.
• No máximo 5.000 problemas são exibidos por vez. Se você tiver mais de 5.000 problemas, talvez você não veja uma redução de contagem até menos de 5.000.