Valider les agents

Comme indiqué sur la page Concevoir un agent, la conception de votre agent peut avoir une grande influence sur sa qualité. Pour aider les concepteurs d'agents à créer des agents de haute qualité, Dialogflow propose une fonctionnalité de validation. Les résultats de la validation d'un agent sont mis à disposition automatiquement lorsque l'entraînement de l'agent se termine. Vous pouvez accéder aux résultats de la validation à partir de la console Dialogflow ou de l'API.

Les résultats de la validation ne sont fournis qu'à titre d'information. Ils fournissent une liste d'erreurs que vous devez corriger pour améliorer la qualité et les performances de votre agent. Si votre agent présente des erreurs, vous pouvez choisir de les ignorer et de le lancer malgré tout. La validation d'un agent n'a aucune incidence sur son comportement.

Voici quelques exemples de résultats :

• L'intent comporte des expressions d'entraînement qui sont trop similaires.
• L'intent contient un paramètre utilisé dans trop peu de phrases d'entraînement.
• Il n'existe aucun exemple négatif pour l'intent de remplacement.
• Ce texte est annoté dans certaines phrases d'entraînement, mais pas dans d'autres.

Activer et désactiver la validation automatique

Par défaut, la validation de l'agent est réalisée automatiquement à chaque entraînement. Vous pouvez activer et désactiver ce paramètre :

1. Accédez à la console Dialogflow ES.
2. Sélectionnez votre agent.
3. Cliquez sur l'icône des paramètres à côté du nom de l'agent.
4. Sélectionnez l'onglet Paramètres ML.
5. Activez ou désactivez le paramètre Valider les agents (activé par défaut).

Page de validation de l'agent

Pour accéder aux données de validation de votre agent, procédez comme suit :

1. Accédez à la console Dialogflow ES.
2. Sélectionnez votre agent.
3. Cliquez sur Validation dans le menu de la barre latérale.

Résultats de validation des intents et entités

Lorsque vous consultez la liste des intents ou la liste des entités, les intents ou entités présentant des erreurs de validation affichent un indicateur d'erreur à côté du nom.

Lorsque vous consultez la page associée à un intent ou à une entité spécifique qui comporte des erreurs de validation, un indicateur d'erreur s'affiche à proximité du bouton Enregistrer.

Cliquez sur ce bouton pour afficher la liste des erreurs concernant l'intent ou l'entité. Par défaut, seules les erreurs dont le niveau de gravité est CRITICAL (critique) ou ERROR (erreur) sont affichées. Vous pouvez activer ou désactiver les niveaux de gravité pour afficher également les erreurs WARNING (avertissement) et INFO.

Vous pouvez également voir des indicateurs d'erreur associés à des expressions d'entraînement et des paramètres spécifiques. Vous pouvez passer la souris sur ces indicateurs pour en afficher les détails.

Résultats de la validation pour les versions et les environnements

Lorsque vous consultez les versions et environnements, chaque version d'agent est susceptible de présenter des erreurs de validation qui lui sont propres. En cas d'erreur, l'icône de validation est affichée à côté de la version affectée.

Cliquez sur l'icône pour afficher les détails.

Consulter les résultats de la validation à travers l'API

Dans la plupart des cas, vous consultez les résultats de la validation dans la console Dialogflow. Vous pouvez néanmoins accéder à ces données à travers l'API.

REST

Appelez la méthode getValidationResult au niveau de Agents de mots clés.

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

• PROJECT_ID : ID de votre projet Google Cloud

Méthode HTTP et URL :

GET https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Exécutez la commande suivante :

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en"

PowerShell (Windows)

Remarque : La commande suivante suppose que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

États de gravité

La validation peut afficher les états de gravité suivants :

Gravité	Description
INFO	L'agent ne respecte pas les bonnes pratiques.
AVERTISSEMENT	L'agent risque de ne pas se comporter comme prévu.
ERROR	L'agent peut rencontrer des échecs partiels.
CRITIQUE	L'agent peut échouer complètement.
SEVERITY_UNSPECIFIED	Non spécifié. Cette valeur ne doit jamais être utilisée. (Cette gravité est possible via l'API.)

Forcer la validation

Les résultats de la validation d'un agent sont mis à disposition automatiquement lorsque l'entraînement de l'agent se termine. Pour forcer l'obtention de nouveaux résultats de validation, vous pouvez désactiver la validation automatique et la déclencher manuellement. Consultez la page Paramètres ML de l'agent dans la console.

Gérer de nombreux problèmes

Lorsqu'un grand nombre de problèmes sont détectés, tenez compte des points suivants :

• Corrigez les problèmes par petits lots. Si vous rencontrez de nombreux problèmes similaires, la résolution d'un problème peut permettre de corriger des problèmes similaires après le réentraînement de l'agent.
• 5 000 problèmes au maximum sont affichés simultanément. Si vous rencontrez plus de 5 000 problèmes, il est possible que vous ne constatiez pas de réduction du nombre tant qu'il n'en reste pas moins de 5 000.