Valider les agents

Comme indiqué sur la page Concevoir un agent, la conception de votre agent peut avoir une grande influence sur sa qualité. Pour aider les concepteurs d'agents à créer des agents de haute qualité, Dialogflow propose une fonctionnalité de validation. Les résultats de la validation d'un agent sont mis à disposition automatiquement lorsque l'entraînement de l'agent se termine. Vous pouvez accéder aux résultats de la validation à partir de la console Dialogflow ou de l'API.

Les résultats de la validation ne sont fournis qu'à titre d'information. Ils fournissent une liste d'erreurs que vous devez corriger pour améliorer la qualité et les performances de votre agent. Si votre agent présente des erreurs, vous pouvez choisir de les ignorer et de le lancer malgré tout. La validation d'un agent n'a aucune incidence sur son comportement.

Voici quelques exemples de résultats :

  • L'intent comporte des expressions d'entraînement qui sont trop similaires.
  • L'intent contient un paramètre utilisé dans trop peu de phrases d'entraînement.
  • Il n'existe aucun exemple négatif pour l'intent de remplacement.
  • Ce texte est annoté dans certaines phrases d'entraînement, mais pas dans d'autres.

Activer et désactiver la validation automatique

Par défaut, la validation de l'agent est réalisée automatiquement à chaque entraînement. Vous pouvez activer et désactiver ce paramètre :

  1. Accédez à la console Dialogflow ES.
  2. Sélectionnez votre agent.
  3. Cliquez sur l'icône des paramètres à côté du nom de l'agent.
  4. Sélectionnez l'onglet Paramètres ML.
  5. Activez ou désactivez le paramètre Valider les agents (activé par défaut).

Capture d'écran de validation de l'agent

Page de validation de l'agent

Pour accéder aux données de validation de votre agent, procédez comme suit :

  1. Accédez à la console Dialogflow ES.
  2. Sélectionnez votre agent.
  3. Cliquez sur Validation dans le menu de la barre latérale.

Capture d'écran de validation de l'agent

Résultats de validation des intents et entités

Lorsque vous consultez la liste des intents ou la liste des entités, les intents ou entités présentant des erreurs de validation affichent un indicateur d'erreur à côté du nom.

Capture d'écran d'une erreur de validation d'un agent

Lorsque vous consultez la page associée à un intent ou à une entité spécifique qui comporte des erreurs de validation, un indicateur d'erreur s'affiche à proximité du bouton Enregistrer.

Capture d'écran d'une erreur de validation d'un agent

Cliquez sur ce bouton pour afficher la liste des erreurs concernant l'intent ou l'entité. Par défaut, seules les erreurs dont le niveau de gravité est CRITICAL (critique) ou ERROR (erreur) sont affichées. Vous pouvez activer ou désactiver les niveaux de gravité pour afficher également les erreurs WARNING (avertissement) et INFO.

Capture d'écran d'une erreur de validation d'un agent

Vous pouvez également voir des indicateurs d'erreur associés à des expressions d'entraînement et des paramètres spécifiques. Vous pouvez passer la souris sur ces indicateurs pour en afficher les détails.

Capture d'écran d'une erreur de validation d'un agent

Résultats de la validation pour les versions et les environnements

Lorsque vous consultez les versions et environnements, chaque version d'agent est susceptible de présenter des erreurs de validation qui lui sont propres. En cas d'erreur, l'icône de validation est affichée à côté de la version affectée.

Capture d'écran d'une erreur de validation d'un agent

Cliquez sur l'icône pour afficher les détails.

Capture d'écran d'une erreur de validation d'un agent

Consulter les résultats de la validation à travers l'API

Dans la plupart des cas, vous consultez les résultats de la validation dans la console Dialogflow. Vous pouvez néanmoins accéder à ces données à travers l'API.

API REST et ligne de commande

Appelez la méthode getValidationResult sur le type Agents.

Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :

  • project-id : ID de votre projet GCP

Méthode HTTP et URL :

GET https://dialogflow.googleapis.com/v2/projects/project-id/agent/validationResult?languageCode=en

Pour envoyer votre requête, développez l'une des options suivantes :

Vous devriez recevoir une réponse JSON de ce type :

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

États de gravité

La validation peut afficher les états de gravité suivants :

Gravité Description
INFO L'agent ne respecte pas les bonnes pratiques.
WARNING L'agent risque de ne pas se comporter comme prévu.
ERROR L'agent peut rencontrer des échecs partiels.
CRITIQUE L'agent peut échouer complètement.
SEVERITY_UNSPECIFIED Non spécifié. Cette valeur ne doit jamais être utilisée. (Cette gravité est possible via l'API.)

Forcer la validation

Les résultats de la validation d'un agent sont mis à disposition automatiquement lorsque l'entraînement de l'agent se termine. Pour forcer l'obtention de nouveaux résultats de validation, vous pouvez désactiver la validation automatique et la déclencher manuellement. Consultez la page Paramètres ML de l'agent dans la console.

Gérer de nombreux problèmes

Lorsqu'un grand nombre de problèmes sont détectés, tenez compte des points suivants :

  • Corrigez les problèmes par petits lots. Si vous rencontrez de nombreux problèmes similaires, la résolution d'un problème peut permettre de corriger des problèmes similaires après le réentraînement de l'agent.
  • 5 000 problèmes au maximum sont affichés simultanément. Si vous rencontrez plus de 5 000 problèmes, il est possible que vous ne constatiez pas de réduction du nombre tant qu'il n'en reste pas moins de 5 000.