Agent-Validierung

Wie auf der Seite Agent-Design erläutert, kann das Design Ihres Agents seine Qualität erheblich beeinflussen. Damit Agent-Designer qualitativ hochwertige Agents erstellen können, bietet Dialogflow eine Validierungsfunktion. Validierungsergebnisse werden automatisch beim Abschluss von Agent-Trainings zur Verfügung gestellt. Sie können entweder über die Dialogflow-Konsole oder über die API auf die Ergebnisse der Validierung zugreifen.

Die Validierungsergebnisse dienen nur zur Information. Sie enthalten eine Liste mit Fehlern, die Sie beheben sollten, um die Qualität und Leistung Ihres Agents zu verbessern. Wenn Ihr Agent Fehler aufweist, können Sie diese ignorieren und ihn trotzdem starten. Die Agent-Validierung hat keinerlei Auswirkungen auf das Verhalten eines Agents.

Im Folgenden finden Sie einige Beispielergebnisse:

  • Intent enthält zu ähnliche Trainingsformulierungen.
  • Intent contains a parameter that is not used in enough training phrases. (Intent enthält einen Parameter, der nicht in genügend Trainingsformulierungen verwendet wird.)
  • There are no negative examples for the fallback intent. (Es sind keine negativen Beispiele für den Fallback-Intent vorhanden.)
  • This text is annotated in some training phrases but not others. (Dieser Text ist in einigen Trainingsformulierungen mit Anmerkungen versehen, in anderen jedoch nicht.)

Automatische Validierung aktivieren und deaktivieren

Standardmäßig wird die Agent-Validierung bei jedem Agent-Training automatisch durchgeführt. Sie können diese Einstellung aktivieren und deaktivieren:

  1. Öffnen Sie die Dialogflow-Konsole.
  2. Wählen Sie den Agent aus.
  3. Klicken Sie neben dem Namen des Agents auf das Symbol (Einstellungen).
  4. Wählen Sie den Tab ML Settings aus.
  5. Schalten Sie die Einstellung Agent Validation (Agent-Validierung) ein (Standardeinstellung) oder aus.

Screenshot zur Agent-Validierung

Seite Agent-Validierung

So greifen Sie auf die Validierungsdaten für Ihren Agent zu:

  1. Öffnen Sie die Dialogflow-Konsole.
  2. Wählen Sie den Agent aus.
  3. Klicken Sie im Seitenleistenmenü auf Validierung.

Screenshot zur Agent-Validierung

Validierungsergebnisse für Intents und Entitäten

Wenn Sie eine der Seiten Intents-Liste oder Entitätenliste aufrufen, wird für alle Intents oder Entitäten mit Validierungsfehlern der Fehler neben dem Namen angezeigt.

Screenshot des Fehlerberichts der Agent-Validierung

Wenn Sie die Seite eines bestimmten Intents oder einer bestimmten Entität aufrufen, der/die Validierungsfehler aufweist, wird der Fehler neben der Schaltfläche Speichern angezeigt.

Screenshot des Fehlerberichts der Agent-Validierung

Wenn Sie auf diese Schaltfläche klicken, wird eine Liste der Fehler zu dem Intent oder der Entität angezeigt. Standardmäßig werden nur Fehler mit dem Schweregrad CRITICAL oder ERROR angezeigt. Sie können auch die Anzeige der Schweregrade WARNING und INFO aktivieren.

Screenshot des Fehlerberichts der Agent-Validierung

Möglicherweise werden auch Fehlerindikatoren für bestimmte Trainingsformulierungen und Parameter angezeigt. Wenn Sie die Maus darauf bewegen, werden die Details angezeigt.

Screenshot des Fehlerberichts der Agent-Validierung

Validierungsergebnisse für Versionen und Umgebungen

Beim Anzeigen von Versionen und Umgebungen kann jede Agent-Version einzigartige Validierungsfehler aufweisen. Wenn Fehler vorhanden sind, wird neben der Version das Validierungssymbol angezeigt.

Screenshot des Fehlerberichts der Agent-Validierung

Wenn Sie auf das Symbol klicken, werden die Details angezeigt.

Screenshot des Fehlerberichts der Agent-Validierung

Validierungsergebnisse mit der API

In den meisten Fällen werden Sie sich Validierungsergebnisse in der Dialogflow-Konsole anzeigen lassen. Sie können allerdings auch über die API auf diese Daten zugreifen.

REST UND BEFEHLSZEILE

Rufen Sie die Methode getValidationResult für den Typ Agents auf.

Ersetzen Sie diese Werte in den folgenden Anweisungen:

  • project-id mit der ID Ihres GCP-Projekts

HTTP-Methode und URL:

GET https://dialogflow.googleapis.com/v2/projects/project-id/agent/validationResult?languageCode=en

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie müssten in etwa folgende JSON-Antwort erhalten:

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

Schweregrade

Die Validierung kann die folgenden Schweregrade anzeigen:

Severity Beschreibung
INFO Der Agent entspricht nicht der Best Practice.
WARNING Der Agent verhält sich möglicherweise nicht wie erwartet.
FEHLER Der Agent kann teilweise fehlschlagen.
KRITISCH Der Agent kann vollständig fehlschlagen.
SEVERITY_UNSPECIFIED Nicht angegeben Dieser Wert sollte nie verwendet werden. (Dieser Schweregrad ist über die API möglich.)

Validierung erzwingen

Validierungsergebnisse werden automatisch beim Abschluss von Agent-Trainings zur Verfügung gestellt. Um neue Validierungsergebnisse zu erzwingen, können Sie die automatische Validierung deaktivieren und sie manuell auslösen. Weitere Informationen finden Sie auf der Seite Agent ML settings in der Konsole.

Viele Probleme beheben

Wenn eine große Anzahl von Problemen gefunden wird, sollten Sie Folgendes berücksichtigen:

  • Beheben Sie Probleme in kleinen Batches. Wenn viele ähnliche Probleme auftreten, können Sie durch Beheben eines Problems möglicherweise auch ähnliche Probleme beheben, nachdem Sie den Agent neu trainiert haben.
  • Es werden maximal 5.000 Probleme gleichzeitig angezeigt. Bei mehr als 5.000 Problemen verringert sich die angezeigte Anzahl möglicherweise so lange nicht, bis die Probleme auf unter 5.000 gesunken sind.