Agent-Validierung

Wie auf der Seite Agent-Design erläutert, kann das Design Ihres Agents seine Qualität erheblich beeinflussen. Damit Agent-Designer qualitativ hochwertige Agents erstellen können, bietet Dialogflow eine Validierungsfunktion. Validierungsergebnisse werden automatisch beim Abschluss von Agent-Trainings zur Verfügung gestellt. Sie können entweder über die Dialogflow-Konsole oder über die API auf die Ergebnisse der Validierung zugreifen.

Die Validierungsergebnisse dienen nur zur Information. Sie enthalten eine Liste mit Fehlern, die Sie beheben sollten, um die Qualität und Leistung Ihres Agents zu verbessern. Wenn Ihr Agent Fehler aufweist, können Sie diese ignorieren und ihn trotzdem starten. Die Agent-Validierung hat keinerlei Auswirkungen auf das Verhalten eines Agents.

Im Folgenden finden Sie einige Beispielergebnisse:

• Intent enthält zu ähnliche Trainingsformulierungen.
• Intent contains a parameter that is not used in enough training phrases. (Intent enthält einen Parameter, der nicht in genügend Trainingsformulierungen verwendet wird.)
• There are no negative examples for the fallback intent. (Es sind keine negativen Beispiele für den Fallback-Intent vorhanden.)
• This text is annotated in some training phrases but not others. (Dieser Text ist in einigen Trainingsformulierungen mit Anmerkungen versehen, in anderen jedoch nicht.)

Automatische Validierung aktivieren und deaktivieren

Standardmäßig wird die Agent-Validierung bei jedem Agent-Training automatisch durchgeführt. Sie können diese Einstellung aktivieren und deaktivieren:

1. Rufen Sie die Dialogflow ES-Konsole auf.
2. Wählen Sie den Agent aus.
3. Klicken Sie neben dem Namen des Agents auf das Symbol (Einstellungen).
4. Wählen Sie den Tab ML Settings aus.
5. Schalten Sie die Einstellung Agent Validation (Agent-Validierung) ein (Standardeinstellung) oder aus.

Seite Agent-Validierung

So greifen Sie auf die Validierungsdaten für Ihren Agent zu:

1. Rufen Sie die Dialogflow ES-Konsole auf.
2. Wählen Sie den Agent aus.
3. Klicken Sie im Seitenleistenmenü auf Validierung.

Validierungsergebnisse für Intents und Entitäten

Wenn Sie eine der Seiten Intents-Liste oder Entitätenliste aufrufen, wird für alle Intents oder Entitäten mit Validierungsfehlern der Fehler neben dem Namen angezeigt.

Wenn Sie die Seite eines bestimmten Intents oder einer bestimmten Entität aufrufen, der/die Validierungsfehler aufweist, wird der Fehler neben der Schaltfläche Speichern angezeigt.

Wenn Sie auf diese Schaltfläche klicken, wird eine Liste der Fehler zu dem Intent oder der Entität angezeigt. Standardmäßig werden nur Fehler mit dem Schweregrad CRITICAL oder ERROR angezeigt. Sie können auch die Anzeige der Schweregrade WARNING und INFO aktivieren.

Möglicherweise werden auch Fehlerindikatoren für bestimmte Trainingsformulierungen und Parameter angezeigt. Wenn Sie die Maus darauf bewegen, werden die Details angezeigt.

Validierungsergebnisse für Versionen und Umgebungen

Beim Anzeigen von Versionen und Umgebungen kann jede Agent-Version einzigartige Validierungsfehler aufweisen. Wenn Fehler vorhanden sind, wird neben der Version das Validierungssymbol angezeigt.

Wenn Sie auf das Symbol klicken, werden die Details angezeigt.

Validierungsergebnisse mit der API

In den meisten Fällen werden Sie sich Validierungsergebnisse in der Dialogflow-Konsole anzeigen lassen. Sie können allerdings auch über die API auf diese Daten zugreifen.

REST

Rufen Sie die Methode getValidationResult für den Typ Agents auf.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

• PROJECT_ID: Ihre Google Cloud-Projekt-ID

HTTP-Methode und URL:

GET https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

curl (Linux, macOS oder Cloud Shell)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto bei der gcloud-Befehlszeile angemeldet haben. Dazu haben Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt, die Sie automatisch bei der gcloud-Befehlszeile anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Führen Sie folgenden Befehl aus:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en"

PowerShell (Windows)

Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto bei der gcloud-Befehlszeile angemeldet haben. Dazu führen Sie gcloud init oder gcloud auth login aus. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

Führen Sie folgenden Befehl aus:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/validationResult?languageCode=en" | Select-Object -Expand Content

Sie müssten in etwa folgende JSON-Antwort erhalten:

{
  "validationErrors": [
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/parameters/bf6fdf55-b862-4101-b5b1-36f1423629d0"
      ],
      "errorMessage": "Parameter 'test' has an empty value."
    },
    {
      "severity": "WARNING",
      "entries": [
        "projects/my-project/agent/intents/271e3808-3c91-4e6b-89e8-47951abcec8d"
      ],
      "errorMessage": "Intent 'app.current.update' does not have enough unique training phrases. Consider adding more different examples."
    },
    {
      "severity": "ERROR",
      "entries": [
        "projects/my-project/agent/intents/26e64b1b-eaa7-4ce2-be46-631a501fccbe/trainingPhrases/a650375e-083c-4bb5-9794-ba9453e51282",
        "projects/my-project/agent/intents/58b44b2d-4967-4a81-b017-12623dcd5d28/trainingPhrases/1d947780-22d3-4f80-8d7a-3f86efbf0be3"
      ],
      "errorMessage": "Multiple intents share training phrases which are too similar:\n - Intent 'app.notifications.open': training phrase 'open allo notifications settings'\n - Intent 'app.current.notifications.open': training phrase 'open notifications settings'"
    },
  ]
}

Schweregrade

Bei der Validierung können die folgenden Schweregrade angezeigt werden:

Schweregrad	Beschreibung
INFO	Der Agent folgt nicht der Best Practice.
WARNUNG	Der Agent verhält sich eventuell nicht wie erwartet.
FEHLER	Der Agent kann partielle Fehler erfahren.
KRITISCH	Der Agent kann komplett fehlschlagen.
SEVERITY_UNSPECIFIED	Nicht angegeben. Dieser Wert sollte niemals verwendet werden. Dieser Schweregrad ist über die API möglich.

Validierung erzwingen

Validierungsergebnisse werden automatisch beim Abschluss von Agent-Trainings zur Verfügung gestellt. Um neue Validierungsergebnisse zu erzwingen, können Sie die automatische Validierung deaktivieren und sie manuell auslösen. Weitere Informationen finden Sie auf der Seite Agent ML settings in der Konsole.

Viele Probleme beheben

Wenn eine große Anzahl von Problemen gefunden wird, sollten Sie Folgendes berücksichtigen:

• Beheben Sie Probleme in kleinen Batches. Wenn viele ähnliche Probleme auftreten, können Sie durch Beheben eines Problems möglicherweise auch ähnliche Probleme beheben, nachdem Sie den Agent neu trainiert haben.
• Es werden maximal 5.000 Probleme gleichzeitig angezeigt. Bei mehr als 5.000 Problemen verringert sich die angezeigte Anzahl möglicherweise so lange nicht, bis die Probleme auf unter 5.000 gesunken sind.