Intelligente Antwort

Intelligente Antwort verfolgt eine Unterhaltung zwischen einem menschlichen Kundenservicemitarbeiter und einem Endnutzer und zeigt dem menschlichen Kundenservicemitarbeiter Antwortvorschläge an. Die Antwortvorschläge werden durch ein benutzerdefiniertes Modell berechnet, das mit Ihren eigenen Unterhaltungsdaten trainiert wurde.

In diesem Dokument wird beschrieben, wie Sie mit der API „Intelligente Antwort“ implementieren und Vorschläge von diesem Feature erhalten. Alternativ können Sie die Agent Assist Console verwenden, um während der Entwicklung Ihre Daten hochzuladen, ein Modell zu trainieren und Ihre Ergebnisse vom Feature „Intelligente Antwort“ zu testen. Wenn Sie vom Feature „Intelligente Antwort“ Vorschläge während der Laufzeit erhalten möchten, müssen Sie die API direkt aufrufen. Weitere Informationen zum Trainieren eines Modells und zum Testen seiner Leistung mithilfe der Agent Assist Console finden Sie in der Anleitung zu „Intelligente Antwort“.

Agent Assist bietet außerdem öffentlich verfügbare Unterhaltungsdaten sowie ein vortrainiertes Modell und eine Zulassungsliste. Anhand dieser Ressourcen können Sie sich ansehen, wie Smart Reply funktioniert, oder Ihre Integration testen, bevor Sie Ihre eigenen Daten hochladen. Weitere Informationen finden Sie in der Dokumentation zum Format für Konversationsdaten.

Hinweise

Führen Sie die folgenden Schritte aus, bevor Sie mit dieser Anleitung beginnen:

  1. Erstellen Sie ein Unterhaltungs-Dataset mit Ihren eigenen Transkriptdaten.
  2. Modell für "Intelligente Antwort" mithilfe von Unterhaltungs-Datasets trainieren

Personenidentifizierbare Informationen und Daten von Kindern

Wenn Sie Daten an diese API senden, werden alle personenidentifizierbaren Informationen (PII) entfernt. Wenn Sie sicherstellen möchten, dass das Modell keine personenidentifizierbaren Informationen enthält, sollten Sie Ihre Daten bereinigen, bevor Sie sie an die API senden. Ersetzen Sie die entfernten Wörter durch Platzhalter wie REDACTED_NUMBER oder REDACTED_NAME, anstatt sie einfach zu entfernen.

Wenn Ihre Daten Informationen von Kindern enthalten, sollten Sie diese Daten entfernen, bevor Sie sie an die API senden.

Modell trainieren und bereitstellen

Modelle für intelligente Antworten von Agent Assist werden mit Unterhaltungs-Datasets trainiert. Ein Unterhaltungs-Dataset enthält Ihre eigenen hochgeladenen Transkriptdaten. In diesem Abschnitt erfahren Sie, wie Sie ein Unterhaltungs-Dataset erstellen, Ihre Unterhaltungsdaten darauf hochladen und ein Modell trainieren und bereitstellen. Sie können diese Aktionen auch über die Agent Assist Console ausführen, wenn Sie die API nicht direkt aufrufen möchten.

Unterhaltungs-Dataset erstellen

Bevor Sie Unterhaltungstranskripte hochladen können, müssen Sie zuerst ein Unterhaltungs-Dataset erstellen, in dem sie gespeichert werden. Rufen Sie die Methode create für die Ressource ConversationDataset auf, um ein Unterhaltungs-Dataset zu erstellen.

Die Antwort enthält die ID eines Unterhaltungs-Datasets.

Unterhaltungstranskripte in Ihr Unterhaltungs-Dataset importieren

Laden Sie Ihre Chatunterhaltungsdaten in Ihr Unterhaltungs-Dataset hoch, damit sie von Agent Assist verarbeitet werden können. Achten Sie darauf, dass ein Transkript jeder Unterhaltung im JSON-Format vorliegt und in einem Cloud Storage-Bucket gespeichert ist. Ein Unterhaltungs-Dataset muss mindestens 30.000 Unterhaltungen enthalten, andernfalls schlägt das Modelltraining fehl. Als allgemeine Regel gilt: Je mehr Unterhaltungen, desto besser ist die Modellqualität. Sie sollten Unterhaltungen aus einem Zeitraum von mindestens drei Monaten hochladen, damit möglichst viele Anwendungsfälle abgedeckt sind. Die maximale Anzahl von Nachrichten in einem Unterhaltungs-Dataset beträgt 1.000.000.

Rufen Sie die Methode importConversationData für die Ressource ConversationDataset auf, um Ihre Unterhaltungen zu importieren.

Pflichtfelder:

  • Die ID des zuvor erstellten Unterhaltungsdatensatzes.
  • Der Pfad inputConfig führt zu den Daten Ihres Unterhaltungstranskripts in einem Cloud Storage-Bucket.

Die Antwort ist ein Vorgang mit langer Ausführungszeit, bei dem Sie prüfen können, ob er abgeschlossen wurde.

Unterhaltungsmodell erstellen

Rufen Sie die Methode create für die Ressource ConversationModel auf, um ein Unterhaltungsmodell zu erstellen. Dadurch wird auch die Zulassungsliste des Modells erstellt.

Pflichtfelder:

  • Geben Sie unter datasets ein einzelnes Dataset mit der zuvor erstellten Unterhaltungs-Dataset-ID an.
  • Legen Sie smartReplyModelMetadata auf ein leeres Objekt fest oder füllen Sie das Feld aus, um den Standardwert zu überschreiben.

Die Antwort ist ein Vorgang mit langer Ausführungszeit, bei dem Sie prüfen können, ob er abgeschlossen wurde. Nach Abschluss werden die Modell-ID und die Zulassungslisten-ID in die Metadaten für den Vorgang aufgenommen.

  • Modell-ID: name
  • Zulassungslisten-ID: smart_reply_model_metadata.associated_allowlist_info.document

Unterhaltungsmodell bereitstellen

Rufen Sie die Methode deploy für die Ressource ConversationModel auf, um das Unterhaltungsmodell bereitzustellen.

Pflichtfeld:

  • conversationModels verwenden: Geben Sie die ID des zuvor erstellten Unterhaltungsmodells ein.

Zulassungsliste verwalten

Jedem Modell ist eine Zulassungsliste zugeordnet, die automatisch erstellt wird, wenn Sie ein Konversationsmodell erstellen. Die Zulassungsliste enthält alle Antworten, die aus Ihren Unterhaltungsdatensätzen generiert wurden und die bei der Laufzeit einem Kundenservicemitarbeiter angezeigt werden können. In diesem Abschnitt wird beschrieben, wie Sie Zulassungslisten erstellen und verwalten. Sie können diese Aktionen auch über die Agent Assist Console ausführen, wenn Sie die API nicht direkt aufrufen möchten.

Inhalt der Zulassungsliste in eine CSV-Datei exportieren

Beim Erstellen eines Modells wird automatisch eine Zulassungsliste erstellt, die mit dem neuen Modell verknüpft ist. Die Zulassungsliste ist eine Dokumentressource mit einer eindeutigen ID. Die ID wird in smart_reply_model_metadata.associated_allowlist_info.document zurückgegeben, wenn ein Modell erstellt wird. Wenn Sie Nachrichten auf der Zulassungsliste prüfen und ändern möchten, müssen Sie sie in einen Cloud Storage-Bucket exportieren.

Rufen Sie die Methode export für die Ressource Document auf, um das Dokument in eine CSV-Datei in einem Cloud Storage-Bucket zu exportieren. Das Feld smart_messaging_partial_update ist optional, hat aber Auswirkungen darauf, wie Sie die Zulassungsliste in Zukunft aktualisieren können. Wenn true festgelegt ist, enthält die exportierte CSV-Datei eine Spalte mit einer eindeutigen ID für jede Nachricht. Mit der Nachrichten-ID können Sie nur bestimmte Nachrichten aktualisieren, anstatt das gesamte Dokument. Wenn smart_messaging_partial_update auf false gesetzt oder nicht festgelegt ist, wird die zusätzliche Spalte nicht in der Datei angezeigt. Alle Änderungen an der Zulassungsliste erfordern eine Aktualisierung des gesamten Dokuments.

Pflichtfeld:

  • Der Pfad gcsDestination führt zu Ihrem Cloud Storage-Bucket.

Die Antwort ist ein Vorgang mit langer Ausführungszeit, bei dem Sie prüfen können, ob er abgeschlossen wurde. Anschließend wird die in der Anfrage angegebene CSV-Datei mit Antwortvorschlägen gefüllt.

Zulassungsliste prüfen

Die generierte Zulassungsliste enthält Antworten, die von Smart Reply anhand Ihrer Unterhaltungsdaten automatisch generiert wurden. Sie können diese Antworten jetzt prüfen und bei Bedarf aktualisieren. Laden Sie die Datei CSV aus Ihrem Cloud Storage-Bucket herunter, bearbeiten Sie sie nach Bedarf und laden Sie sie wieder in den Cloud Storage-Bucket hoch. Nur Antworten auf der Zulassungsliste können Kundenservicemitarbeitern angezeigt werden.

Wenn Sie Antworten bearbeiten, sollten Sie dies nur aufgrund von Rechtschreibung und Grammatik tun und die Bedeutung der Nachricht nicht ändern. Je stärker der bearbeitete Text von der Bedeutung im Modell abweicht, desto unwahrscheinlicher ist es, dass die Nachricht angezeigt wird.

Bei Bedarf können Sie auch neue Mitteilungen erstellen. Ähnlich wie bearbeitete Nachrichten werden erstellte Nachrichten mit geringerer Wahrscheinlichkeit während der Laufzeit eingeblendet.

Zulassungsliste aktualisieren

Nachdem Sie die CSV-Datei aktualisiert haben, können Sie sie verwenden, um die Document-Ressource zu aktualisieren. Sie können die gesamte Zulassungsliste oder nur bestimmte Nachrichten aktualisieren. Wenn Sie nur bestimmte Nachrichten aktualisieren möchten, müssen Sie smart_messaging_partial_update beim Exportieren der Zulassungsliste auf true festgelegt haben. Wenn Sie dies bereits getan haben, verwenden Sie die automatisch generierte Spalte in der exportierten CSV-Datei, um die zu aktualisierenden Nachrichten anzugeben.

Rufen Sie die Methode reload auf der Ressource Document auf, um die Zulassungsliste zu aktualisieren. Wenn Sie nur bestimmte Nachrichten aktualisieren möchten, legen Sie in der ReloadDocumentRequest smart_messaging_partial_update auf true fest. Wenn Sie die gesamte Zulassungsliste aktualisieren möchten, lassen Sie smart_messaging_partial_update leer oder setzen Sie es auf false.

Pflichtfelder:

Beispielanfrage:

{
  "name":"projects/project-id/knowledgeBases/knowledge-base-id/documents/allowlist-id",
  "gcsSource" {
      "uri": "gs://revised_smart_reply_allowlist_path"
   }
}

Leistung eines trainierten Modells bewerten

Sie können die Leistung eines Modells testen, nachdem Sie es bereitgestellt und eine Zulassungsliste dafür erstellt haben. Außerdem müssen Sie einen Testdatensatz angeben. Die vom trainierten Modell für intelligente Antworten generierten Antworten und die zugehörige Zulassungsliste werden mit den tatsächlichen Nachrichten von Kundenservicemitarbeitern im Test-Dataset verglichen. Der Testdatensatz sollte aus echten Unterhaltungsdaten bestehen, darf aber keine Daten aus dem Unterhaltungsdatensatz enthalten, mit dem Sie das Modell trainiert haben. Wenn Sie beispielsweise einen Monat lang Unterhaltungsverkehr haben, können Sie die Unterhaltungsdaten von drei Wochen verwenden, um ein Unterhaltungs-Dataset zu erstellen, und die Daten der verbleibenden Woche, um das Test-Dataset zu erstellen. Ein Test-Dataset sollte mindestens 1.000 Unterhaltungen enthalten. Im Allgemeinen sind die Bewertungsmesswerte jedoch zuverlässiger, je mehr Unterhaltungen im Test-Dataset enthalten sind. Das Format des Test-Datasets entspricht dem Format des Datasets für Unterhaltungen.

Wenn Sie eine neue Modellbewertung erstellen möchten, rufen Sie die Methode CreateConversationModelEvaluation für eine ConversationModel-Ressource auf. Diese Methode gibt einen lang andauernden Vorgang zurück. Sie können den Vorgang abfragen, um seinen Status zu prüfen. Dabei wird einer der folgenden Werte zurückgegeben: INITIALIZING, RUNNING, SUCCEEDED, CANCELLED oder FAILED.

Pflichtfelder:

  • InputDataset: Der Testdatensatz, mit dem die Leistung des Modells getestet wird.
  • allowlist_document: Die Zulassungsliste, die mit dem zu testenden Modell für intelligente Antworten verknüpft ist.

Eine ConversationModelEvaluation-Ressource wird zurückgegeben, wenn der langlaufende Vorgang abgeschlossen ist. Es sind zwei Messwerte enthalten:

  • allowlist_coverage: Der Prozentsatz der Kundenservicemitarbeiternachrichten im Test-Dataset, die von der Zulassungsliste abgedeckt sind.
  • recall: Der Prozentsatz der Kundenservicemitarbeiternachrichten im Test-Dataset, die sich auf der Zulassungsliste befinden und in den drei besten Vorschlägen des Smart Reply-Modells enthalten sind.

Unterhaltungsprofil konfigurieren

Mit einem Unterhaltungsprofil werden eine Reihe von Parametern konfiguriert, die die Vorschläge steuern, die einem Kundenservicemitarbeiter während einer Unterhaltung gegeben wurden. In den folgenden Schritten wird ein ConversationProfile mit einem HumanAgentAssistantConfig-Objekt erstellt. Sie können diese Aktionen auch über die Agent Assist Console ausführen, wenn Sie die API nicht direkt aufrufen möchten.

Unterhaltungsprofil erstellen

Zum Erstellen eines Unterhaltungsprofils rufen Sie die Methode create für die Ressource ConversationProfile auf. Geben Sie Ihre Wissensdatenbank-ID, die Dokument-ID, die Projekt-ID und die Modell-ID an.

Hier ein JSON-Beispiel: 
{
  "displayName":"smart_reply_assist",
  "humanAgentAssistantConfig":{
    "humanAgentSuggestionConfig":{
      "featureConfigs":[
        {
          "suggestionFeature": { "type":"SMART_REPLY" },
          "queryConfig": {
            "documentQuerySource":{
              "documents": ["projects/PROJECT_ID/knowledgeBases/KNOWLEDGE_BASE_ID/documents/DOCUMENT_ID"]
              },
                "maxResults": 3
              },
            }
          },
          "conversationModelConfig":{
            "model": "projects/PROJECT_ID/conversationModels/MODEL_ID"
          }
        }
      ]
    }
  }
}

Wir empfehlen, den Wert für SuggestionFeatureConfig.enable_inline_suggestion festzulegen. Wenn dieser Wert „wahr“ ist, führen spätere Aufrufe von AnalyzeContent zu Antworten mit einer Liste von Vorschlägen.

Die Antwort enthält Ihre neue Unterhaltungsprofil-ID.

Unter Generative intelligente Antwort finden Sie eine Anleitung zum Konfigurieren eines Unterhaltungsprofils, zum Umgang mit Unterhaltungen zur Laufzeit, zum Testen Ihrer Ergebnisse und zum Senden von Feedback an Agent Assist.