Erdung mit RAG prüfen

Im Rahmen der Retrieval Augmented Generation (RAG) in Vertex AI Agent Builder können Sie die Grounding prüfen, um festzustellen, wie gut ein Text (ein sogenannter Antwortkandidat) auf einer bestimmten Gruppe von Referenztexten (sogenannte Fakten) basiert.

Die API gibt eine Gesamtbewertung von 0 bis 1 zurück, die angibt, inwiefern die Antwort mit den angegebenen Fakten übereinstimmt. Die Antwort enthält außerdem Verweise auf die Fakten, die die einzelnen Behauptungen im Antwortkandidaten stützen.

Für eine perfekte Begründung muss jede Behauptung in der Antwortvorlage durch mindestens eine der angegebenen Fakten gestützt werden. Mit anderen Worten: Die Behauptung ergibt sich vollständig aus den Fakten. Wenn der Anspruch nur teilweise erfüllt ist, wird er nicht als begründet betrachtet. Die Behauptung „Google wurde 1975 von Larry Page und Sergey Brin gegründet“ ist beispielsweise nur teilweise richtig. Die Namen der Gründer sind korrekt, das Datum jedoch falsch. Daher wird die gesamte Behauptung als unbegründet eingestuft. In dieser Version der API zur Überprüfung der Begründung wird ein Satz als einzelne Behauptung betrachtet.

Sie können die API „check grounding“ verwenden, um beliebigen Text zu prüfen. Es kann sich um einen von Menschen erstellten Slogan oder eine maschinell generierte Antwort handeln. Ein typischer Anwendungsfall besteht darin, eine LLM-generierte Antwort mit einer bestimmten Reihe von Fakten zu vergleichen. Die API zur Überprüfung der Erdung ist für eine schnelle Ausführung mit einer Latenz von weniger als 500 ms ausgelegt. Dank dieser Geschwindigkeit können Chatbots die API zur Überprüfung der Validierung bei jeder Inferenz aufrufen, ohne dass es zu einer erheblichen Verlangsamung kommt. Die API zur Überprüfung der Erdung kann auch Referenzen zur Unterstützung ihrer Ergebnisse bereitstellen, damit Nutzer erkennen können, welche Teile der generierten Antwort zuverlässig sind. Die API liefert auch einen Supportwert, der die Gesamtgenauigkeit der Antwort angibt. Durch Festlegen eines Zitatgrenzwerts können Chatbots Antworten bei der Inferenz herausfiltern, die wahrscheinlich halluzinierte Behauptungen enthalten.

Auf dieser Seite wird beschrieben, wie Sie mit der Check Grounding API die Erdung prüfen.

Experimentelle Funktionen

Wenn Sie die folgenden experimentellen Funktionen ausprobieren möchten, die für die Check Grounding API verfügbar sind, wenden Sie sich an Ihr Google-Kontoteam und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden:

  • Anti-Zitate:Mit dieser Funktion erhalten Sie einen Widerspruchswert, der angibt, inwiefern die Antwortvorschlage den angegebenen Fakten widersprechen. Die Antwort enthält außerdem Verweise auf die widersprüchlichen Fakten für jede Behauptung. Weitere Informationen finden Sie unter Widerspruchsbewertung für einen Antwortkandidaten abrufen.

  • Unterstützungsbewertung auf Anspruchsebene:Zusätzlich zur Gesamtbewertung für den Antwortkandidaten gibt die Unterstützungsbewertung auf Anspruchsebene an, inwiefern sich die einzelnen Ansprüche im Antwortkandidaten begründen lassen. Weitere Informationen finden Sie unter Bewertungen auf Anspruchsebene für einen Antwortvorschlag abrufen.

  • Bewertung der Nützlichkeit:Dieser Wert gibt an, wie gut die Antwortvorlage eine bestimmte Anfrage beantwortet. Weitere Informationen finden Sie unter Hilfreichkeitsbewertung für einen Antwortkandidaten abrufen.

  • Fundierung mit einem Datenspeicher:Die Fakten für die Wissensbasis werden aus einem Vertex AI Search-Datenspeicher abgerufen, anstatt Inline-Fakten anzugeben. Weitere Informationen finden Sie unter Erdung mit einem Datenspeicher prüfen.

Definitionen und Erläuterungen zu Begriffen

Bevor Sie die Grounding API prüfen verwenden, sollten Sie die Eingaben und Ausgaben kennen und wissen, wie Sie Ihre Fakten zur Erdung strukturieren, um die besten Ergebnisse zu erzielen.

Eingabedaten

Für die API „check grounding“ sind die folgenden Eingaben in der Anfrage erforderlich.

  • Antwortvorschlag: Ein Antwortvorschlag kann jeder Text sein, dessen Grundlage Sie überprüfen möchten. Im Kontext von Vertex AI Search kann der Antwortkandidat beispielsweise die generierte Suchzusammenfassung sein, die eine Suchanfrage beantwortet. Die API würde dann ermitteln, wie gut die Zusammenfassung auf den eingegebenen Fakten basiert. Ein Antwortkandidat kann maximal 4.096 Token lang sein. Ein Token ist ein Wort in einem Satz oder ein Punkt (ein Satzzeichen, das den Satz beendet). Der Satz „Sie trug 2024 Konfektionskleidung.“ besteht beispielsweise aus sieben Tokens, einschließlich sechs Wörtern und einem Punkt.

  • Fakten: Eine Reihe von Textsegmenten, die als Referenzen für die Verankerung dienen. Für jedes Textsegment können Metadatenattribute (Schlüssel/Wert-Paare) angegeben werden. „Autor“ und „Titel“ sind beispielsweise typische Attributschlüssel.

    Der Dienst unterstützt bis zu 200 Fakten mit jeweils maximal 10.000 Zeichen.

    Google empfiehlt, keine sehr große Information anzugeben, die alle Informationen enthält. Stattdessen können Sie bessere Ergebnisse erzielen, indem Sie große Fakten in kleinere Fakten aufteilen und für die kleineren Fakten geeignete Attribute angeben. Sie können beispielsweise einen großen Fakt nach Titel, Autor oder URL aufteilen und diese Informationen in Attributen angeben.

  • Zitationsgrenzwert: Ein Float-Wert zwischen 0 und 1, der die Konfidenz für die Zitate steuert, die die Antwortvorschläge unterstützen. Je höher der Schwellenwert, desto strenger ist die Konfidenz. Ein höherer Grenzwert führt daher zu weniger, aber aussagekräftigeren Zitaten.

Ausgabedaten

Die Grounding API gibt für einen Antwortkandidaten Folgendes zurück:

  • Stützungsbewertung:Die Unterstützungsbewertung ist eine Zahl zwischen 0 und 1, die angibt, wie gut eine Antwort auf die angegebenen Fakten gestützt ist. Er gibt ungefähr den Anteil der Behauptungen im Antwortkandidaten an, die auf mindestens einer der angegebenen Fakten beruhen.

  • Zitierte Textstücke: Zitierte Textstücke sind Teile der Eingabefakten, die die Antwortvorschlag unterstützen.

  • Behauptungen und Zitate:Die Behauptungen und Zitate stellen eine Behauptung (in der Regel ein Satz) des Antwortkandidaten mit einem oder mehreren der zitierten Textstücke in Verbindung, die die Behauptung stützen.

    Wenn die Bewertung auf Anspruchsebene aktiviert ist, wird für jeden Anspruch eine Unterstützungsbewertung als Zahl zwischen 0 und 1 zurückgegeben, die angibt, wie fundiert der Anspruch auf der Grundlage der angegebenen Fakten ist. Weitere Informationen finden Sie unter Bewertungen auf Anspruchsebene für einen Antwortkandidaten abrufen.

  • Erdungscheck erforderlich: Bei jeder Beschwerde wird ein boolescher Wert für „grounding-check-required“ zurückgegeben. Wenn False zurückgegeben wird, bedeutet das, dass das System der Ansicht ist, dass die Behauptung nicht begründet werden muss. Zitate und Gegendarstellungen werden daher nicht zurückgegeben. Ein Satz wie „Hier ist, was ich gefunden habe“ ist beispielsweise keine Tatsache und erfordert daher keine Überprüfung der Grundlagen.

    Wenn „grounding-check-required“ den Wert true zurückgibt, wurde eine Fundierungsüberprüfung durchgeführt und es werden gegebenenfalls Unterstützungsbewertungen, Zitate und Anti-Zitate zurückgegeben.

Supportbewertung für einen Antwortkandidaten abrufen

So finden Sie heraus, wie gut eine Antwort auf Fakten basiert:

  1. Bereiten Sie Ihre Fakten vor. Weitere Informationen und Beispiele finden Sie unter Begriffe definiert und erklärt.

  2. Rufen Sie die Methode check mit dem folgenden Code auf:

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
  "answerCandidate": "CANDIDATE",
  "facts": [
  {
    "factText": "TEXT_0",
    "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
  },
  {
    "factText": "TEXT_1",
    "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
  },
  {
    "factText": "TEXT_2",
    "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
  }
  ],
  "groundingSpec": {
    "citationThreshold": "CITATION_THRESHOLD"
  }
}'

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Projektnummer oder ID Ihres Google Cloud-Projekts.

  • CANDIDATE: Der String für den Antwortvorschlag, für den Sie einen Unterstützungswert erhalten möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortvorschlag kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das den Satz beendet) definiert. Der Satz „Sie trug 2024 Konfektionskleidung.“ besteht beispielsweise aus sieben Tokens, einschließlich sechs Wörtern und einem Punkt.

  • TEXT: Das Textsegment, das für die Begründung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards.. Den vollständigen Text finden Sie unter Beispiele für Fakten.

  • ATTRIBUTE: Der Name eines Metadatenattributs, das mit dem Fakt verknüpft ist, z. B. author oder title. Dies ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein author-Attribut mit dem Wert Wikipedia hat, gelten die folgenden Behauptungen als auf dem Faktum beruhend:

    • Wikipedia cites that Toronto is the capital of Ontario
    • Toronto is the capital of Ontario

      Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so fundiert wie die ersten beiden Behauptungen.

  • VALUE: der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

  • CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der bestimmt, ob für eine Behauptung im Antwortvorschlag eine Tatsache zitiert werden muss. Ein höherer Schwellenwert führt zu weniger, aber aussagekräftigeren Zitaten, ein niedrigerer Schwellenwert zu mehr, aber weniger aussagekräftigen Zitaten. Wenn der Wert nicht festgelegt ist, beträgt der Standardgrenzwert 0.6.

Python

Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Agent Builder Python API.

Richten Sie zur Authentifizierung bei Vertex AI Agent Builder Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"

client = discoveryengine.GroundedGenerationServiceClient()

# The full resource name of the grounding config.
# Format: projects/{project_id}/locations/{location}/groundingConfigs/default_grounding_config
grounding_config = client.grounding_config_path(
    project=project_id,
    location="global",
    grounding_config="default_grounding_config",
)

request = discoveryengine.CheckGroundingRequest(
    grounding_config=grounding_config,
    answer_candidate="Titanic was directed by James Cameron. It was released in 1997.",
    facts=[
        discoveryengine.GroundingFact(
            fact_text=(
                "Titanic is a 1997 American epic romantic disaster movie. It was directed, written,"
                " and co-produced by James Cameron. The movie is about the 1912 sinking of the"
                " RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released"
                " on December 19, 1997. It received positive critical reviews. The movie won 11 Academy"
                " Awards, and was nominated for fourteen total Academy Awards."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
        discoveryengine.GroundingFact(
            fact_text=(
                'James Cameron\'s "Titanic" is an epic, action-packed romance'
                "set against the ill-fated maiden voyage of the R.M.S. Titanic;"
                "the pride and joy of the White Star Line and, at the time,"
                "the largest moving object ever built. "
                'She was the most luxurious liner of her era -- the "ship of dreams" -- '
                "which ultimately carried over 1,500 people to their death in the "
                "ice cold waters of the North Atlantic in the early hours of April 15, 1912."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
    ],
    grounding_spec=discoveryengine.CheckGroundingSpec(citation_threshold=0.6),
)

response = client.check_grounding(request=request)

# Handle the response
print(response)

Beispiele für Fakten

Im Folgenden finden Sie einige Beispiele für Fakten und ihre Attribute. Diese Beispiele sollen Ihnen helfen, die Antwort auf die Erdung und das Format des Curl-Befehls zu verstehen.

  • Fact 0

    • Text: "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards."

    • Attribute: {"Author": "Simple Wikipedia"}

  • Fakt 1

    • Text: "James Cameron's "Titanic" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the "ship of dreams" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912."

    • Attribute: {"Author": "Rotten Tomatoes"}

Beispielanfrage

Nachdem Sie die Fakten vorbereitet haben, können Sie die folgende Anfrage senden. Ersetzen Sie dabei das Feld CANDIDATE durch verschiedene Strings, deren Erdung Sie prüfen möchten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6"
    }
    }'

Beispiele für Antwortvorschläge und fundierte Antworten

Die folgende Tabelle enthält Beispiele für verschiedene Antwortvorschläge und Antworten, die Sie erhalten, wenn Sie die Beispielanfrage senden, basierend auf den Beispielinformationen.

Antwortvorschlag Antwort auf Erdung prüfen
Here is what I found. Titanic was directed by James Cameron. Unterstützungsbewertung: 0.99

Zitierte Code-Chunks:
  1. [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
Behauptungen und Quellenangaben:
  • 0. Here is what I found.
    Prüfung der Erdung erforderlich: false
  • 1. Titanic was directed by James Cameron.
    Quellenangaben: [0]
    Fundierungsüberprüfung erforderlich: true
Titanic was directed by James Cameron. It was released in 1997. Unterstützungsbewertung: 0.99

Zitierte Code-Chunks:
  1. [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
  2. [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....
Behauptungen und Quellenangaben:
  • 0. Titanic was directed by James Cameron.
    Quellenangaben: [0]
    Fundierungsüberprüfung erforderlich: true
  • 1. It was released in 1997.
    Quellenangaben: [1]
    Fundierungsüberprüfung erforderlich: true
Titanic was directed by James Cameron. It was based on the sinking of the RMS Titanic that led to the death of 1500 people. Unterstützungsbewertung: 0.95

Zitierte Code-Chunks:
  1. [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
  2. [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....
Behauptungen und Quellenangaben:
  • 0. Cited chunks: Titanic was directed by James Cameron.
    Quellenangaben: [0]
    Fundierungsüberprüfung erforderlich: true
  • 1. Cited chunks: It was based on the sinking of the RMS Titanic that led to the death of 1500 people.
    Quellenangaben: [1]
    Fundierung erforderlich: true
Titanic was directed by James Cameron. It starred Brad Pitt and Kate Winslet Unterstützungsbewertung: 0.54

Zitierte Code-Chunks:
  1. [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
  2. [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....
Behauptungen und Quellenangaben:
  • 0. Titanic was directed by James Cameron.
    Quellenangaben: [0]
    Fundierungsüberprüfung erforderlich: true
  • 1. It starred Brad Pitt and Kate Winslet
    Quellenangaben: []
    Fundierungsüberprüfung erforderlich: true
Hinweis:Auch wenn Kate Winslet die Hauptrolle in diesem Film spielte, wird sie nicht zitiert, da die Behauptung "It starred Brad Pitt and Kate Winslet" nicht vollständig wahr ist. In diesem Fall können Sie die Methode mit aktivierten Anti-Zitationen aufrufen, um einen Widerspruchswert zu erhalten. Weitere Informationen finden Sie unter Widersprüche für einen Antwortkandidaten ermitteln.

Widerspruchsbewertung für einen Antwortkandidaten abrufen

Neben der Supportbewertung können Sie auch eine Bewertung für den Widerspruch erhalten. Der Widerspruchswert gibt ungefähr den Anteil der Behauptungen an, die den angegebenen Fakten widersprechen.

Wenn Sie diese experimentelle Funktion ausprobieren möchten, wenden Sie sich an Ihr Google Konten-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden.

Wert für Widerspruch abrufen

So rufen Sie den Wert für den Widerspruch ab:

  1. Bereiten Sie Ihre Fakten vor. Weitere Informationen und Beispiele finden Sie unter Begriffe definiert und erklärt.

  2. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "TEXT_0",
      "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
     },
     {
      "factText": "TEXT_1",
      "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
     },
     {
      "factText": "TEXT_2",
      "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
     },
    ],
    "groundingSpec": {
      "citationThreshold": "CITATION_THRESHOLD",
      "enableAntiCitations": "ENABLE_ANTI_CITATION",
      "antiCitationThreshold": "ANTI_CITATION_THRESHOLD",
    }
    }'
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projektnummer oder ID Ihres Google Cloud-Projekts.

    • CANDIDATE: Der String für den Antwortvorschlag, für den Sie eine Unterstützungsbewertung erhalten möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortvorschlag kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das den Satz beendet) definiert. Der Satz „Sie trug 2024 Konfektionskleidung“ besteht beispielsweise aus sieben Tokens, einschließlich sechs Wörtern und einem Punkt.

    • TEXT: Das Textsegment, das für die Begründung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards.. Den vollständigen Text finden Sie unter Beispiele für Fakten.

    • ATTRIBUTE: der Name eines Metadatenattributs, das mit dem Fakt verknüpft ist, z. B. author oder title. Es ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein author-Attribut mit dem Wert Wikipedia hat, sind die folgenden Behauptungen fundiert:

      • Wikipedia cites that Toronto is the capital of Ontario
      • Toronto is the capital of Ontario

      Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so gut begründet.

    • VALUE: Der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

    • CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der bestimmt, ob für eine Behauptung im Antwortvorschlag eine Tatsache zitiert werden muss. Ein höherer Schwellenwert führt zu weniger, aber aussagekräftigen Belegen zur Unterstützung der Behauptung. Ein niedrigerer Schwellenwert führt zu mehr, aber weniger aussagekräftigen Belegen zur Unterstützung der Behauptung. Wenn der Grenzwert nicht festgelegt ist, beträgt der Standardwert 0,6.

    • ENABLE_ANTI_CITATION: ein boolescher Wert. Legen Sie für dieses Feld den Wert true fest, um die experimentelle Funktion zur Bewertung des Widerspruchswerts zu aktivieren. Entfernen Sie dieses Feld oder legen Sie es auf false fest, um diese Funktion zu deaktivieren.

    • ANTI_CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der angibt, ob eine Tatsache zitiert werden muss, die einer Behauptung im Antwortvorschlag widerspricht. Ein höherer Schwellenwert führt zu weniger, aber aussagekräftigeren Quellenangaben, die der Behauptung widersprechen. Ein niedrigerer Schwellenwert führt zu mehr, aber weniger aussagekräftigen Quellenangaben, die der Behauptung widersprechen. Wenn der Wert nicht festgelegt ist, beträgt der Standardgrenzwert 0,8.

Beispielanfrage

Anhand der Beispieldaten aus dem vorherigen Abschnitt können Sie die folgende Anfrage senden. Ersetzen Sie das Feld CANDIDATE durch verschiedene Strings, deren Begründung und Widersprüche Sie prüfen möchten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableAntiCitations": true,
      "antiCitationThreshold": "0.8",
    }
    }'

Beispiel für Antworten mit Widersprüchen

In der folgenden Tabelle sehen Sie ein Beispiel für einen Antwortkandidaten und die Antwort, die Sie erhalten, wenn Sie die Beispielanfrage senden, basierend auf den Beispielinformationen.

Antwortvorschlag Antwort auf Erdung prüfen
Titanic was directed by James Cameron. It starred Brad Pitt and Kate Winslet Unterstützungsfaktor: 0.36

Widerspruchsfaktor: 0.49

Zitierte Textblöcke:
  1. [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
  2. [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....
Behauptungen und Quellenangaben:
  • 0. Titanic was directed by James Cameron.
    Quellenangaben: [0] Anti-Zitate: []
    Fundierungsüberprüfung erforderlich: true
  • 1. It starred Brad Pitt and Kate Winslet
    Quellenangaben: [] Anti-Zitate: [0]
    Fundierungsüberprüfung erforderlich: true

Nützlichkeitsbewertung für einen Antwortvorschlag abrufen

Wenn Sie diese experimentelle Funktion ausprobieren möchten, wenden Sie sich an Ihr Google Konten-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden.

Zusätzlich zur Unterstützungs- und Widerspruchsbewertung kann die API zur Überprüfung der Begründung eine Nützlichkeitsbewertung liefern. Eine hilfreiche Antwort erfüllt die Anfrage des Nutzers (wie im Prompt angegeben) auf informative Weise. Der Wert für die Nützlichkeit gibt an, inwiefern die Antwort

  • Sie beziehen sich auf den Hauptzweck des Prompts.
  • Sie enthalten vollständige und prägnante Informationen.
  • Sie beantworten direkt die gestellte Frage oder erledigen die im Designvorschlag angeforderte Aufgabe.
  • Relevante Informationen anbietet
  • Sie ist klar und verständlich.
  • Vermeiden Sie unnötige Details und Fachjargon.

Wenn Sie neben der Fundierungsbewertung auch eine Bewertung der Nützlichkeit erhalten möchten, müssen Sie zusammen mit den Antwortvorschlägen und Fakten einen Prompt angeben. Die API zur Überprüfung der Begründung prüft die Antwortvorschläge anhand des Prompts und gibt eine Bewertung ab, die angibt, wie hilfreich die Antwortvorschläge sind. Der Wert liegt im Bereich [0,1]. Je höher der Wert, desto hilfreicher ist die Antwort.

Bewertung der Nützlichkeit

So rufen Sie den Hilfewert auf:

  1. Bereiten Sie Ihren Prompt und den Antwortkandidaten vor.

  2. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
    {
      "factText": "TEXT_0",
      "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
      "factText": "TEXT_1",
      "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
      "factText": "TEXT_2",
      "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    }
    ],
    "groundingSpec": {
      "enableHelpfulnessScore": true
    },
    "prompt": "PROMPT",
    }'
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projektnummer oder ID Ihres Google Cloud-Projekts.

    • CANDIDATE: Der String für den Antwortvorschlag, für den Sie eine Nützlichkeitsbewertung erhalten möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortvorschlag darf maximal 4.096 Token lang sein.

    • TEXT: Das Textsegment, das für die Begründung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards.. Den vollständigen Text finden Sie unter Beispiele für Fakten.

    • ATTRIBUTE: der Name eines Metadatenattributs, das mit dem Fakt verknüpft ist, z. B. author oder title. Es ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein author-Attribut mit dem Wert Wikipedia hat, sind die folgenden Behauptungen fundiert:

      • Wikipedia cites that Toronto is the capital of Ontario
      • Toronto is the capital of Ontario

      Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so gut begründet.

    • VALUE: Der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

    • PROMPT: Der Prompt ist die Suchanfrage, auf die die Antwortvorschläge generiert wurden, z. B. Who directed and starred in the movie Titanic?.

Beispielanfrage

Anhand der Beispieldaten aus dem vorherigen Abschnitt können Sie die folgende Anfrage senden. Ersetzen Sie das Feld CANDIDATE durch verschiedene Antwortvorschläge, um eine Nützlichkeitsbewertung für die Antwort zu erhalten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "enableHelpfulnessScore": true
    },
    "prompt": "Who directed and starred in the movie Titanic?"
    }'

Beispiel für Antworten mit Nützlichkeitsbewertungen

Die folgende Tabelle enthält Beispiele für Antwortvorschläge mit ihren Bewertungen hinsichtlich Nützlichkeit. In jedem Fall ist die Eingabeaufforderung Who directed and starred in the Titanic?

Antwortvorschlag Bewertung der Nützlichkeit Bewertung
Titanic was directed by James Cameron. It starred Leonardo DiCaprio and Kate Winslet. 0.980 Kurz und vollständig
Cameron, DiCaprio and Winslet. 0.947 Unvollständig
James Cameron's 1997 masterpiece, Titanic, captured the hearts of audiences worldwide with its tragic love story set against the backdrop of the ill-fated maiden voyage of the "unsinkable" ship. The film, a mesmerizing blend of historical drama and fictional romance, starred Leonardo DiCaprio as Jack Dawson, a penniless artist who falls for Rose DeWitt Bukater, a young woman trapped by her social standing and played exquisitely by Kate Winslet. Their passionate love affair unfolds amidst the grandeur and opulence of the Titanic, a floating palace of dreams that ultimately succumbs to a devastating fate. 0.738 Nicht prägnant

Bewertungen auf Anspruchsebene für einen Antwortkandidaten abrufen

Zusätzlich zur Unterstützungsbewertung auf Antwortebene können Sie für jeden Anspruch in einem Antwortvorschlag eine Unterstützungsbewertung auf Anspruchsebene abrufen.

Wenn Sie diese experimentelle Funktion ausprobieren möchten, wenden Sie sich an Ihr Google Konten-Team und bitten Sie darum, auf die Zulassungsliste gesetzt zu werden.

So rufen Sie die Bewertungen auf Anspruchsebene ab:

  1. Bereiten Sie Ihre Fakten vor. Weitere Informationen und Beispiele finden Sie unter Begriffe definiert und erklärt.

  2. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "TEXT_0",
      "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
     },
     {
      "factText": "TEXT_1",
      "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
     },
     {
      "factText": "TEXT_2",
      "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
     },
    ],
    "groundingSpec": {
      "citationThreshold": "CITATION_THRESHOLD",
      "enableClaimLevelScore": "ENABLE_CLAIM_LEVEL_SCORE",
    }
    }'
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projektnummer oder ID Ihres Google Cloud-Projekts.

    • CANDIDATE: Der String für den Antwortvorschlag, für den Sie eine Unterstützungsbewertung erhalten möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortvorschlag kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das den Satz beendet) definiert. Der Satz „Sie trug 2024 Konfektionskleidung“ besteht beispielsweise aus sieben Tokens, einschließlich sechs Wörtern und einem Punkt.

    • TEXT: Das Textsegment, das für die Begründung verwendet werden soll, z. B. Titanic is a 1997 American epic... Academy Awards.. Den vollständigen Text finden Sie unter Beispiele für Fakten.

    • ATTRIBUTE: der Name eines Metadatenattributs, das mit dem Fakt verknüpft ist, z. B. author oder title. Es ist ein benutzerdefiniertes Label, mit dem dem Faktentext weitere Informationen hinzugefügt werden können. Wenn der Faktentext Toronto is the capital of Ontario beispielsweise ein author-Attribut mit dem Wert Wikipedia hat, sind die folgenden Behauptungen fundiert:

      • Wikipedia cites that Toronto is the capital of Ontario
      • Toronto is the capital of Ontario

      Die Behauptung, dass Government of Ontario claims that Toronto is the capital of Ontario, ist jedoch nicht so gut begründet.

    • VALUE: Der Wert für das Attribut, z. B. Simple Wikipedia oder Titanic (1997 film).

    • CITATION_THRESHOLD: Ein Gleitkommawert zwischen 0 und 1, der bestimmt, ob für eine Behauptung im Antwortvorschlag eine Tatsache zitiert werden muss. Ein höherer Schwellenwert führt zu weniger, aber aussagekräftigen Belegen zur Unterstützung der Behauptung. Ein niedrigerer Schwellenwert führt zu mehr, aber weniger aussagekräftigen Belegen zur Unterstützung der Behauptung. Wenn der Grenzwert nicht festgelegt ist, beträgt der Standardwert 0,6.

    • ENABLE_CLAIM_LEVEL_SCORE: ein boolescher Wert. Legen Sie für dieses Feld den Wert true fest, um die Funktion „Bewertung auf Anspruchsebene“ zu aktivieren. Wenn Sie diese Funktion deaktivieren möchten, entfernen Sie dieses Feld oder legen Sie für dieses Feld den Wert false fest.

Beispielanfrage

Anhand der Beispieldaten aus dem vorherigen Abschnitt können Sie die folgende Anfrage senden. Ersetzen Sie das Feld CANDIDATE durch verschiedene Strings, deren Begründung für einzelne Ansprüche Sie prüfen möchten.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableClaimLevelScore": true,
    }
    }'

Beispiel für Antworten mit Bewertungen auf Anspruchsebene

In der folgenden Tabelle sehen Sie ein Beispiel für einen Antwortkandidaten und die Antwort, die Sie erhalten, wenn Sie die Beispielanfrage senden, basierend auf den Beispielinformationen.

Antwortvorschlag Antwort auf Erdung prüfen
Here is what I found. Titanic was directed by James Cameron. It starred Kate Winslet and Leonardo DiCaprio. Unterstützungsbewertung: 0.99

Zitierte Code-Chunks:
  1. [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
Behauptungen und Quellenangaben:
  • 0. Here is what I found.
    Prüfung der Erdung erforderlich: false
  • 1. Titanic was directed by James Cameron.
    Quellenangaben: [0]
    Fundierungsüberprüfung erforderlich: true
    Bewertung: 0.99
  • 2. It starred Kate Winslet and Leonardo DiCaprio.
    Quellenangaben: [0]
    Fundierungsüberprüfung erforderlich: true
    Bewertung: 0.99

Erdung mit einem Datenspeicher prüfen

Standardmäßig wird die Erdung anhand einer Reihe von Fakten geprüft, die inline im API-Aufruf „check grounding“ angegeben werden. Anstatt die Fakten inline anzugeben, können Sie den Antwortkandidaten aber auch mit allen Fakten in einem Vertex AI Search-Datenspeicher vergleichen.

Wenn Sie die API zur Überprüfung der Fundierung aufrufen, geben Sie den Namen einer Vertex AI-Such-App an. Die mit dieser Such-App verknüpften unstrukturierten Datenspeicher enthalten die Fakten, mit denen die Fundierung des Antwortkandidaten überprüft wird.

So prüfen Sie die Erdung anhand eines Datenspeichers:

  1. Suchen Sie eine allgemeine Such-App, die mit mindestens einem Datenspeicher verknüpft ist, der unstrukturierte Daten enthält. Die Dokumente in diesem Datenspeicher dienen als Quelle für Ihre fundierenden Fakten.

    Informationen zum Erstellen eines Datenspeichers und einer Such-App finden Sie unter Suchdatenspeicher erstellen und Such-App erstellen.

  2. Suchen Sie Ihre App-ID. Wenn Sie bereits eine App-ID haben, fahren Sie mit dem nächsten Schritt fort.

    1. Rufen Sie in der Google Cloud Console die Seite Agent Builder auf.

      Zu Apps wechseln

    2. Suchen Sie auf der Seite Apps nach dem Namen Ihrer App und sehen Sie sich die ID der App in der Spalte ID an.

  3. Rufen Sie die Methode check mit dem folgenden curl-Befehl auf:

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
        "answerCandidate": "CANDIDATE",
        "groundingSource": {
          "searchSource": "projects/SOURCE_PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
        }
    }'
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projektnummer oder ID Ihres Google Cloud-Projekts.

    • SOURCE_PROJECT_ID: die Projektnummer oder ID des Projekts, das die App für die Erdung enthält.

      Dieses Quellprojekt muss sich in derselben Region wie Ihr Projekt befinden, z. B. global oder eu. Allgemeine Informationen zu Multiregionen finden Sie unter Standort.

    • CANDIDATE: Der String für den Antwortvorschlag, für den Sie eine Unterstützungsbewertung erhalten möchten, z. B. Titanic was directed by James Cameron. It was released in 1997.. Ein Antwortvorschlag kann eine maximale Länge von 4.096 Tokens haben. Ein Token wird als Wort in einem Satz oder als Punkt (ein Satzzeichen, das den Satz beendet) definiert. Der Satz „Sie trug 2024 Konfektionskleidung“ besteht beispielsweise aus sieben Tokens, einschließlich sechs Wörtern und einem Punkt.

    • APP_ID: Die ID der Vertex AI-Suche-App, deren unstrukturierte Datenspeicher die Fakten enthalten, die Sie als Fundierungsquelle verwenden möchten.