Vérifier l'ancrage avec le RAG

Dans le cadre de votre expérience de génération augmentée par récupération (RAG) dans Vertex AI Agent Builder, vous pouvez vérifier l'ancrage pour déterminer dans quelle mesure un extrait de texte (appelé candidat de réponse) est ancré dans un ensemble donné de textes de référence (appelés faits).

L'API Check Grounding renvoie un score d'éligibilité global compris entre 0 et 1, qui indique dans quelle mesure la réponse candidate est conforme aux faits donnés. La réponse inclut également des citations aux faits qui étayent chaque affirmation dans la réponse candidate.

De plus, vous pouvez activer un score d'éligibilité au niveau des affirmations, en tant que fonctionnalité expérimentale, pour obtenir un score d'éligibilité qui indique la justification de chaque affirmation de la réponse candidate.

Une ancrage parfaite exige que chaque affirmation de la réponse candidate soit étayée par un ou plusieurs des faits donnés. En d'autres termes, l'affirmation est entièrement impliquée par les faits. Si la réclamation n'est que partiellement impliquée, elle n'est pas considérée comme fondée. Par exemple, l'affirmation "Google a été fondé par Larry Page et Sergey Brin en 1975" n'est que partiellement correcte (les noms des fondateurs sont corrects, mais la date est erronée). Par conséquent, l'ensemble de l'affirmation est considéré comme infondé. Dans cette version de l'API de justification des contrôles, une phrase est considérée comme une seule réclamation.

Vous pouvez également activer les anti-citations, en tant que fonctionnalité expérimentale, pour obtenir un score de contradiction, qui indique dans quelle mesure la réponse candidate contredit les faits donnés. La réponse inclut également des anti-citations aux faits contradictoires pour chaque affirmation.

Vous pouvez utiliser l'API de vérification d'ancrage pour vérifier n'importe quel texte. Il peut s'agir une introduction générée par une personne ou une réponse générée par une machine. Un cas d'utilisation typique consiste à comparer une réponse générée par un LLM à un ensemble de faits donné. L'API check grounding est conçue pour être rapide, avec une latence inférieure à 500 ms. Cette vitesse permet aux chatbots d'appeler l'API de vérification d'ancrage lors de chaque inférence, sans subit un ralentissement significatif. L'API de vérification de l'ancrage peut également fournir des références pour étayer ses résultats, afin que les utilisateurs puissent identifier les parties de la réponse générée qui sont fiables. L'API fournit également un score d'assistance pour indiquer la précision globale de la réponse. Définir un seuil pour les citations les chatbots peuvent exclure les réponses lors de l'inférence, lesquelles sont susceptibles de contenir hallucinées.

Cette page explique comment vérifier la mise à la terre à l'aide de l'API check grounding.

Avant de commencer

L'API de vérification d'ancrage est en disponibilité générale.

De plus, deux fonctionnalités sont actuellement en version expérimentale:

• Fonctionnalité anti-citations qui génère le score de contradiction.
• Fonctionnalité de score au niveau de la revendication qui renvoie un score d'assistance par revendication.

Pour essayer les fonctionnalités expérimentales, contactez l'équipe chargée de votre compte Google et demandez à être ajouté à la liste d'autorisation.

Définition et explication des termes

Avant d'utiliser l'API de vérification de la mise à la terre, il est utile de comprendre les entrées et les sorties, et de savoir comment structurer vos informations de mise à la terre pour obtenir les meilleurs résultats.

Données d'entrée

L'API de vérification de la mise à la terre nécessite les entrées suivantes dans la requête.

• Réponse candidate:il peut s'agir de n'importe quel texte dont l’ancrage que vous voulez vérifier. Par exemple, dans le contexte de Vertex AI Search, la réponse pourrait être la recherche générée qui répond à une requête. L'API déterminera ensuite dans quelle mesure le résumé est basé sur les faits saisis. La longueur maximale d'une proposition de réponse est autorisée. 1 024 caractères.

• Faits : ensemble de segments de texte à utiliser comme référence pour l'ancrage. Un ensemble d'attributs de métadonnées (paires clé-valeur) peut être fourni avec chaque segment de texte. Exemple : "Auteur" et "Titre" sont des clés d'attribut typiques.

  Le service accepte jusqu'à 200 faits, chacun d'une longueur maximale de 10 000 caractères.

  Google déconseille de fournir un fait très long contenant toutes les informations. Vous pouvez obtenir de meilleurs résultats en divisant les faits volumineux en faits plus petits et en fournissant des attributs appropriés pour ces faits plus petits. Par exemple, vous pouvez diviser un fait volumineux par titre, auteur ou URL, et fournir ces informations dans des attributs.

• Seuil de citation : valeur à virgule flottante comprise entre 0 et 1 qui contrôle la confiance pour les citations qui appuient la réponse candidate. Un seuil plus élevé impose un niveau de confiance plus strict. Par conséquent, un seuil plus élevé génère moins, mais des citations plus fiables.

Données de sortie

L'API Check Grounding renvoie les éléments suivants pour une réponse candidate :

• Score d'appui : il s'agit d'un nombre compris entre 0 et 1 qui indique dans quelle mesure une réponse candidate est fondée sur l'ensemble de faits fourni. Il s'agit d'une approximation approximative de la fraction des affirmations de la réponse candidate qui ont été jugées fondées sur un ou plusieurs des faits donnés.

• Segments cités : segments de faits saisis qui étayent la réponse candidate.

• Revendications et citations:les revendications et les citations associent une revendication (généralement une phrase) de la réponse candidate à un ou plusieurs des fragments cités qui pour corroborer cette affirmation.

  Lorsque le score au niveau de la revendication est activé, un score d'éligibilité est renvoyé pour chaque revendication sous la forme d'un nombre compris entre 0 et 1, qui indique dans quelle mesure la revendication est fondée sur l'ensemble de faits fourni. Pour en savoir plus, consultez la section Obtenir des scores au niveau de la revendication pour une réponse candidate.

• Vérification de fond obligatoire: pour chaque revendication, un La valeur booléenne "grounding-check-required" est renvoyée. Lorsque False est renvoyé, cela signifie que le système estime que la déclaration ne nécessite pas d’ancrage, Par conséquent, les citations et les anticitations ne sont pas renvoyées. Par exemple, un une phrase comme « Voici ce que j'ai trouvé. » n'est pas un fait en soi et, par conséquent, ne nécessite pas de vérification d'ancrage.

  Lorsque la valeur grounding-check-required est renvoyée sous la forme true, cela signifie qu'une vérification de l'ancrage a été effectuée et que des scores d'appui, des citations et des anti-citations, le cas échéant, sont renvoyés.

Obtenir un score d'assistance pour une réponse candidate

Pour savoir dans quelle mesure une réponse candidate est fondée sur un ensemble de faits, procédez comme suit :

1. Préparez votre ensemble de faits. Pour plus d'informations et d'exemples, consultez la page Termes définies et expliquées.

2. Appelez la méthode check à l'aide du code suivant:

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
  "answerCandidate": "CANDIDATE",
  "facts": [
  {
    "factText": "TEXT_0",
    "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
  },
  {
    "factText": "TEXT_1",
    "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
  },
  {
    "factText": "TEXT_2",
    "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
  }
  ],
  "groundingSpec": {
    "citationThreshold": "CITATION_THRESHOLD"
  }
}'

Remplacez les éléments suivants :

• PROJECT_ID : numéro ou ID de votre projet Google Cloud.

• CANDIDATE : chaîne de réponse candidate pour laquelle vous souhaitez obtenir un score d'aide (par exemple, Titanic was directed by James Cameron. It was released in 1997.). Une réponse candidate peut avoir une longueur maximale de 1 024 caractères.

• TEXT: segment de texte à utiliser pour l'ancrage, par exemple Titanic is a 1997 American epic... Academy Awards. (pour voir le texte complet dans Exemples de faits).

• ATTRIBUTE : nom d'un attribut de métadonnées associé au fait (par exemple, author ou title). Ce est une étiquette définie par l'utilisateur pour ajouter des informations au texte factuel. Par exemple, si le texte factuel Toronto is the capital of Ontario possède un attribut author dont la valeur est Wikipedia, les affirmations suivantes sont considérées comme fondées sur le fait :

  • Wikipedia cites that Toronto is the capital of Ontario

  • Toronto is the capital of Ontario

    Toutefois, l'affirmation selon laquelle Government of Ontario claims that Toronto is the capital of Ontario n'est pas aussi fondée que les deux premières n'est pas tout à fait exacte.

• VALUE : valeur de l'attribut (par exemple, Simple Wikipedia ou Titanic (1997 film)).

• CITATION_THRESHOLD : valeur flottante comprise entre 0 et 1 qui détermine si un fait doit être cité pour une affirmation dans la réponse candidate. Un seuil plus élevé entraîne un nombre de citations moins élevé, mais élevé. et un seuil plus bas entraîne un plus grand nombre de citations, mais de faiblesse. Si cette règle n'est pas configurée, la valeur de seuil par défaut est 0.6.

Python

Pour en savoir plus, consultez la documentation de référence de l'API Python Vertex AI Agent Builder.

Pour vous authentifier auprès de Vertex AI Agent Builder, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.

from google.cloud import discoveryengine_v1alpha as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"

client = discoveryengine.GroundedGenerationServiceClient()

# The full resource name of the grounding config.
# Format: projects/{project_id}/locations/{location}/groundingConfigs/default_grounding_config
grounding_config = client.grounding_config_path(
    project=project_id,
    location="global",
    grounding_config="default_grounding_config",
)

request = discoveryengine.CheckGroundingRequest(
    grounding_config=grounding_config,
    answer_candidate="Titanic was directed by James Cameron. It was released in 1997.",
    facts=[
        discoveryengine.GroundingFact(
            fact_text=(
                "Titanic is a 1997 American epic romantic disaster movie. It was directed, written,"
                " and co-produced by James Cameron. The movie is about the 1912 sinking of the"
                " RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released"
                " on December 19, 1997. It received positive critical reviews. The movie won 11 Academy"
                " Awards, and was nominated for fourteen total Academy Awards."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
        discoveryengine.GroundingFact(
            fact_text=(
                'James Cameron\'s "Titanic" is an epic, action-packed romance'
                "set against the ill-fated maiden voyage of the R.M.S. Titanic;"
                "the pride and joy of the White Star Line and, at the time,"
                "the largest moving object ever built. "
                'She was the most luxurious liner of her era -- the "ship of dreams" -- '
                "which ultimately carried over 1,500 people to their death in the "
                "ice cold waters of the North Atlantic in the early hours of April 15, 1912."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
    ],
    grounding_spec=discoveryengine.CheckGroundingSpec(citation_threshold=0.6),
)

response = client.check_grounding(request=request)

# Handle the response
print(response)

Exemples de faits

Voici quelques exemples de faits et de leurs attributs. Ces Ces exemples vous aideront à comprendre la réponse d'ancrage et le format de la commande curl.

• Fact 0

  • Texte : "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards."

  • Attributs : {"Author": "Simple Wikipedia"}

• Fait 1

  • Texte : "James Cameron's "Titanic" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the "ship of dreams" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912."

  • Attributs: {"Author": "Rotten Tomatoes"}

Exemple de requête

Après avoir établi les faits, vous pouvez envoyer la demande suivante, en remplaçant les champ CANDIDATE avec différentes chaînes dont vous souhaitez l'ancrage vérifier.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6"
    }
    }'

Remarque : Les guillemets doubles sont échappés à l'aide du caractère barre oblique inversée, et l'apostrophe est remplacé par son entité de caractère HTML.

Exemples de propositions de réponse et de réponses ancrées

Le tableau suivant présente des exemples de réponses et de réponses candidates différentes lorsque vous envoyez l'exemple de requête, en fonction des faits.

Réponse candidate	Vérifier la réponse d'ancrage
Here is what I found. Titanic was directed by James Cameron.	Score d'assistance: 0.99 Fragments cités: [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards..... Déclarations et citations: 0. Here is what I found. Vérification de la mise à la terre requise : false 1. Titanic was directed by James Cameron. Citations : [0] Vérification de l'ancrage requise : true
Titanic was directed by James Cameron. It was released in 1997.	Score d'assistance: 0.99 Fragments cités: [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards..... [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.... Déclarations et citations: 0. Titanic was directed by James Cameron. Citations : [0] Vérification de l'ancrage requise : true 1. It was released in 1997. Citations: [1] Vérification de l'ancrage requise: true
Titanic was directed by James Cameron. It was based on the sinking of the RMS Titanic that led to the death of 1500 people.	Score d'assistance: 0.95 Fragments cités: [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards..... [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.... Allégations et citations : 0. Cited chunks: Titanic was directed by James Cameron. Citations: [0] Vérification de l'ancrage requise: true 1. Cited chunks: It was based on the sinking of the RMS Titanic that led to the death of 1500 people. Citations: [1] Vérification de l'ancrage requise: true
Titanic was directed by James Cameron. It starred Brad Pitt and Kate Winslet	Score d'assistance: 0.54 Fragments cités: [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards..... [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.... Allégations et citations : 0. Titanic was directed by James Cameron. Citations : [0] Vérification de l'ancrage requise : true 1. It starred Brad Pitt and Kate Winslet Citations : [] Vérification de l'ancrage requise : true Remarque:Même si Kate Winslet a joué dans le film, la revendication "It starred Brad Pitt and Kate Winslet" n'est pas et aucune citation n'est citée. Dans ce cas, vous pouvez appeler la méthode avec les anti-citations activées pour obtenir un score de contradiction. Pour en savoir plus, consultez Obtenir un score de contradiction pour une réponse candidate.

Remarque : L'entrée et la sortie brutes des appels d'API ne se présentent pas exactement comme cela. Par exemple, en plus du texte de la revendication, la méthode renvoie également les valeurs les positions finales correspondant à l'emplacement du texte de revendication dans la proposition de réponse. Pour en savoir plus, consultez la section Obtenir une note d'assistance pour une réponse candidat.

Obtenir un score de contradiction pour une proposition de réponse

Expérimental

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

En plus du score d'assistance, vous pouvez également obtenir un score de contradiction. Le score de contradiction se rapproche vaguement de la fraction des affirmations qui contredire les faits fournis.

Pour essayer cette fonctionnalité expérimentale, contactez l'équipe chargée de votre compte Google et demandez à être ajouté à la liste d'autorisation.

Pour obtenir le score de contradiction, procédez comme suit :

1. Préparez votre ensemble de faits. Pour en savoir plus et obtenir des exemples, consultez la section Définition et explication des termes.

2. Appelez la méthode check à l'aide de la commande curl suivante :

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
    {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    },
   ],
   "groundingSpec": {
     "citationThreshold": "CITATION_THRESHOLD",
     "enableAntiCitations": "ENABLE_ANTI_CITATION",
     "antiCitationThreshold": "ANTI_CITATION_THRESHOLD",
   }
   }'
   

   Remplacez les éléments suivants :

   • PROJECT_ID : numéro ou ID de votre projet Google Cloud.

   • CANDIDATE: chaîne de réponse candidate pour laquelle vous souhaitez obtenir une note d'assistance (par exemple, Titanic was directed by James Cameron. It was released in 1997.). Un candidat peut avoir ne doit pas dépasser 1 024 caractères.

   • TEXT : segment de texte à utiliser pour l'ancrage (par exemple, Titanic is a 1997 American epic... Academy Awards.). Consultez le texte complet dans Exemples de faits.

   • ATTRIBUTE: nom d'une métadonnée associé au fait, par exemple author ou title. Il s'agit d'un libellé défini par l'utilisateur pour ajouter plus d'informations au texte de la vérification. Pour Par exemple, si le texte factuel Toronto is the capital of Ontario comporte une author avec sa valeur Wikipedia, puis l'expression suivante : ces déclarations sont bien fondées:

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Toutefois, l'affirmation selon laquelle Government of Ontario claims that Toronto is the capital of Ontario n'est pas aussi bien fondée n'est pas fondée.

   • VALUE: valeur de l'attribut par exemple, Simple Wikipedia ou Titanic (1997 film).

   • CITATION_THRESHOLD: valeur flottante comprise entre 0 et 1 qui détermine si un fait doit être cité pour une déclaration dans la réponse candidat. Un seuil plus élevé entraîne moins de citations, mais plus solides pour étayer l'affirmation, tandis qu'un seuil plus faible entraîne plus de citations, mais moins solides pour étayer l'affirmation. Si elle n'est pas définie, la valeur par défaut du seuil est 0,6.

   • ENABLE_ANTI_CITATION: valeur booléenne. Définissez ce champ sur true pour permettre à la fonctionnalité expérimentale d'évaluer le score de contradiction. Pour désactiver cette fonctionnalité, supprimez ce champ ou définissez-le sur false.

   • ANTI_CITATION_THRESHOLD: une valeur flottante de 0 1 qui détermine si un fait doit être considéré comme étant contraire à dans la proposition de réponse. Plus le seuil est élevé, moins il y en a, plus de citations contredisant la déclaration et un seuil plus bas à plus de citations, mais moins efficaces, qui contredisent l'affirmation. Si cette règle n'est pas configurée, la valeur de seuil par défaut est 0,8.

Exemple de requête

À l'aide des exemples de faits de la section précédente, vous pouvez envoyer la requête suivante. Remplacez le champ CANDIDATE par différentes chaînes dont vous souhaitez vérifier la justification et les contradictions.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableAntiCitations": true,
      "antiCitationThreshold": "0.8",
    }
    }'

Remarque : Les guillemets doubles sont échappés à l'aide du caractère barre oblique inversée, et l'apostrophe est remplacé par son entité de caractère HTML.

Exemples de réponses contradictoires

Le tableau suivant présente un exemple de réponse candidate et ses réponse lorsque vous envoyez l'exemple de requête, en fonction d'exemples de faits.

Proposition de réponse

Vérifier la réponse d'ancrage

Titanic was directed by James Cameron. It starred Brad Pitt and Kate Winslet

Score d'appui : 0.36 Score de contradiction : 0.49 Fragments cités : [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards..... [From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.... Allégations et citations : 0. Titanic was directed by James Cameron. Citations: [0] Anticitations: [] Vérification de l'ancrage requise: true 1. It starred Brad Pitt and Kate Winslet Citations: [] Anticitations: [0] Vérification de l'ancrage requise: true

Remarque :L'entrée et la sortie brutes des appels d'API ne ressemblent pas exactement à ceci. Par exemple, le segment est indiqué à l'aide d'une plage d'entiers, en tant qu'index dans la proposition de réponse. Consultez Obtenir un score d'éligibilité pour une réponse candidate.

Obtenir des scores au niveau des revendications pour une réponse candidate

Expérimental

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

En plus du score d'assistance au niveau des réponses, vous pouvez obtenir un score le score d'appui pour chaque déclaration dans une proposition de réponse.

Pour essayer cette fonctionnalité expérimentale, contactez l'équipe chargée de votre compte Google et demandez à être ajouté à la liste d'autorisation.

Pour obtenir les scores au niveau de la revendication, procédez comme suit :

1. Préparez votre ensemble de faits. Pour en savoir plus et obtenir des exemples, consultez la section Définition et explication des termes.

2. Appelez la méthode check à l'aide de la commande curl suivante:

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
   -d '{
   "answerCandidate": "CANDIDATE",
   "facts": [
    {
     "factText": "TEXT_0",
     "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
    },
    {
     "factText": "TEXT_1",
     "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
    },
    {
     "factText": "TEXT_2",
     "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
    },
   ],
   "groundingSpec": {
     "citationThreshold": "CITATION_THRESHOLD",
     "enableClaimLevelScore": "ENABLE_CLAIM_LEVEL_SCORE",
   }
   }'
   

   Remplacez les éléments suivants :

   • PROJECT_ID : numéro ou ID de votre projet Google Cloud.

   • CANDIDATE : chaîne de réponse candidate pour laquelle vous souhaitez obtenir un score d'assistance (par exemple, Titanic was directed by James Cameron. It was released in 1997.). Une réponse candidate peut avoir une longueur maximale de 1 024 caractères.

   • TEXT : segment de texte à utiliser pour l'ancrage (par exemple, Titanic is a 1997 American epic... Academy Awards.). Consultez le texte complet dans Exemples de faits.

   • ATTRIBUTE: nom d'une métadonnée associé au fait, par exemple author ou title. Il est une étiquette définie par l'utilisateur pour ajouter des informations au texte factuel. Par exemple, si le texte factuel Toronto is the capital of Ontario possède un attribut author dont la valeur est Wikipedia, les affirmations suivantes sont fondées :

     • Wikipedia cites that Toronto is the capital of Ontario
     • Toronto is the capital of Ontario

     Toutefois, l'affirmation selon laquelle Government of Ontario claims that Toronto is the capital of Ontario n'est pas aussi bien fondée n'est pas fondée.

   • VALUE: valeur de l'attribut par exemple, Simple Wikipedia ou Titanic (1997 film).

   • CITATION_THRESHOLD: valeur flottante comprise entre 0 et 1 qui détermine si un fait doit être cité pour une déclaration dans la réponse candidat. Plus le seuil est élevé, plus le nombre de citations est faible, mais élevé. étayée par la affirmation. Un seuil plus bas entraîne un plus grand nombre de citations, mais de mauvaises performances. pour étayer cette affirmation. Si cette règle n'est pas configurée, la valeur de seuil par défaut est 0,6.

   • ENABLE_CLAIM_LEVEL_SCORE : valeur booléenne. Définissez ce champ sur true pour activer la fonctionnalité de score au niveau de la revendication. Désactiver cet élément géographique, supprimez ce champ ou définissez-le sur false.

Exemple de requête

En vous appuyant sur les exemples de faits de la section précédente, vous pouvez : envoyez la requête suivante. Remplacez le champ CANDIDATE par différentes chaînes dont vous souhaitez vérifier l'ancrage par revendication.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron's \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableClaimLevelScore": true,
    }
    }'

Remarque :Les guillemets doubles sont échappés à l'aide de la barre oblique inverse et la l'apostrophe est remplacée par son entité de caractère HTML.

Exemple de réponses avec des scores au niveau des revendications

Le tableau suivant présente un exemple de réponse candidate et ses réponse lorsque vous envoyez l'exemple de requête, en fonction d'exemples de faits.

Réponse candidate

Vérifier la réponse d'ancrage

Here is what I found. Titanic was directed by James Cameron. It starred Kate Winslet and Leonardo DiCaprio.

Score d'assistance: 0.99 Fragments cités: [From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards..... Déclarations et citations: 0. Here is what I found. Vérification de la mise à la terre requise : false 1. Titanic was directed by James Cameron. Citations : [0] Vérification de l'ancrage requise : true Score : 0.99 2. It starred Kate Winslet and Leonardo DiCaprio. Citations: [0] Vérification de l'ancrage requise: true Score: 0.99