RAG でグラウンディングを確認する

Vertex AI Agent Builder の検索拡張生成（RAG）エクスペリエンスの一部として、グラウンディングをチェックし、テキストの一部（回答候補と呼びます）が、特定の参照テキスト（事実と呼びます）セット内でどの程度根拠があるかを判断できます。

Check grounding API は、0 から 1 の全体的なサポートスコアを返します。これは、回答候補が指定された事実とどの程度一致しているかを示します。回答候補の各主張を裏付ける事実の引用も回答内に含まれます。

また、試験運用版機能として主張レベルのサポートスコアを有効にして、回答候補の各主張の根拠を示すサポートスコアを取得することもできます。

完全なグラウンディングとは、回答候補内のすべての主張が、指定された事実の 1 つ以上によって裏付けられていることを意味します。つまり、その主張は事実によって完全に裏付けられています。主張が部分的にのみ関連付けられている場合、根拠があるとは見なされません。たとえば、「Google は 1975 年にラリーペイジとセルゲイブリンによって設立された」という主張は、創設者の氏名は正しいものの、日付が間違っているため、主張全体が根拠のないものと見なされます。このバージョンの Check grounding API では、1 つの文が 1 つの主張と見なされます。

また、試験運用版機能として反証を有効にして、矛盾スコアを得ることもできます。このスコアは、回答候補が指定された事実とどの程度矛盾しているかを示します。レスポンスには、各主張の矛盾する事実に対する反証引用も含まれます。

Check grounding API を使用して、任意のテキストを確認できます。人間が生成した概要や、機械が生成したレスポンスなどです。一般的なユースケースは、LLM によって生成された回答を特定の事実のセットと照合することです。Check grounding API は、レイテンシが 500 ms 未満の高速な動作をするように設計されています。この速度により、chat bot は、大幅な速度低下を招くことなく、各推論中に Check grounding API を呼び出すことができます。Check grounding API は、検出結果を裏付ける参照も提供できるため、生成された回答の信頼できる部分をユーザーが判断できます。この API は、回答の全体的な精度を示すサポートスコアも提供します。引用のしきい値を設定することで、chat bot は、虚偽の主張が含まれている可能性が高い回答を推論時に除外できます。

このページでは、Check grounding API を使用してグラウンディングを確認する方法について説明します。

始める前に

Check grounding API の一般提供されています。

また、次の 2 つの機能は試験運用版です。

矛盾スコアを生成する反証機能。
主張ごとのサポートスコアを返す主張レベルのスコア機能。

試験運用版機能を試すには、Google アカウントチームに連絡して許可リストへの追加をリクエストしてください。

用語の定義と説明

Check grounding API を使用する前に、入力と出力、および最良の結果を得るためにグラウンディングの事実を構造化する方法を理解しておくことをおすすめします。

入力データ

Check grounding API では、リクエストに次の入力が必要です。

回答候補: 回答候補は、グラウンディングを確認するテキストの任意の部分です。たとえば、Vertex AI Search のコンテキストでは、回答候補はクエリに回答する生成された検索サマリーです。API は、サマリーが入力された事実においてどの程度根拠があるかを判断します。回答候補の最大長は 4,096 トークンです。
事実: グラウンディングの参照として使用されるテキストセグメントのセット。各テキストセグメントには、メタデータ属性（Key-Value ペア）のセットを指定できます。たとえば、「作成者」や「タイトル」は一般的な属性キーです。

このサービスは、最大 200 個の事実（それぞれ最大 10,000 文字）をサポートしています。

すべての情報を含んだ非常に大きな 1 つの事実を指定することはおすすめしません。代わりに、大きな事実を小さな事実に分割し、小さな事実に適切な属性を指定することで、より良い結果を得ることができます。たとえば、大きな事実をタイトル、作成者、URL で分割し、この情報を属性で指定できます。
引用のしきい値: 回答候補を裏付ける引用の信頼度を制御する 0 から 1 の浮動小数点値。しきい値が高いほど、信頼度が厳しくなります。したがって、しきい値を高くすると、引用数は減りますが、引用の信頼性は高くなります。

出力データ

Check grounding API は、回答候補について以下を返します。

サポートスコア: サポートスコアは 0 から 1 の数値で、回答候補が指定された事実のセットにおいてどの程度根拠があるかを示します。これは、指定された 1 つ以上の事実において根拠があったことが判明した回答候補内の主張の割合を大まかに近似したものです。
引用されたチャンク: 引用されたチャンクは、回答候補を裏付ける入力事実の一部です。
主張と引用: 主張と引用は、回答候補の主張（通常は文）と、主張を裏付ける引用されたチャンクを 1 つ以上接続します。

主張レベルのスコアが有効になっている場合、各主張に対して、0 から 1 のサポートスコアが返されます。これは、主張が提供された事実のセットにおいてどの程度根拠があるかを示します。詳細については、回答候補の主張レベルのスコアを取得するをご覧ください。
グラウンディングチェックが必要: 各主張で、grounding-check-required ブール値が返されます。これが False として返された場合、システムは主張にはグラウンディングが必要ないとみなし、引用と反証が返されません。たとえば、「私が発見したことはこれです」という文は、それ自体が事実ではないため、グラウンディングチェックは必要ありません。

grounding-check-required が true として返された場合、グラウンディングチェックが実行され、サポートスコア、引用、反証（存在する場合）が返されたことを意味します。

回答候補のサポートスコアを取得する

回答候補が事実のセットにおいてどの程度根拠があるかを確認する手順は次のとおりです。

事実のセットを準備します。詳細と例については、用語の定義と説明をご覧ください。
次のコードを使用して check メソッドを呼び出します。

REST

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
  "answerCandidate": "CANDIDATE",
  "facts": [
  {
    "factText": "TEXT_0",
    "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
  },
  {
    "factText": "TEXT_1",
    "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
  },
  {
    "factText": "TEXT_2",
    "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
  }
  ],
  "groundingSpec": {
    "citationThreshold": "CITATION_THRESHOLD"
  }
}'

以下を置き換えます。

PROJECT_ID: Google Cloud プロジェクトのプロジェクト番号または ID。
CANDIDATE: サポートスコアを確認する回答候補の文字列（例: Titanic was directed by James Cameron. It was released in 1997.）。回答候補の最大長は 4,096 トークンです。
TEXT: グラウンディングに使用するテキストセグメント（例: Titanic is a 1997 American epic... Academy Awards.）。事実の例の全文をご覧ください。
ATTRIBUTE: 事実に関連付けられたメタデータ属性の名前（例: author、title）。これは、事実のテキストに追加情報を追加するためのユーザー定義ラベルです。たとえば、事実のテキスト Toronto is the capital of Ontario に author 属性があり、その値が Wikipedia の場合、次の主張は事実において根拠があるものと考えられます。
- Wikipedia cites that Toronto is the capital of Ontario
- Toronto is the capital of Ontario
  
  Government of Ontario claims that Toronto is the capital of Ontario という主張は、最初の 2 つの主張よりは根拠がありません。
VALUE: 属性の値（Simple Wikipedia や Titanic (1997 film) など）。
CITATION_THRESHOLD: 0 から 1 の浮動小数点値。回答候補の主張に対して事実の引用が必要かどうかを決定します。しきい値が高いほど、引用数は減りますが、引用の信頼性は高くなります。しきい値が低いほど、引用数は増えますが、引用の信頼性は低くなります。未設定の場合、デフォルトのしきい値は 0.6 です。

Python

詳細については、Vertex AI Agent Builder Python API のリファレンスドキュメントをご覧ください。

Vertex AI Agent Builder に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

from google.cloud import discoveryengine_v1 as discoveryengine

# TODO(developer): Uncomment these variables before running the sample.
# project_id = "YOUR_PROJECT_ID"

client = discoveryengine.GroundedGenerationServiceClient()

# The full resource name of the grounding config.
# Format: projects/{project_id}/locations/{location}/groundingConfigs/default_grounding_config
grounding_config = client.grounding_config_path(
    project=project_id,
    location="global",
    grounding_config="default_grounding_config",
)

request = discoveryengine.CheckGroundingRequest(
    grounding_config=grounding_config,
    answer_candidate="Titanic was directed by James Cameron. It was released in 1997.",
    facts=[
        discoveryengine.GroundingFact(
            fact_text=(
                "Titanic is a 1997 American epic romantic disaster movie. It was directed, written,"
                " and co-produced by James Cameron. The movie is about the 1912 sinking of the"
                " RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released"
                " on December 19, 1997. It received positive critical reviews. The movie won 11 Academy"
                " Awards, and was nominated for fourteen total Academy Awards."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
        discoveryengine.GroundingFact(
            fact_text=(
                'James Cameron\'s "Titanic" is an epic, action-packed romance'
                "set against the ill-fated maiden voyage of the R.M.S. Titanic;"
                "the pride and joy of the White Star Line and, at the time,"
                "the largest moving object ever built. "
                'She was the most luxurious liner of her era -- the "ship of dreams" -- '
                "which ultimately carried over 1,500 people to their death in the "
                "ice cold waters of the North Atlantic in the early hours of April 15, 1912."
            ),
            attributes={"author": "Simple Wikipedia"},
        ),
    ],
    grounding_spec=discoveryengine.CheckGroundingSpec(citation_threshold=0.6),
)

response = client.check_grounding(request=request)

# Handle the response
print(response)

事実の例

以下に、事実とその属性の例を示します。これらの例は、グラウンディングのレスポンスと curl コマンドの形式を理解するのに役立ちます。

事実 0
- テキスト: "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards."
- 属性: {"Author": "Simple Wikipedia"}
事実 1
- テキスト: "James Cameron's "Titanic" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the "ship of dreams" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912."
- 属性: {"Author": "Rotten Tomatoes"}

リクエストの例

事実を準備したら、次のリクエストを送信します。CANDIDATE フィールドは、グラウンディングをチェックする別の文字列に置き換えます。

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron&#39;s \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6"
    }
    }'

回答候補とグラウンディングレスポンスの例

次の表に、事実の例に基づいてリクエストの例を送信した場合のさまざまな回答候補とレスポンスの例を示します。

回答候補	グラウンディングレスポンスをチェックする
`Here is what I found. Titanic was directed by James Cameron.`	サポートスコア: `0.99` 引用されたチャンク: `[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....` 主張と引用: 0. `Here is what I found.` グラウンディングチェックが必要: `false` 1. `Titanic was directed by James Cameron.` 引用: `[0]` グラウンディングチェックが必要: `true`
`Titanic was directed by James Cameron. It was released in 1997.`	サポートスコア: `0.99` 引用されたチャンク: `[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....` `[From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....` 主張と引用: 0. `Titanic was directed by James Cameron.` 引用: `[0]` グラウンディングチェックが必要: `true` 1. `It was released in 1997.` 引用: `[1]` グラウンディングチェックが必要: `true`
`Titanic was directed by James Cameron. It was based on the sinking of the RMS Titanic that led to the death of 1500 people.`	サポートスコア: `0.95` 引用されたチャンク: `[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....` `[From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....` 主張と引用: 0. `Cited chunks: Titanic was directed by James Cameron.` 引用: `[0]` グラウンディングチェックが必要: `true` 1. `Cited chunks: It was based on the sinking of the RMS Titanic that led to the death of 1500 people.` 引用: `[1]` グラウンディングチェックが必要: `true`
`Titanic was directed by James Cameron. It starred Brad Pitt and Kate Winslet`	サポートスコア: `0.54` 引用されたチャンク: `[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....` `[From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....` 主張と引用: 0. `Titanic was directed by James Cameron.` 引用: `[0]` グラウンディングチェックが必要: `true` 1. `It starred Brad Pitt and Kate Winslet` 引用: `[]` グラウンディングチェックが必要: `true` 注: ケイトウィンスレットが映画に出演しているにもかかわらず、`"It starred Brad Pitt and Kate Winslet"` の主張が完全に真実ではないため、引用は取得されません。この場合は、反証を有効にしてメソッドを呼び出して、矛盾スコアを得ることができます。詳細については、回答候補の矛盾スコアを取得するをご覧ください。

回答候補の矛盾スコアを取得する

サポートスコアに加えて、矛盾スコアも取得できます。矛盾スコアは、提示された事実と矛盾する主張の割合を大まかに近似したものです。

この試験運用版機能を試すには、Google アカウントチームに連絡して許可リストへの追加をリクエストしてください。

矛盾スコアを取得する手順は次のとおりです。

事実のセットを準備します。詳細と例については、用語の定義と説明をご覧ください。
次の curl コマンドを使用して check メソッドを呼び出します。
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
"answerCandidate": "CANDIDATE",
"facts": [
 {
  "factText": "TEXT_0",
  "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
 },
 {
  "factText": "TEXT_1",
  "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
 },
 {
  "factText": "TEXT_2",
  "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
 },
],
"groundingSpec": {
  "citationThreshold": "CITATION_THRESHOLD",
  "enableAntiCitations": "ENABLE_ANTI_CITATION",
  "antiCitationThreshold": "ANTI_CITATION_THRESHOLD",
}
}'
```
以下を置き換えます。
- PROJECT_ID: Google Cloud プロジェクトのプロジェクト番号または ID。
- CANDIDATE: サポートスコアを確認する回答候補の文字列（例: Titanic was directed by James Cameron. It was released in 1997.）。回答候補の最大長は 4,096 トークンです。
- TEXT: グラウンディングに使用するテキストセグメント（例: Titanic is a 1997 American epic... Academy Awards.）。事実の例の全文をご覧ください。
- ATTRIBUTE: 事実に関連付けられたメタデータ属性の名前（例: author、title）。事実のテキストに追加情報を追加するためのユーザー定義ラベルです。たとえば、事実のテキスト Toronto is the capital of Ontario に author 属性があり、その値が Wikipedia の場合、次の主張は根拠があります。
  - Wikipedia cites that Toronto is the capital of Ontario
  - Toronto is the capital of Ontario
  ただし、Government of Ontario claims that Toronto is the capital of Ontario という主張はそれほど根拠がありません。
- VALUE: 属性の値（Simple Wikipedia、Titanic (1997 film) など）。
- CITATION_THRESHOLD: 0 から 1 の浮動小数点値。回答候補の主張に対して事実の引用が必要かどうかを決定します。しきい値が高いほど、主張を裏付ける引用は少なくなりますが、その引用は信頼性が高いものになります。しきい値が低いほど、主張を裏付ける引用は多くなりますが、その引用は信頼性が低くなります。未設定の場合、デフォルトのしきい値は 0.6 です。
- ENABLE_ANTI_CITATION: ブール値。矛盾スコアの評価を行う試験運用版機能を有効にするには、このフィールドを true に設定します。この機能をオフにするには、このフィールドを削除するか、このフィールドを false に設定します。
- ANTI_CITATION_THRESHOLD: 0 から 1 の浮動小数点値。回答候補の主張と矛盾するとして事実を引用する必要があるかどうかを決定します。しきい値が高いほど、主張に反する引用は少なくなりますが、その引用の信頼性は高くなります。しきい値が低いほど、主張に反する引用は増えますが、その引用の信頼性は低くなります。未設定の場合、デフォルトのしきい値は 0.8 です。

リクエストの例

前のセクションの事実の例を使用して、次のリクエストを送信できます。CANDIDATE フィールドは、根拠と矛盾を確認する異なる文字列に置き換えます。

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron&#39;s \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableAntiCitations": true,
      "antiCitationThreshold": "0.8",
    }
    }'

矛盾のあるレスポンスの例

次の表に、事実の例に基づいてリクエストの例を送信した場合の回答候補の例とそのレスポンスを示します。

回答候補グラウンディングレスポンスをチェックする

回答候補	グラウンディングレスポンスをチェックする
`Titanic was directed by James Cameron. It starred Brad Pitt and Kate Winslet`	サポートスコア: `0.36` 矛盾スコア: `0.49` 引用されたチャンク: `[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....` `[From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....` 主張と引用: 0. `Titanic was directed by James Cameron.` 引用: `[0]` 反証: `[]` グラウンディングチェックが必要: `true` 1. `It starred Brad Pitt and Kate Winslet` 引用: `[]` 反証: `[0]` グラウンディングチェックが必要: `true`

Titanic was directed by James Cameron. It starred Brad Pitt and
       Kate Winslet

サポートスコア: 0.36

矛盾スコア: 0.49

引用されたチャンク:

[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....
[From FACT 1]...Titanic is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912....

主張と引用:

0. Titanic was directed by James Cameron.
引用: [0] 反証: []
グラウンディングチェックが必要: true
1. It starred Brad Pitt and Kate Winslet
引用: [] 反証: [0]
グラウンディングチェックが必要: true

回答候補の主張レベルのスコアを取得する

回答レベルのサポートスコアに加えて、回答候補内の各主張に対する主張レベルのサポートスコアも取得できます。

この試験運用版機能を試すには、Google アカウントチームに連絡して許可リストへの追加をリクエストしてください。

主張レベルのスコアを取得するは次のとおりです。

事実のセットを準備します。詳細と例については、用語の定義と説明をご覧ください。
次の curl コマンドを使用して check メソッドを呼び出します。
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
-d '{
"answerCandidate": "CANDIDATE",
"facts": [
 {
  "factText": "TEXT_0",
  "attributes": {"ATTRIBUTE_A": "VALUE_A0","ATTRIBUTE_B": "VALUE_B0"}
 },
 {
  "factText": "TEXT_1",
  "attributes": {"ATTRIBUTE_A": "VALUE_A1","ATTRIBUTE_B": "VALUE_B1"}
 },
 {
  "factText": "TEXT_2",
  "attributes": {"ATTRIBUTE_A": "VALUE_A2","ATTRIBUTE_B": "VALUE_B2"}
 },
],
"groundingSpec": {
  "citationThreshold": "CITATION_THRESHOLD",
  "enableClaimLevelScore": "ENABLE_CLAIM_LEVEL_SCORE",
}
}'
```
以下を置き換えます。
- PROJECT_ID: Google Cloud プロジェクトのプロジェクト番号または ID。
- CANDIDATE: サポートスコアを確認する回答候補の文字列（例: Titanic was directed by James Cameron. It was released in 1997.）。回答候補の最大長は 4,096 トークンです。
- TEXT: グラウンディングに使用するテキストセグメント（例: Titanic is a 1997 American epic... Academy Awards.）。事実の例の全文をご覧ください。
- ATTRIBUTE: 事実に関連付けられたメタデータ属性の名前（例: author、title）。事実のテキストに追加情報を追加するためのユーザー定義ラベルです。たとえば、事実のテキスト Toronto is the capital of Ontario に author 属性があり、その値が Wikipedia の場合、次の主張は根拠があります。
  - Wikipedia cites that Toronto is the capital of Ontario
  - Toronto is the capital of Ontario
  ただし、Government of Ontario claims that Toronto is the capital of Ontario という主張はそれほど根拠がありません。
- VALUE: 属性の値（Simple Wikipedia、Titanic (1997 film) など）。
- CITATION_THRESHOLD: 0 から 1 の浮動小数点値。回答候補の主張に対して事実の引用が必要かどうかを決定します。しきい値が高いほど、主張を裏付ける引用は少なくなりますが、その引用は信頼性が高いものになります。しきい値が低いほど、主張を裏付ける引用は多くなりますが、その引用は信頼性が低くなります。未設定の場合、デフォルトのしきい値は 0.6 です。
- ENABLE_CLAIM_LEVEL_SCORE: ブール値。主張レベルのスコア機能を有効にするには、このフィールドを true に設定します。この機能をオフにするには、このフィールドを削除するか、このフィールドを false に設定します。

リクエストの例

前のセクションの事実の例を使用して、次のリクエストを送信できます。CANDIDATE フィールドは、主張ごとの根拠を確認する別の文字列に置き換えます。

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/groundingConfigs/default_grounding_config:check" \
    -d '{
    "answerCandidate": "CANDIDATE",
    "facts": [
     {
      "factText": "Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. The movie is about the 1912 sinking of the RMS Titanic. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.",
      "attributes": {"author":"Simple Wikipedia"}
     },
     {
      "factText": "James Cameron&#39;s \"Titanic\" is an epic, action-packed romance set against the ill-fated maiden voyage of the R.M.S. Titanic; the pride and joy of the White Star Line and, at the time, the largest moving object ever built. She was the most luxurious liner of her era -- the \"ship of dreams\" -- which ultimately carried over 1,500 people to their death in the ice cold waters of the North Atlantic in the early hours of April 15, 1912.",
      "attributes": {"author":"Simple Wikipedia"}
     }
    ],
    "groundingSpec": {
      "citationThreshold": "0.6",
      "enableClaimLevelScore": true,
    }
    }'

主張レベルのスコアを含むレスポンスの例

次の表に、事実の例に基づいてリクエストの例を送信した場合の回答候補の例とそのレスポンスを示します。

回答候補グラウンディングレスポンスをチェックする

回答候補	グラウンディングレスポンスをチェックする
`Here is what I found. Titanic was directed by James Cameron. It starred Kate Winslet and Leonardo DiCaprio.`	サポートスコア: `0.99` 引用されたチャンク: `[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....` 主張と引用: 0. `Here is what I found.` グラウンディングチェックが必要: `false` 1. `Titanic was directed by James Cameron.` 引用: `[0]` グラウンディングチェックが必要: `true` スコア: `0.99` 2. `It starred Kate Winslet and Leonardo DiCaprio.` 引用: `[0]` グラウンディングチェックが必要: `true` スコア: `0.99`

Here is what I found. Titanic was directed by James Cameron. It
       starred Kate Winslet and Leonardo DiCaprio.

サポートスコア: 0.99

引用されたチャンク:

[From FACT 0]....Titanic is a 1997 American epic romantic disaster movie. It was directed, written, and co-produced by James Cameron. It stars Kate Winslet and Leonardo DiCaprio. The movie was released on December 19, 1997. It received positive critical reviews. The movie won 11 Academy Awards, and was nominated for fourteen total Academy Awards.....

主張と引用:

0. Here is what I found.
グラウンディングチェックが必要: false
1. Titanic was directed by James Cameron.
引用: [0]
グラウンディングチェックが必要: true
スコア: 0.99
2. It starred Kate Winslet and Leonardo DiCaprio.
引用: [0]
グラウンディングチェックが必要: true
スコア: 0.99

RAG でグラウンディングを確認する

始める前に

用語の定義と説明

入力データ

出力データ

回答候補のサポートスコアを取得する

REST

Python

事実の例

リクエストの例

回答候補とグラウンディング レスポンスの例

回答候補の矛盾スコアを取得する

リクエストの例

矛盾のあるレスポンスの例

回答候補の主張レベルのスコアを取得する

リクエストの例

主張レベルのスコアを含むレスポンスの例

回答候補とグラウンディングレスポンスの例