Gemini 모델의 응답 그라운딩

이 페이지에서는 Vertex AI로 모델 응답을 그라운딩하는 두 가지 방법과 그라운딩 API를 사용하여 애플리케이션에서 그라운딩을 수행하는 방법을 보여줍니다.

Vertex AI를 사용하면 다음 데이터 소스를 사용하여 모델 출력을 그라운딩할 수 있습니다.

• Google 검색: 공개적으로 사용 가능한 웹 데이터를 사용하여 응답을 그라운딩합니다.
• 내 데이터: Vertex AI Search(미리보기)의 내 데이터를 사용하여 응답을 그라운딩합니다.

Google 검색으로 그라운딩

모델을 전 세계 지식, 다양한 주제 또는 인터넷의 최신 정보와 연결하려면 Google 검색으로 그라운딩을 사용합니다.

이 기능을 사용할 경우 Google 추천 검색어를 표시해야 합니다. 요구사항에 대한 자세한 내용은 Google 추천 검색어를 참조하세요.

Vertex AI의 모델 그라운딩에 대한 자세한 내용은 그라운딩 개요를 참조하세요.

지원되는 모델

다음 모델은 그라운딩을 지원합니다.

• 텍스트 입력만 지원되는 Gemini 1.5 Pro
• 텍스트 입력만 지원되는 Gemini 1.5 Flash
• 텍스트 입력만 지원되는 Gemini 1.0 Pro

지원 언어

• 영어(en)
• 스페인어(es)
• 일본어(ja)

Google 검색으로 모델 그라운딩

다음 안내에 따라 공개적으로 사용 가능한 웹 데이터로 모델을 그라운딩합니다.

고려사항

• Google 검색으로 그라운딩을 사용하려면 Google 추천 검색어를 사용 설정해야 합니다. 자세한 내용은 Google 추천 검색어를 참조하세요.

• 최상의 결과를 얻으려면 강도 0.0을 사용하세요. 이 구성의 설정 방법을 자세히 알아보려면 모델 참조의 Gemini API 요청 본문을 참조하세요.

• Google 검색으로 그라운딩하는 경우 하루에 쿼리가 1백만 개로 제한됩니다. 더 많은 쿼리가 필요한 경우 지원팀에 문의하세요.

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• LOCATION: 요청을 처리하는 리전입니다.
• PROJECT_ID: 프로젝트 ID
• MODEL_ID: 멀티모달 모델의 모델 ID입니다.
• TEXT: 프롬프트에 포함할 텍스트 안내입니다.

HTTP 메서드 및 URL:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent

JSON 요청 본문:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "TEXT"
    }]
  }],
  "tools": [{
    "googleSearchRetrieval": {}
  }],
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID"
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.

{
   "candidates": [
     {
       "content": {
         "role": "model",
         "parts": [
           {
             "text": "Chicago weather changes rapidly, so layers let you adjust easily. Consider a base layer, a warm mid-layer (sweater-fleece), and a weatherproof outer layer."
           }
         ]
       },
       "finishReason": "STOP",
       "safetyRatings":[
       "..."
    ],
       "groundingMetadata": {
         "webSearchQueries": [
           "What's the weather in Chicago this weekend?"
         ],
         "searchEntryPoint": {
            "renderedContent": "....................."
         }
       }
     }
   ],
   "usageMetadata": { "..."
   }
 }

Console

Vertex AI Studio에서 Google 검색으로 그라운딩 기능을 사용하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Vertex AI Studio 페이지로 이동합니다.

   Vertex AI Studio로 이동

2. Freeform 탭을 클릭합니다.
3. 측면 패널에서 모델 대답 그라운딩 전환 버튼을 클릭합니다.
4. 맞춤설정을 클릭하고 Google 검색을 소스로 설정합니다.
5. 텍스트 상자에 프롬프트를 입력하고 제출을 클릭합니다.

이제 프롬프트 응답이 Google 검색에 반영됩니다.

Python

Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요.

import vertexai

from vertexai.generative_models import (
    GenerationConfig,
    GenerativeModel,
    Tool,
    grounding,
)

# TODO (developer): update project_id
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

# Use Google Search for grounding
tool = Tool.from_google_search_retrieval(grounding.GoogleSearchRetrieval())

prompt = "When is the next total solar eclipse in US?"
response = model.generate_content(
    prompt,
    tools=[tool],
    generation_config=GenerationConfig(
        temperature=0.0,
    ),
)

print(response.text)

중요: searchEntryPoint 내 renderedContent 필드는 Google 추천 검색어를 구현하기 위해 제공된 코드입니다. 자세한 내용은 Google 추천 검색어 사용을 참조하세요.

응답 이해하기

모델 프롬프트가 Vertex AI Studio 또는 API에서 Google 검색에 성공적으로 그라운딩하면 응답에 소스 링크 (웹 URL)가 있는 메타데이터가 포함됩니다. 그러나 이 메타데이터가 제공되지 않을 수 있는 몇 가지 이유가 있으며 프롬프트 응답이 그라운딩되지 않을 수 있습니다. 이러한 이유로는 모델 응답 내의 소스 관련성이 낮거나 정보가 불완전한 경우가 포함됩니다.

인용

인용은 표시해 주시기 바랍니다. 이는 사용자가 게시자로부터 받은 응답을 직접 검증하는 데 도움을 주며, 추가 학습의 기회를 제공합니다.

Google 검색 소스의 응답에 대한 인용은 인라인 및 집계 방식으로 모두 표시되어야 합니다. 이를 수행하는 방법에 대한 추천 항목으로 다음 이미지를 참조하세요.

대체 검색 엔진 옵션 사용

고객이 Google 검색으로 그라운딩을 사용하더라도 다른 검색 엔진 옵션을 제공하거나 대체 검색 옵션을 고객 애플리케이션의 기본 옵션으로 지정하거나 자신 또는 서드 파티 추천 검색어 또는 검색 결과를 고객 애플리케이션에 표시하지 못하도록 제한되지 않습니다. 단 이를 위해서는 Google 검색 이외의 서비스 또는 연관된 결과가 그라운딩된 결과와 추천 검색어와 구분되어 표시되고 Google에서 제공하는 결과에 대해 합리적으로 귀속되거나 혼동될 수 없어야 합니다.

Gemini를 사용자 데이터로 그라운딩

미리보기

이 제품 또는 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 제품 및 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

이 섹션에서는 Vertex AI API를 사용하여 Vertex AI Agent Builder 데이터 스토어에 대한 텍스트 응답을 그라운딩하는 방법을 보여줍니다.

지원되는 모델

다음 모델은 그라운딩을 지원합니다.

• 텍스트 입력만 지원되는 Gemini 1.5 Pro
• 텍스트 입력만 지원되는 Gemini 1.5 Flash
• 텍스트 입력만 지원되는 Gemini 1.0 Pro

기본 요건

모델 출력을 데이터에 그라운딩하려면 먼저 필요한 기본 요건이 있습니다.

1. Vertex AI Agent Builder를 사용 설정하고 API를 활성화합니다.
2. Vertex AI Agent Builder 데이터 소스 및 앱을 만듭니다.
3. Vertex AI Agent Builder에서 데이터 스토어를 앱에 연결합니다. 데이터 소스는 Vertex AI에서 Gemini 1.0 Pro 그라운딩을 위한 기초로 사용됩니다.
4. 데이터 스토어에 Enterprise 버전을 사용 설정합니다.

자세한 내용은 Vertex AI Search 소개를 참조하세요.

Vertex AI Agent Builder 사용 설정

1. Google Cloud 콘솔에서 Agent Builder 페이지로 이동합니다.

   Agent Builder를 사용하여 이 모든 것을 자체 데이터에 그라운딩하세요.

2. 서비스 약관을 읽고 동의한 후 계속 및 API 활성화를 클릭합니다.

   중요: Vertex AI Agent Builder를 사용하려는 모든 프로젝트에 대한 검색 솔루션 데이터 사용 약관에 동의해야 합니다.

Vertex AI Agent Builder는 global 위치 또는 eu 및 us 멀티 리전에서 사용할 수 있습니다. 자세한 내용은 Vertex AI Agent Builder 위치를 참고하세요.

Vertex AI Agent Builder에 데이터 스토어 만들기

모델을 소스 데이터에 그라운딩하려면 데이터를 준비하고 Vertex AI Search에 저장해야 합니다. 이렇게 하려면 Vertex AI Agent Builder에 데이터 스토어를 만들어야 합니다.

처음부터 시작하는 경우 Vertex AI Agent Builder로 수집할 데이터를 준비해야 합니다. 시작하려면 수집을 위한 데이터 준비를 참조하세요. 데이터 크기에 따라 수집에 몇 분부터 몇 시간까지 걸릴 수 있습니다. 비정형 데이터 저장소만 그라운딩에 지원됩니다.

수집을 위해 데이터를 준비한 후에 검색 데이터 스토어를 만들 수 있습니다. 데이터 스토어를 성공적으로 만든 후 검색 앱을 만들어 데이터 스토어에 연결하고 Enterprise 버전을 사용 설정합니다.

예: Gemini 1.5 Flash 모델 그라운딩

다음 안내에 따라 자체 데이터로 모델을 그라운딩합니다.

데이터 스토어 ID를 모르면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 Vertex AI Agent Builder 페이지로 이동하고 탐색 메뉴에서 데이터 스토어를 클릭합니다.

   데이터 스토어 페이지로 이동

2. 데이터 스토어 이름을 클릭합니다.

3. 데이터 스토어의 데이터 페이지에서 데이터 스토어 ID를 가져옵니다.

REST

Vertex AI API를 사용하여 텍스트 프롬프트를 테스트하려면 POST 요청을 게시자 모델 엔드포인트로 전송합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

• LOCATION: 요청을 처리하는 리전입니다.
• PROJECT_ID: 프로젝트 ID
• MODEL_ID: 멀티모달 모델의 모델 ID입니다.
• TEXT: 프롬프트에 포함할 텍스트 안내입니다.

HTTP 메서드 및 URL:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent

JSON 요청 본문:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "TEXT"
    }]
  }],
  "tools": [{
    "retrieval": {
      "vertexAiSearch": {
        "datastore": projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID
      }
    }
  }],
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID"
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "You can make an appointment on the website https://dmv.gov/"
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        "..."
      ],
      "groundingMetadata": {
        "retrievalQueries": [
          "How to make appointment to renew driving license?"
        ],
        "groundingChunks": [
          {
            "retrievedContext": {
              "uri": "https://vertexaisearch.cloud.google.com/grounding-api-redirect/AXiHM.....QTN92V5ePQ==",
              "title": "dmv"
            }
          }
        ],
        "groundingSupport": [
          {
            "segment": {
              "startIndex": 25,
              "endIndex": 147
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1, 2],
            "confidenceScore": [0.9541752, 0.97726375]
          },
          {
            "segment": {
              "startIndex": 294,
              "endIndex": 439
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1],
            "confidenceScore": [0.9541752, 0.9325467]
          }
        ]
      }
    }
  ],
  "usageMetadata": {
    "..."
  }
}

Google 검색을 사용하여 그라운딩된 응답 이해하기

그라운딩된 결과가 생성되면 그라운딩된 결과를 생성하는 데 사용된 콘텐츠의 게시자로 리디렉션되는 URI가 메타데이터에 포함됩니다. 메타데이터에는 게시자 도메인도 포함됩니다. 제공된 URI는 그라운딩된 결과가 생성된 후 30일 동안 액세스 가능한 상태로 유지됩니다.

중요: 최종 사용자가 제공된 URI에 직접 액세스해야 하며 제공된 URI를 자동 프로그래매틱 방식으로 쿼리되면 안 됩니다. 자동 액세스가 감지되면 그라운딩 대답 생성 서비스에서 리디렉션 URI 제공을 중지할 수 있습니다. 리디렉션 URI를 다시 시작하려면 고객 엔지니어에게 문의하세요.

Python

Vertex AI SDK for Python을 설치하거나 업데이트하는 방법은 Vertex AI SDK for Python 설치를 참조하세요. 자세한 내용은 Python API 참고 문서를 확인하세요.

import vertexai

from vertexai.preview.generative_models import (
    GenerationConfig,
    GenerativeModel,
    Tool,
    grounding,
)

# TODO (developer): update project_id
vertexai.init(project=PROJECT_ID, location="us-central1")

model = GenerativeModel("gemini-1.5-flash-002")

# TODO(developer): Update project id, location, and data store id for your Vertex AI Search data store.
# data_store_id = "DATA_STORE_ID"

tool = Tool.from_retrieval(
    grounding.Retrieval(
        grounding.VertexAISearch(
            datastore=data_store_id,
            project=PROJECT_ID,
            location="global",
        )
    )
)

prompt = "How do I make an appointment to renew my driver's license?"
response = model.generate_content(
    prompt,
    tools=[tool],
    generation_config=GenerationConfig(
        temperature=0.0,
    ),
)

print(response.text)

콘솔

Google Cloud 콘솔에서 Vertex AI Studio를 사용하여 Vertex AI Agent Builder에 모델 출력을 그라운딩하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Vertex AI Studio 페이지로 이동합니다.

   Vertex AI Studio로 이동

2. Freeform 탭을 클릭합니다.
3. 측면 패널에서 모델 응답 그라운딩 전환 버튼을 클릭하여 그라운딩을 사용 설정합니다.
4. 맞춤설정을 클릭하고 Vertex AI Agent Builder를 소스로 설정합니다. 경로는 projects/project_id/locations/global/collections/default_collection/dataStores/data_store_id 형식을 따라야 합니다.
5. 텍스트 상자에 프롬프트를 입력하고 제출을 클릭합니다.

이제 프롬프트 응답이 Vertex AI Agent Builder에 그라운딩됩니다.

생성형 AI 리소스 더보기

• 채팅 프롬프트 요청을 보내는 방법은 멀티턴 채팅을 참조하세요.
• 책임감 있는 AI 권장사항과 Vertex AI의 안전 필터는 안전 권장사항을 참조하세요.
• PaLM 모델을 그라운딩하는 방법은 Vertex AI에서 그라운딩을 참조하세요.