컨텍스트 캐시 사용

REST API 또는 Python SDK를 사용하여 생성형 AI 애플리케이션의 컨텍스트 캐시에 저장된 콘텐츠를 참조할 수 있습니다. 사용하려면 먼저 컨텍스트 캐시를 만들어야 합니다.

코드에서 사용하는 컨텍스트 캐시 객체에는 다음 속성이 포함됩니다.

  • name - 컨텍스트 캐시 리소스 이름입니다. 형식은 projects/PROJECT_NUMBER/locations/LOCATION/cachedContents/CACHE_ID입니다. 컨텍스트 캐시를 만들 때 응답에 리소스 이름이 있다는 것을 확인할 수 있습니다. 프로젝트 번호는 프로젝트의 고유 식별자입니다. 캐시 ID는 캐시의 ID입니다. 코드에 컨텍스트 캐시를 지정할 때는 전체 컨텍스트 캐시 리소스 이름을 사용해야 합니다. 다음은 요청 본문에 캐시된 콘텐츠 리소스 이름을 지정하는 방법을 보여주는 예시입니다.

    "cached_content": "projects/123456789012/locations/us-central1/123456789012345678"

  • model - 캐시를 만드는 데 사용된 모델의 리소스 이름입니다. 형식은 projects/PROJECT_NUMBER/locations/LOCATION/cachedContents/CACHE_ID입니다.

  • createTime - 컨텍스트 캐시의 생성 시간을 지정하는 Timestamp입니다.

  • updateTime - 컨텍스트 캐시의 최근 업데이트 시간을 지정하는 Timestamp입니다. 컨텍스트 캐시가 생성된 후 업데이트되기 전에는 createTime 및 updateTime이 동일합니다.

  • expireTime - 컨텍스트 캐시가 만료되는 시간을 지정하는 Timestamp입니다. 기본 expireTime은 createTime 이후 60분입니다. 새 만료 시간으로 캐시를 업데이트할 수 있습니다. 자세한 내용은 컨텍스트 캐시 업데이트를 참조하세요.
    캐시가 만료되면 삭제 대상으로 표시되므로 사용하거나 업데이트할 수 있다고 가정해서는 안 됩니다. 만료된 컨텍스트 캐시를 사용해야 하는 경우 적절한 만료 시간으로 다시 만들어야 합니다.

컨텍스트 캐시 사용 제한사항

컨텍스트 캐시를 만들 때 다음 기능을 지정할 수 있습니다. 요청에 이를 다시 지정하면 안 됩니다.

  • GenerativeModel.system_instructions 속성. 이 속성은 모델이 사용자로부터 안내를 받기 전에 모델에 대한 안내를 지정하는 데 사용됩니다. 자세한 내용은 시스템 안내를 참조하세요.

  • GenerativeModel.tool_config 속성. tool_config 속성은 함수 호출 기능에서 사용하는 도구와 같이 Gemini 모델에서 사용하는 도구를 지정하는 데 사용됩니다.

  • GenerativeModel.tools 속성. GenerativeModel.tools 속성은 함수 호출 애플리케이션을 만들기 위한 함수를 지정하는 데 사용됩니다. 자세한 내용은 함수 호출을 참조하세요.

컨텍스트 캐시 샘플 사용

다음은 컨텍스트 캐시를 사용하는 방법을 보여줍니다. 컨텍스트 캐시를 사용하는 경우 다음 속성을 지정할 수 없습니다.

  • GenerativeModel.system_instructions
  • GenerativeModel.tool_config
  • GenerativeModel.tools

Python

Python용 Vertex AI SDK를 설치하거나 업데이트하는 방법은 Python용 Vertex AI SDK 설치를 참조하세요. 자세한 내용은 Vertex AI SDK for Python API 참고 문서를 참조하세요.

스트리밍 및 비스트리밍 응답

모델이 스트리밍 응답을 생성할지 아니면 비스트리밍 응답을 생성할지 선택할 수 있습니다. 스트리밍 응답의 경우 출력 토큰이 생성되는 즉시 각 응답이 수신됩니다. 비스트리밍 응답의 경우 모든 출력 토큰이 생성된 후의 모든 응답이 수신됩니다.

스트리밍 응답의 경우 generate_content의 stream 매개변수를 사용합니다.

  response = model.generate_content(contents=[...], stream = True)

비스트리밍 응답의 경우 매개변수를 삭제하거나 매개변수를 False로 설정합니다.

샘플 코드

import vertexai

from vertexai.preview.generative_models import GenerativeModel
from vertexai.preview import caching

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"
# cache_id = "CACHE_ID"

vertexai.init(project=project_id, location="us-central1")

cached_content = caching.CachedContent(cached_content_name=cache_id)

model = GenerativeModel.from_cached_content(cached_content=cached_content)

response = model.generate_content("What are the papers about?")

print(response.text)

REST

Vertex AI API를 사용하여 게시자 모델 엔드포인트에 POST 요청을 보내면 REST를 사용하여 프롬프트에 컨텍스트 캐시를 사용할 수 있습니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

HTTP 메서드 및 URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/gemini-1.5-pro-001:generateContent

JSON 요청 본문:

{
  "cached_content": "projects/PROJECT_NUMBER/locations/LOCATION/CACHE_ID",
  "contents": [
      {"role":"user","parts":[{"text":"PROMPT_TEXT"}]}
  ],
  "generationConfig": {
      "maxOutputTokens": 8192,
      "temperature": 1,
      "topP": 0.95,
  },
  "safetySettings": [
      {
          "category": "HARM_CATEGORY_HATE_SPEECH",
          "threshold": "BLOCK_MEDIUM_AND_ABOVE"
      },
      {
          "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
          "threshold": "BLOCK_MEDIUM_AND_ABOVE"
      },
      {
          "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
          "threshold": "BLOCK_MEDIUM_AND_ABOVE"
      },
      {
          "category": "HARM_CATEGORY_HARASSMENT",
          "threshold": "BLOCK_MEDIUM_AND_ABOVE"
      }
  ],
}

요청을 보내려면 다음 옵션 중 하나를 선택합니다.

curl

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다. 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/gemini-1.5-pro-001:generateContent"

PowerShell

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다. 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/gemini-1.5-pro-001:generateContent" | Select-Object -Expand Content

다음과 비슷한 JSON 응답이 수신됩니다.

curl 명령어 예시

LOCATION="us-central1"
MODEL_ID="gemini-1.5-pro-001"
PROJECT_ID="test-project"

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/google/models/${MODEL_ID}:generateContent" -d \
'{
  "cached_content": "projects/${PROJECT_NUMBER}/locations/${LOCATION}/cachedContents/${CACHE_ID}",
  "contents": [
      {"role":"user","parts":[{"text":"What are the benefits of exercise?"}]}
  ],
  "generationConfig": {
      "maxOutputTokens": 8192,
      "temperature": 1,
      "topP": 0.95,
  },
  "safetySettings": [
    {
      "category": "HARM_CATEGORY_HATE_SPEECH",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    },
    {
      "category": "HARM_CATEGORY_DANGEROUS_CONTENT",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    },
    {
      "category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    },
    {
      "category": "HARM_CATEGORY_HARASSMENT",
      "threshold": "BLOCK_MEDIUM_AND_ABOVE"
    }
  ],
}'