获取某个上下文缓存的相关信息

您可以了解上下文缓存的创建时间、最近更新时间以及到期时间。如要获取与某个 Google Cloud 项目关联的每个上下文缓存的相关信息（包括其缓存 ID），可使用相应命令列出上下文缓存。如果您知道某个上下文缓存的缓存 ID，则可以单独获取有关该上下文缓存的信息。

获取上下文缓存列表

如要获取与某个 Google Cloud 项目关联的上下文缓存的列表，您需要提供该 Google Cloud 项目的 ID 及其所在区域。以下示例展示了如何获取某个 Google Cloud 项目的上下文缓存列表。

REST

以下示例展示了如何使用 REST 通过向发布方模型端点发送 GET 请求来列出与某个 Google Cloud 项目关联的上下文缓存。

在使用任何请求数据之前，请先进行以下替换：

HTTP 方法和网址：

GET https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/cachedContents

如需发送请求，请选择以下方式之一：

curl

执行以下命令：

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/cachedContents"

PowerShell

执行以下命令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/cachedContents" | Select-Object -Expand Content

您应该收到类似以下内容的 JSON 响应：

示例 curl 命令

LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"

curl \
-X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/cachedContents

获取某个上下文缓存的相关信息

如要获取某个上下文缓存的相关信息，您需要提供其缓存 ID、与该上下文缓存关联的 Google Cloud 项目 ID，以及处理该上下文缓存创建请求的区域。创建上下文缓存时，系统会返回上下文缓存的缓存 ID。您还可以使用上下文缓存列出命令获取与项目关联的每个上下文缓存的缓存 ID。

以下示例展示了如何获取某个上下文缓存的相关信息。

Python

如需了解如何安装或更新 Python 版 Vertex AI SDK，请参阅安装 Python 版 Vertex AI SDK。如需了解详情，请参阅 Vertex AI SDK for Python API 参考文档。

流式回答和非流式回答

您可以选择模型是生成流式回答还是非流式回答。 对于流式回答，您将在生成每个响应的输出词元后立即收到响应。对于非流式回答，您将在生成所有输出词元后收到所有响应。

对于流式回答，请使用 generate_content 中的 stream 参数。

  response = model.generate_content(contents=[...], stream = True)

对于非流式回答，请移除该参数或将参数设置为 False。

示例代码

import vertexai

from vertexai.preview import caching

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"
# cache_id = "CACHE_ID"

vertexai.init(project=project_id, location="us-central1")

cached_content = caching.CachedContent(cached_content_name=cache_id)

print(cached_content.name)

Go

在尝试此示例之前，请按照《Vertex AI 快速入门》中的 Go 设置说明执行操作。如需了解详情，请参阅适用于 Gemini 的 Vertex AI Go SDK 参考文档。

如需向 Vertex AI 进行身份验证，请设置应用默认凭据。如需了解详情，请参阅为本地开发环境设置身份验证。

流式回答和非流式回答

您可以选择模型是生成流式回答还是非流式回答。 对于流式回答，您将在生成每个响应的输出词元后立即收到响应。对于非流式回答，您会在生成所有输出词元之后收到所有回答。

对于流式回答，请使用 GenerateContentStream 方法。

  iter := model.GenerateContentStream(ctx, genai.Text("Tell me a story about a lumberjack and his giant ox. Keep it very short."))

对于非流式回答，请使用 GenerateContent 方法。

  resp, err := model.GenerateContent(ctx, genai.Text("What is the average size of a swallow?"))

示例代码

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/vertexai/genai"
)

// getContextCache shows how to retrieve the metadata of a cached content
// contentName is the ID of the cached content to retrieve
func getContextCache(w io.Writer, contentName string, projectID, location string) error {
	// location := "us-central1"
	ctx := context.Background()

	client, err := genai.NewClient(ctx, projectID, location)
	if err != nil {
		return fmt.Errorf("unable to create client: %w", err)
	}
	defer client.Close()

	cachedContent, err := client.GetCachedContent(ctx, contentName)
	if err != nil {
		return fmt.Errorf("GetCachedContent: %w", err)
	}
	fmt.Fprintf(w, "Retrieved cached content %q", cachedContent.Name)
	return nil
}

REST

以下示例展示了如何使用 REST 通过向发布方模型端点发送 GET 请求来列出与某个 Google Cloud 项目关联的上下文缓存。

在使用任何请求数据之前，请先进行以下替换：

  • PROJECT_ID：您的项目 ID。
  • LOCATION：处理该上下文缓存创建请求的区域。
  • CACHE_ID：相应上下文缓存的 ID。创建上下文缓存时，系统会返回上下文缓存 ID。您还可以通过列出 Google Cloud 项目使用的上下文缓存来查找上下文缓存 ID。如需了解详情，请参阅创建上下文缓存和列出上下文缓存。

HTTP 方法和网址：

GET https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/cachedContents/CACHE_ID

如需发送请求，请选择以下方式之一：

curl

执行以下命令：

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/cachedContents/CACHE_ID"

PowerShell

执行以下命令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/cachedContents/CACHE_ID" | Select-Object -Expand Content

您应该收到类似以下内容的 JSON 响应：

示例 curl 命令

LOCATION="us-central1"
PROJECT_ID="PROJECT_ID"
CACHE_ID="CACHE_ID"

curl \
-X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
https://${LOCATION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/${CACHE_ID}