获取令牌列表

本页面介绍如何计算给定提示的词元。

词元是对语言模型有意义的最小文本单元。模型通过词元化这一过程来处理文本以方便理解，词元化会将句子或大段文本分解为一个个词元。然后，每个唯一词元会获得一个数字 ID。这使模型可以将文本作为数字来处理。创建词元后，大语言模型 (LLM) 可以计算词元之间的统计关系，并在词元序列中生成下一个最可能的词元。

支持的模型

以下基础模型支持获取令牌和令牌 ID 的列表：

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

获取提示的令牌和令牌 ID 列表

您可以使用 Vertex AI API 获取令牌和令牌 ID 列表。

REST

如需使用 Vertex AI API 获取提示的令牌和令牌 ID 列表，请向发布者模型端点发送 POST 请求。

在使用任何请求数据之前，请先进行以下替换：

  • PROJECT_ID：您的项目 ID。
  • MODEL_ID：要为其计算提示的令牌的模型的名称。基础模型选项包括：
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    您可以通过将版本号附加到模型名称（例如将 @001 附加到模型名称）来指定稳定版本。 您还可以通过不将版本号附加到模型名称来指定最新版本。如需了解哪些 *稳定* 模型版本可用，请参阅可用的稳定模型版本。
  • PROMPT：要为其计算令牌的提示。（请勿为此处的提示添加引号。）

HTTP 方法和网址：

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

请求 JSON 正文： 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

如需发送请求，请选择以下方式之一：

curl

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

然后，执行以下命令以发送 REST 请求：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

将请求正文保存在名为 request.json 的文件中。在终端中运行以下命令，在当前目录中创建或覆盖此文件：

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

然后，执行以下命令以发送 REST 请求：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

输出令牌以 base64 字符串表示。为了提高可读性，您可以将输出转换回常规字符串。示例如下：


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

示例 curl 命令

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

价格和配额

ComputeTokens API 可免费使用。每分钟的配额限制为 3000 个请求，与 CountTokens API 的配额相同。

后续步骤