Liste mit Tokens abrufen

Auf dieser Seite erfahren Sie, wie Sie Tokens für einen bestimmten Prompt berechnen.

Tokens sind die kleinste Texteinheit, die für ein Sprachmodell eine Bedeutung hat. Um Text für das Verstehen vorzubereiten, verwenden Modelle die Tokenisierung, einen Prozess, der Sätze oder größere Textabschnitte in einzelne Token unterteilt. Anschließend wird jedem eindeutigen Token eine numerische ID zugewiesen. Dadurch kann das Modell Text als Zahlen verwenden. Wenn Sie ein Token erstellen, kann ein Large Language Model (LLM) die statistischen Beziehungen zwischen Tokens berechnen und das nächste höchstwahrscheinliche Token in einer Abfolge von Tokens erzeugen.

Unterstützte Modelle

Die folgenden Basismodelle unterstützen das Abrufen einer Liste von Tokens und Token-IDs:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Liste der Tokens und Token-IDs für eine Eingabeaufforderung abrufen

Mit der Vertex AI API können Sie eine Liste von Tokens und Token-IDs abrufen.

REST

Senden Sie eine POST-Anfrage an den Endpunkt des Publisher-Modells, um eine Liste der Tokens und Token-IDs für einen Prompt mit der Vertex AI API abzurufen.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • PROJECT_ID: Ihre Projekt-ID.
  • MODEL_ID: Der Name des Modells, für das Sie Tokens für Ihren Prompt berechnen möchten. Die Optionen für das Basismodell sind:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Sie können eine stabile Version angeben, indem Sie eine Versionsnummer an den Modellnamen anhängen, z. B. @001 an den Modellnamen. Sie können auch eine aktuelle Version angeben, indem Sie keine Versionsnummer an den Modellnamen anhängen. Informationen zu den verfügbaren *stabilen* Modellversionen finden Sie unter Verfügbare stabile Modellversionen.
  • PROMPT: Die Eingabeaufforderung, für die die Tokens berechnet werden sollen. (Hier keine Anführungszeichen um die Eingabeaufforderung hinzufügen.)

HTTP-Methode und URL:

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

JSON-Text der Anfrage:

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json. Führen Sie folgenden Befehl im Terminal aus, um diese Datei im aktuellen Verzeichnis zu erstellen oder zu überschreiben: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Führen Sie dann folgenden Befehl aus, um Ihre REST-Anfrage zu senden: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json. Führen Sie folgenden Befehl im Terminal aus, um diese Datei im aktuellen Verzeichnis zu erstellen oder zu überschreiben: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Führen Sie dann folgenden Befehl aus, um Ihre REST-Anfrage zu senden: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

Die Ausgabetokens werden als base64-String dargestellt. Zur besseren Lesbarkeit können Sie die Ausgabe zurück in einen regulären String konvertieren. Hier ein Beispiel:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Beispiel: cURL-Befehls

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Preise und Kontingente

Für die Verwendung der ComputeTokens API fallen keine Gebühren an. Es gibt ein Kontingentlimit von 3.000 Anfragen pro Minute. Das ist dasselbe Kontingent für die CountTokens API.

Nächste Schritte