Ottieni un elenco di token

Questa pagina mostra come calcolare i token per un determinato prompt.

I token sono l'unità più piccola di testo che fornisce significato per un modello linguistico. Per preparare il testo alla comprensione, i modelli utilizzano la tokenizzazione, un processo che suddivide frasi o blocchi più grandi di testo in token individuali. Quindi, a ogni token univoco viene assegnato un ID numerico. In questo modo il modello può lavorare con il testo sotto forma di numeri. Quando crei un token, un modello linguistico di grandi dimensioni (LLM) può calcolare le relazioni statistiche tra i token e produce il token successivo più probabile in una sequenza di token.

Modelli supportati

I seguenti modelli di base supportano il recupero di un elenco di token e ID token:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Recuperare un elenco di token e ID token per una richiesta

Puoi ottenere un elenco di token e ID token utilizzando l'API Vertex AI.

REST

Per ottenere un elenco di token e ID token per una richiesta utilizzando l'API Vertex AI, invia una richiesta POST all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_ID: il tuo ID progetto.
  • MODEL_ID: il nome del modello per il quale vuoi calcolare i token per il prompt. Le opzioni del modello di base sono:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Puoi specificare una versione stabile aggiungendo un numero di versione al nome del modello, ad esempio @001. Puoi anche specificare una versione più recente non aggiungendo un numero di versione al nome del modello. Per scoprire quali versioni dei modelli *stabili* sono disponibili, consulta Versioni di modelli stabili disponibili.
  • PROMPT: il prompt per cui calcolare i token. Non aggiungere virgolette intorno al prompt qui.

Metodo HTTP e URL: 

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

Corpo JSON della richiesta: 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory attuale: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Quindi, esegui questo comando per inviare la richiesta REST: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory attuale: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Quindi, esegui questo comando per inviare la richiesta REST: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

I token di output sono rappresentati in una stringa base64. Per migliorare la leggibilità, puoi riconvertire l'output in una stringa normale. Ecco un esempio:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Comando curl di esempio

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Prezzi e quote

Non è previsto alcun costo per l'utilizzo dell'API ComputeTokens. Esiste una limitazione di quota di 3000 richieste al minuto, la stessa quota per l'API CountTokens.

Passaggi successivi