Recupera un elenco di token

Questa pagina mostra come calcolare i token per un determinato prompt.

I token sono l'unità più piccola di testo che fornisce significato per un modello linguistico. Per preparare il testo per la comprensione, i modelli utilizzano la tokenizzazione, un processo che suddivide le frasi o parti più grandi di testo in singoli token. Poi, ogni al token univoco viene assegnato un ID numerico. In questo modo il modello può lavorare con il testo come con i numeri. Quando crei un token, un modello linguistico di grandi dimensioni (LLM) può le relazioni statistiche tra i token e produce la successiva in una sequenza di token.

Modelli supportati

I seguenti modelli di base supportano l'ottenimento di un elenco di token e ID token:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Recuperare un elenco di token e ID token per un prompt

Puoi ottenere un elenco di token e ID token utilizzando l'API Vertex AI.

REST

Per ottenere un elenco di token e ID token per un prompt utilizzando l'API Vertex AI, invia una richiesta POST all'endpoint del modello dell'editore.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_ID: il tuo ID progetto.
  • MODEL_ID: il nome del modello per cui vuoi calcolare i token per il prompt. Le opzioni del modello di base sono:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Puoi specificare una versione stabile aggiungendo un numero di versione al nome del modello, ad esempio @001. Puoi anche specificare una versione più recente non aggiungendo un numero di versione al nome del modello. Per scoprire quali versioni dei modelli *stabili* sono disponibili, vedi Versioni di modelli stabili disponibili.
  • PROMPT: il prompt per cui calcolare i token. Non aggiungere virgolette intorno al prompt qui.

Metodo HTTP e URL: 

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

Corpo JSON della richiesta: 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory corrente: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Quindi, esegui questo comando per inviare la richiesta REST: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory corrente: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Quindi, esegui il seguente comando per inviare la richiesta REST: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

I token di output sono rappresentati in stringa base64. Per una maggiore leggibilità, puoi convertire nuovamente l'output in stringa normale. Ecco un esempio:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Comando curl di esempio

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Prezzi e quote

Non è previsto alcun costo per l'utilizzo dell'API ComputeTokens. È prevista una quota il limite massimo di 3000 richieste al minuto, la stessa quota API CountTokens.

Passaggi successivi