Ottieni un elenco di token

Questa pagina mostra come calcolare i token per un determinato prompt.

I token sono l'unità più piccola di testo che fornisce significato per un modello linguistico. Per preparare il testo alla comprensione, i modelli usano la tokenizzazione, un processo che interrompe o frammenti di testo più grandi in token individuali. Poi, ogni al token univoco viene assegnato un ID numerico. In questo modo il modello può lavorare con sotto forma di numeri. Quando crei un token, un modello linguistico di grandi dimensioni (LLM) può calcolare le relazioni statistiche tra i token e produce la successiva in una sequenza di token.

Modelli supportati

I seguenti modelli di base supportano il recupero di un elenco di token e ID token:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Recuperare un elenco di token e ID token per una richiesta

Puoi ottenere un elenco di token e ID token utilizzando l'API Vertex AI.

REST

Per ottenere un elenco di token e ID token per un prompt utilizzando l'API Vertex AI, invia un Richiesta POST all'endpoint del modello del publisher.

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_ID: il tuo ID progetto.
  • MODEL_ID: il nome del modello per il quale vuoi di computing per il tuo prompt. Le opzioni del modello di base sono:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Puoi specificare una versione stabile aggiungendo un numero di versione al nome del modello, ad esempio @001. Puoi anche specificare una versione più recente senza aggiungere un numero di versione al nome del modello. Per scoprire quali versioni dei modelli *stabili* sono disponibili, vedi Versioni di modelli stabili disponibili.
  • PROMPT: il prompt per cui calcolare i token. Non aggiungere virgolette intorno al prompt qui.

Metodo HTTP e URL: 

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

Corpo JSON della richiesta: 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory corrente: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Quindi, esegui questo comando per inviare la richiesta REST: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Salva il corpo della richiesta in un file denominato request.json. Esegui questo comando nel terminale per creare o sovrascrivere questo file nella directory corrente: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Quindi, esegui questo comando per inviare la richiesta REST: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

I token di output sono rappresentati in una stringa base64. Per migliorare la leggibilità, puoi riconvertire l'output in una stringa regolare. Ecco un esempio:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Comando curl di esempio

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Prezzi e quote

Non è previsto alcun costo per l'utilizzo dell'API ComputeTokens. È prevista una quota il limite massimo di 3000 richieste al minuto, la stessa quota API CountTokens.

Passaggi successivi