Mendapatkan daftar token

Halaman ini menunjukkan cara menghitung token untuk perintah tertentu.

Token adalah unit teks terkecil yang memiliki makna untuk model bahasa. Untuk menyiapkan teks agar dapat dipahami, model menggunakan tokenisasi, yaitu proses yang memecah kalimat atau bagian teks yang lebih besar menjadi token individual. Kemudian, setiap token unik diberi ID numerik. Hal ini memungkinkan model berfungsi dengan teks sebagai angka. Saat Anda membuat token, Model Bahasa Besar (LLM) dapat menghitung hubungan statistik antar-token dan menghasilkan token berikutnya yang paling mungkin dalam urutan token.

Model yang didukung

Model dasar berikut mendukung perolehan daftar token dan ID token:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Mendapatkan daftar token dan ID token untuk perintah

Anda bisa mendapatkan daftar token dan ID token menggunakan Vertex AI API.

REST

Untuk mendapatkan daftar token dan ID token untuk perintah menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Project ID Anda.
  • MODEL_ID: Nama model yang tokennya ingin Anda hitung untuk perintah Anda. Opsi model dasar adalah:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Anda dapat menentukan versi stabil dengan menambahkan nomor versi ke nama model, seperti @001 ke nama model. Anda juga dapat menentukan versi terbaru dengan tidak menambahkan nomor versi ke nama model. Untuk mempelajari versi model *stabil* yang tersedia, lihat Versi model stabil yang tersedia.
  • PROMPT: Prompt untuk menghitung token. (Jangan tambahkan tanda kutip di sekitar perintah di sini.)

Metode HTTP dan URL: 

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

Isi JSON permintaan: 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json. Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Kemudian, jalankan perintah berikut untuk mengirim permintaan REST Anda: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Simpan isi permintaan dalam file bernama request.json. Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Kemudian jalankan perintah berikut untuk mengirim permintaan REST Anda: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

Token output direpresentasikan dalam string base64. Untuk meningkatkan keterbacaan, Anda dapat mengonversi output kembali ke string reguler. Berikut ini contohnya:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Contoh perintah curl

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Harga dan kuota

Penggunaan ComputeTokens API tidak dikenai biaya. Ada batasan kuota sebesar 3.000 permintaan per menit, yang sama dengan kuota untuk CountTokens API.

Langkah selanjutnya