Mendapatkan daftar token

Halaman ini menunjukkan cara menghitung token untuk prompt tertentu.

Token adalah unit teks terkecil yang membawa makna untuk model bahasa. Untuk mempersiapkan teks agar dapat dipahami, model menggunakan tokenisasi, yaitu proses yang mengurai kalimat atau potongan teks yang lebih besar menjadi token individual. Kemudian, setiap token unik akan diberi ID numerik. Hal ini memungkinkan model untuk bekerja dengan teks sebagai angka. Saat Anda membuat token, Model Bahasa Besar (LLM) dapat menghitung hubungan statistik antar-token dan menghasilkan token berikutnya dalam urutan token.

Model yang didukung

Model dasar berikut mendukung pembuatan daftar token dan ID token:

  • text-bison
  • chat-bison
  • textembedding-gecko
  • code-bison
  • codechat-bison
  • code-gecko

Mendapatkan daftar token dan ID token untuk perintah

Anda bisa mendapatkan daftar token dan ID token menggunakan Vertex AI API.

REST

Guna mendapatkan daftar token dan ID token untuk perintah menggunakan Vertex AI API, kirim permintaan POST ke endpoint model penayang.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • PROJECT_ID: Project ID Anda.
  • MODEL_ID: Nama model yang tokennya ingin Anda hitung untuk perintah Anda. Opsi model dasar adalah:
    • text-bison
    • chat-bison
    • textembedding-gecko
    • code-bison
    • codechat-bison
    • code-gecko
    Anda dapat menentukan versi stabil dengan menambahkan nomor versi ke nama model, seperti @001 ke nama model. Anda juga dapat menentukan versi terbaru dengan tidak menambahkan nomor versi ke nama model. Untuk mempelajari versi model *stabil* yang tersedia, lihat Versi model stabil yang tersedia.
  • PROMPT: Permintaan untuk menghitung token. (Jangan tambahkan tanda kutip di sekitar perintah di sini.)

Metode HTTP dan URL: 

POST https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens

Isi JSON permintaan: 

{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json. Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini: 

cat > request.json << 'EOF'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
EOF

Kemudian, jalankan perintah berikut untuk mengirim permintaan REST Anda: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens"

PowerShell

Simpan isi permintaan dalam file bernama request.json. Jalankan perintah berikut di terminal untuk membuat atau menimpa file ini di direktori saat ini: 

@'
{
  "instances": [
    { "prompt": "PROMPT"}
  ],
}
'@  | Out-File -FilePath request.json -Encoding utf8

Kemudian jalankan perintah berikut untuk mengirim permintaan REST Anda: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/MODEL_ID:computeTokens" | Select-Object -Expand Content

Token output direpresentasikan dalam string base64. Agar lebih mudah dibaca, Anda dapat mengonversi output kembali menjadi string biasa. Berikut ini contohnya:


  {
    "tokensInfo": [
      {
        "tokens": [
          "IFByb3ZpZGU=",
          "IGE=",
          "IHN1bW1hcnk=",
          "IG9m"
        ],
        "tokenIds": [
          "45895",
          "1016",
          "14292",
          "1024"
        ]
      }
    ]
  }

Contoh perintah curl

MODEL_ID="text-bison"
PROJECT_ID="my-project"
PROMPT="Provide a summary with about two sentences for the following article."

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:computeTokens -d \
$'{
  "instances": [
    { "prompt": "'"$PROMPT"'"}
  ],
}'

Harga dan kuota

Penggunaan ComputeTokens API tidak dikenai biaya. Ada pembatasan kuota 3.000 permintaan per menit, kuota yang sama untuk CountTokens API.

Langkah selanjutnya