Menghitung token untuk model Claude

Endpoint count-tokens memungkinkan Anda menentukan jumlah token dalam pesan sebelum mengirimkannya ke Claude, sehingga membantu Anda membuat keputusan yang tepat tentang perintah dan penggunaan.

Penggunaan endpoint count-tokens tidak dikenai biaya.

Model Claude yang didukung

Model berikut mendukung token jumlah:

• Claude 3.5 Sonnet v2: claude-3-5-sonnet-v2@20241022.
• Claude 3.5 Haiku: claude-3-5-haiku@20241022.
• Claude 3 Opus: claude-3-opus@20240229.
• Claude 3.5 Sonnet: claude-3-5-sonnet@20240620.
• Claude 3 Haiku: claude-3-haiku@20240307.

Region yang didukung

Region berikut mendukung token jumlah:

• us-east5
• europe-west1
• asia-southeast1
• us-central1
• europe-west4

Menghitung token dalam pesan dasar

Untuk menghitung token, kirim permintaan rawPredict ke endpoint count-tokens. Isi permintaan harus berisi ID model dari model yang ingin Anda hitung tokennya.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• LOCATION: Region yang didukung.
• MODEL: Model yang akan digunakan untuk menghitung token.
• ROLE: Peran yang terkait dengan pesan. Anda dapat menentukan user atau assistant. Pesan pertama harus menggunakan peran user. Model Claude beroperasi dengan giliran user dan assistant bergantian. Jika pesan akhir menggunakan peran assistant, konten respons akan langsung berlanjut dari konten dalam pesan tersebut. Anda dapat menggunakannya untuk membatasi bagian respons model.
• CONTENT: Konten, seperti teks, dari pesan user atau assistant.

Metode HTTP dan URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Isi JSON permintaan:

{
  "model": "claude-3-haiku@20240307",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login , atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Anda akan melihat respons JSON yang mirip seperti berikut:

Respons

{ "input_tokens": 14 }

Untuk informasi tentang cara menghitung token dalam pesan dengan alat, gambar, dan PDF, lihat dokumentasi Anthropoic.

Kuota

Secara default, kuota untuk endpoint count-tokens adalah 2.000 permintaan per menit.