Mencantumkan dan menghitung token

Vertex AI SDK untuk Python (1.60.0 dan yang lebih baru) menyertakan tokenizer terintegrasi, yang memungkinkan Anda mencantumkan dan menghitung token perintah secara lokal tanpa harus melakukan panggilan API. Halaman ini menunjukkan cara mencantumkan token dan ID tokennya dari sebuah perintah dan cara mendapatkan jumlah total token dari sebuah perintah menggunakan Vertex AI SDK untuk Python.

Token dan pentingnya listingan dan penghitungan token

Model AI generatif menguraikan teks dan data lainnya dalam perintah menjadi unit yang disebut token untuk diproses. Cara data dikonversi menjadi token bergantung pada tokenizer yang digunakan. Token dapat berupa karakter, kata, atau frasa.

Setiap model memiliki jumlah maksimum token yang dapat ditanganinya dalam perintah dan respons. Mengetahui jumlah token perintah akan memberi tahu Anda apakah Anda telah melampaui batas ini atau tidak. Selain itu, token penghitungan juga menampilkan karakter yang dapat ditagih untuk perintah, yang membantu Anda memperkirakan biaya.

Listing tokens menampilkan daftar token yang menjadi bagian dari perintah Anda. Setiap token yang tercantum dikaitkan dengan ID token, yang membantu Anda melakukan pemecahan masalah dan menganalisis perilaku model.

Model yang didukung

Tabel berikut menunjukkan model yang mendukung listingan token dan penghitungan token:

Mencantumkan token Menghitung token
gemini-1.5-flash-002 gemini-1.5-flash-002
gemini-1.5-pro-002 gemini-1.5-pro-002
gemini-1.0-pro-002
gemini-1.0-pro-vision-001

Mendapatkan daftar token dan ID token untuk perintah

Contoh kode berikut menunjukkan cara mendapatkan daftar token dan ID token untuk perintah. Perintah hanya boleh berisi teks. Dialog multimodal tidak didukung.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API. 

from vertexai.preview.tokenization import get_tokenizer_for_model

# init local tokenzier
tokenizer = get_tokenizer_for_model("gemini-1.5-flash-001")

# Count Tokens
prompt = "why is the sky blue?"
response = tokenizer.count_tokens(prompt)
print(f"Tokens count: {response.total_tokens}")
# Example response:
#       Tokens count: 6

# Compute Tokens
response = tokenizer.compute_tokens(prompt)
print(f"Tokens list: {response.tokens_info}")
# Example response:
#     Tokens list: [TokensInfo(token_ids=[18177, 603, 573, 8203, 3868, 235336],
#          tokens=[b'why', b' is', b' the', b' sky', b' blue', b'?'], role='user')]

Mendapatkan jumlah token dan karakter yang dapat ditagih dari sebuah perintah

Contoh kode berikut menunjukkan cara Mendapatkan jumlah token dan jumlah karakter yang dapat ditagih dari sebuah perintah. Perintah khusus teks dan multimodal didukung.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API. 

from vertexai.preview.tokenization import get_tokenizer_for_model

# Using local tokenzier
tokenizer = get_tokenizer_for_model("gemini-1.5-flash-002")

prompt = "hello world"
response = tokenizer.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")
# Example response:
# Prompt Token Count: 2

prompt = ["hello world", "what's the weather today"]
response = tokenizer.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")
# Example response:
# Prompt Token Count: 8