Tokens auflisten und zählen

Das Vertex AI SDK für Python (Version 1.60.0 und höher) enthält einen integrierten Tokenizer, mit dem Sie die Tokens eines Prompts lokal auflisten und zählen können, ohne API-Aufrufe ausführen zu müssen. Auf dieser Seite erfahren Sie, wie Sie mit dem Vertex AI SDK für Python die Tokens und ihre Token-IDs eines Prompts auflisten und die Gesamtzahl der Tokens eines Prompts abrufen.

Tokens und die Bedeutung der Auflistung und Zählung von Tokens

Modelle für generative KI zerlegen Text und andere Daten in einem Prompt in Einheiten, die als Tokens bezeichnet werden, um sie zu verarbeiten. Wie Daten in Tokens umgewandelt werden, hängt vom verwendeten Tokenizer ab. Ein Token kann aus Zeichen, Wörtern oder Wortgruppen bestehen.

Jedes Modell hat eine maximale Anzahl von Tokens, die es in einem Prompt und einer Antwort verarbeiten kann. Wenn Sie die Tokenanzahl Ihres Prompts kennen, können Sie feststellen, ob Sie dieses Limit überschritten haben oder nicht. Außerdem werden beim Zählen von Tokens auch die abrechenbaren Zeichen für den Prompt zurückgegeben. Dies hilft Ihnen bei der Schätzung der Kosten.

Wenn Sie das Auflisten von Tokens auswählen, wird eine Liste der Tokens zurückgegeben, in die Ihr Prompt unterteilt ist. Jedem aufgeführten Token ist eine Token-ID zugewiesen, die Ihnen bei der Fehlerbehebung und Analyse des Modellverhaltens hilft.

Unterstützte Modelle

Die folgende Tabelle zeigt die Modelle, die die Tokenauflistung und die Tokenzählung unterstützen:

Tokens auflisten	Tokens zählen
`gemini-1.5-flash-001`	`gemini-1.5-flash-001`
`gemini-1.5-pro-001`	`gemini-1.5-pro-001`
	`gemini-1.0-pro-002`
	`gemini-1.0-pro-vision-001`

Liste der Tokens und Token-IDs für eine Eingabeaufforderung abrufen

Das folgende Codebeispiel zeigt, wie Sie eine Liste von Tokens und Token-IDs für einen Prompt abrufen. Der Prompt darf nur Text enthalten. Multimodale Prompts werden nicht unterstützt.

Python

Informationen zur Installation des Vertex AI SDK for Python finden Sie unter Vertex AI SDK for Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.

from vertexai.preview.tokenization import get_tokenizer_for_model

# using local tokenzier
tokenizer = get_tokenizer_for_model("gemini-1.5-flash")

prompt = "hello world"
response = tokenizer.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")

prompt = ["hello world", "what's the weather today"]
response = tokenizer.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")

Tokenanzahl und abrechenbare Zeichen eines Prompts abrufen

Das folgende Codebeispiel zeigt, wie Sie die Anzahl der Tokens und die Anzahl der abrechenbaren Zeichen eines Prompts abrufen. Es werden sowohl Nur-Text- als auch multimodale Prompts unterstützt.

Python

Informationen zur Installation des Vertex AI SDK for Python finden Sie unter Vertex AI SDK for Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.

import vertexai
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update project & location
vertexai.init(project=PROJECT_ID, location=LOCATION)

# using Vertex AI Model as tokenzier
model = GenerativeModel("gemini-1.5-flash")

prompt = "hello world"
response = model.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")
print(f"Prompt Character Count: {response.total_billable_characters}")

prompt = ["hello world", "what's the weather today"]
response = model.count_tokens(prompt)
print(f"Prompt Token Count: {response.total_tokens}")
print(f"Prompt Character Count: {response.total_billable_characters}")