Parameter für die Inhaltsgenerierung

Auf dieser Seite finden Sie die optionalen Stichprobenparameter, die Sie in einer Anfrage an ein Modell festlegen können. Die für die einzelnen Modelle verfügbaren Parameter können unterschiedlich sein. Weitere Informationen finden Sie in der Referenzdokumentation.

Parameter für die Tokenstichprobenerhebung

Top-P

Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Die Tokens werden von den wahrscheinlichsten (siehe „Top-K“) bis zu den unwahrscheinlichsten Werten ausgewählt, bis die Summe ihrer Wahrscheinlichkeiten dem „Top-P“-Wert entspricht. Beispiel: Wenn die Tokens A, B und C eine Wahrscheinlichkeit von 0,3, 0,2 und 0,1 haben und der „Top-P“-Wert 0.5 ist, wählt das Modell anhand der Temperatur entweder A oder B als das nächste Token und C als Kandidaten ausschließen.

Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.

Weitere Informationen finden Sie unter topP.

Top-K

Der Wert „Top-K“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Ein „Top-K“ von 1 bedeutet, dass das nächste ausgewählte Token unter den Tokens im Modell-Vokabular (auch als gierige Decodierung bezeichnet) am wahrscheinlichsten ist, während ein „Top-K“ von 3 bedeutet, dass das nächste Token mithilfe der Temperatur aus den drei wahrscheinlichsten Tokens ausgewählt wird.

Für jeden Tokenauswahlschritt werden die „Top-K“-Tokens mit den höchsten Wahrscheinlichkeiten abgetastet. Anschließend werden Tokens weiter auf der Grundlage von „Top-P“ gefiltert, wobei das endgültige Token mithilfe von Temperaturproben ausgewählt wird.

Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an.

Weitere Informationen finden Sie unter topK.

Temperatur

Die Temperatur wird für die Probenahme während der Antwortgenerierung verwendet. Dies passiert, wenn topP und topK angewendet werden. Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Niedrigere Temperaturen eignen sich gut für Prompts, die eine weniger offene oder kreative Antwort erfordern, während höhere Temperaturen zu vielfältigeren oder kreativeren Ergebnissen führen können. Eine Temperatur von 0 bedeutet, dass immer die Tokens mit der höchsten Wahrscheinlichkeit ausgewählt werden. In diesem Fall sind die Antworten auf einen bestimmten Prompt größtenteils deterministisch, aber eine gewisse Variation ist dennoch möglich.

Wenn das Modell eine zu allgemeine oder zu kurze Antwort zurückgibt, oder wenn das Modell eine Fallback-Antwort ausgibt, versuchen Sie, die Temperatur zu erhöhen.

Niedrigere Temperaturen führen zu vorhersehbaren (aber nicht vollständig deterministischen) Ergebnissen. Weitere Informationen finden Sie unter temperature.

Parameter für das Beenden

Maximale Ausgabetokens

Legen Sie maxOutputTokens fest, um die Anzahl der in der Antwort generierten Tokens zu begrenzen. Ein Token besteht aus etwa vier Zeichen. 100 Tokens entsprechen also etwa 60–80 Wörtern. Legen Sie einen niedrigen Wert fest, um die Länge der Antwort zu begrenzen.

Stoppsequenzen

Definieren Sie Strings in stopSequences, um das Modell anzuweisen, Text nicht mehr zu generieren, wenn einer der Strings in der Antwort gefunden wird. Kommt ein String mehrmals in der Antwort vor, so wird die Antwort an der Stelle abgeschnitten, an der er erfasst wurde. Bei Strings wird zwischen Groß- und Kleinschreibung unterschieden.

Parameter für die Token-Strafe

Strafen für die Häufigkeit

Positive Werte nehmen Abzüge bei Tokens vor, die wiederholt im generierten Text angezeigt werden, wodurch die Wahrscheinlichkeit wiederholter Inhalte verringert wird. Der Mindestwert beträgt -2.0. Der Höchstwert beträgt 2.0. Weitere Informationen finden Sie unter frequencyPenalty.

Präsenzstrafe

Positive Werte nehmen Abzüge bei Tokens vor, die wiederholt im generierten Text angezeigt werden, wodurch die Wahrscheinlichkeit wiederholter Inhalte verringert wird. Der Mindestwert beträgt -2.0. Der Höchstwert beträgt 2.0. Weitere Informationen finden Sie unter presencePenalty.

Erweiterte Parameter

Mit diesen Parametern können Sie mehr Informationen zu den Tokens in der Antwort zurückgeben oder die Variabilität der Antwort steuern.

Logarithmische Wahrscheinlichkeiten von Ausgabetokens

Gibt die Log-Wahrscheinlichkeiten der Top-Kandidaten-Token bei jedem Generierungsschritt zurück. Das vom Modell ausgewählte Token ist möglicherweise nicht mit dem Top-Kandidaten-Token in jedem Schritt identisch. Geben Sie die Anzahl der Kandidaten an, die zurückgegeben werden sollen, indem Sie eine Ganzzahl im Bereich von 1 bis 5 angeben. Weitere Informationen finden Sie unter logprobs. Außerdem müssen Sie den Parameter responseLogprobs auf true festlegen, um diese Funktion nutzen zu können.

Der Parameter responseLogprobs gibt die Log-Wahrscheinlichkeiten der Tokens zurück, die in jedem Schritt vom Modell ausgewählt wurden.

Seed

Wenn die Seed-Daten auf einen bestimmten Wert festgelegt sind, versucht das Modell, für wiederholte Anfragen dieselbe Antwort bereitzustellen. Die deterministische Ausgabe wird nicht zwangsläufig erfüllt. Wenn Sie die Modell- oder Parametereinstellungen ändern, z. B. die Temperatur, kann dies außerdem zu Abweichungen in der Antwort führen, selbst wenn Sie denselben Seed-Wert verwenden. Standardmäßig wird ein zufälliger Startwert verwendet. Weitere Informationen finden Sie unter seed.