Questa pagina mostra i parametri di campionamento facoltativi che puoi impostare in una richiesta a un modello. I parametri disponibili per ogni modello possono variare. Per saperne di più, consulta la documentazione di riferimento.
Parametri di campionamento dei token
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati dal più probabile (vedi Top-K) al meno probabile finché la somma delle loro probabilità non corrisponde al valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di
0,3, 0,2 e 0,1 e il valore di top-P è 0.5, il modello
seleziona A o B come token successivo utilizzando la temperatura ed esclude C come candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Per ulteriori informazioni, veditopP.
Top-K
Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K pari a
1 indica che il token successivo selezionato è il più probabile tra tutti
i token nel vocabolario del modello (chiamato anche decodifica greedy). Un top-K pari a
3 indica invece che il token successivo viene selezionato tra i tre
token più probabili utilizzando la temperatura.
Per ogni fase di selezione dei token, vengono campionati i token Top-K con le probabilità più elevate. Quindi i token vengono ulteriormente filtrati in base a Top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Per ulteriori informazioni, veditopK.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione della risposta, che si verifica quando vengono applicati topP
e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature più basse sono ideali per prompt che richiedono risposte meno aperte o creative, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Con una temperatura pari a 0
viene sempre selezionato il token con la probabilità più alta. In questo caso, le risposte per un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura.
Temperature più basse generano risultati prevedibili (ma non completamente deterministici). Per ulteriori informazioni, vedi temperature.
Parametri di arresto
Token di output massimi
Imposta maxOutputTokens per limitare il numero di token
generati nella risposta. Un token equivale a circa quattro caratteri, quindi 100
token corrispondono a circa 60-80 parole. Imposta un valore basso per limitare la lunghezza
della risposta.
Sequenze di interruzioni
Definisci le stringhe in stopSequences per indicare al modello di interrompere la generazione di testo se viene rilevata una delle stringhe nella risposta. Se una stringa compare più volte nella risposta, la risposta viene troncata nel punto in cui viene incontrata per la prima volta. Le stringhe sono sensibili alle maiuscole.
Parametri di penalizzazione dei token
Penale per frequenza
I valori positivi penalizzano i token che appaiono ripetutamente nel testo generato, diminuendo la probabilità di ripetere i contenuti. Il valore minimo è -2.0. Il valore massimo è fino a, ma non incluso, 2.0.
Per ulteriori informazioni, vedi frequencyPenalty.
Penalità per presenza
I valori positivi penalizzano i token già presenti nel testo generato, aumentando la probabilità di generare contenuti più diversi. Il valore minimo è -2.0. Il valore
massimo può arrivare fino a 2.0, escluso.
Per ulteriori informazioni, vedi presencePenalty.
Parametri avanzati
Utilizza questi parametri per restituire ulteriori informazioni sui token nella risposta o per controllare la variabilità della risposta.
Registra le probabilità dei token di output
Restituisce le probabilità logaritmiche dei token candidati principali in ogni fase di generazione. Il token scelto dal modello potrebbe non essere uguale al token candidato principale in ogni passaggio. Specifica il numero di candidati da restituire utilizzando un valore intero nell'intervallo 1-5. Per ulteriori informazioni, consulta logprobs. Per utilizzare questa funzionalità, devi anche impostare il parametro responseLogprobs su true.
Il parametro responseLogprobs restituisce le probabilità logaritmiche dei token scelti dal modello in ogni passaggio.
Seed
Quando il seed è fissato a un valore specifico, il modello fa del suo meglio per fornire la stessa risposta per richieste ripetute. L'output deterministico non è garantito.
Inoltre, la modifica del modello o delle impostazioni dei parametri, ad esempio la temperatura, può causare variazioni nella risposta anche se utilizzi lo stesso valore seed. Per impostazione predefinita, viene utilizzato un valore seed casuale.
Per ulteriori informazioni, vedi seed.