Ogni chiamata inviata a un modello include valori parametro che controllano il modo in cui il modello genera una risposta. Il modello può generare risultati diversi a seconda dei valori parametro. Sperimenta con diversi valori parametro per ottenere i valori migliori per l'attività. I parametri disponibili per i diversi modelli possono variare. I parametri più comuni sono i seguenti:
- Numero massimo di token di output
- Temperatura
- Top-K
- Top-P
Numero massimo di token di output
Numero massimo di token che possono essere generati nella risposta. Un token equivale a circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione della risposta, che si verifica quando vengono applicatitopP
e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature più basse sono ideali per prompt che richiedono una risposta meno aperta o creativa, mentre
le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0
significa che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte a una determinata
richiesta sono per lo più deterministiche, ma è comunque possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura.
Ogni modello ha il proprio intervallo di temperatura e un valore predefinito:
- Intervallo per gemini-1.5-pro:
0.0 - 2.0(valore predefinito:1.0) - Intervallo per gemini-1.0-pro-vision:
0.0 - 1.0(valore predefinito:0.4) - Intervallo per gemini-1.0-pro-002:
0.0 - 2.0(valore predefinito:1.0) - Intervallo per gemini-1.0-pro-001:
0.0 - 1.0(valore predefinito:0.9)
Top-K
Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K di1 indica che il token successivo selezionato è il più probabile tra tutti i token nel vocabolario del modello (chiamato anche decodifica greedy). Un top-K pari a 3 indica che il token successivo viene selezionato tra i tre token più probabili utilizzando la temperatura.
Per ogni passaggio di selezione dei token, vengono campionati i token top-K con le probabilità più alte. Quindi i token vengono ulteriormente filtrati in base a top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati dal più probabile (vedi top-K) al meno probabile finché la somma delle probabilità non corrisponde al valore di top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di top-P è0.5, il modello selezionerà A o B come token successivo utilizzando la temperatura ed esclude C come candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Passaggi successivi
- Esplora esempi di prompt nella Galleria prompt.