Ogni chiamata inviata a un modello include valori parametro che controllano il modo in cui il modello viene generato una risposta. Il modello può generare risultati diversi a seconda dei valori parametro. Sperimenta con valori dei parametri diversi per ottenere i valori migliori per l'attività. I parametri disponibili per modelli diversi possono essere diversi. I parametri più comuni sono i seguenti:
- Numero massimo di token di output
- Temperatura
- Top-K
- Top-P
Numero massimo di token di output
Numero massimo di token che possono essere generati nella risposta. Un token è di circa quattro caratteri. 100 token corrispondono a circa 60-80 parole.Specifica un valore più basso per risposte più brevi e un valore più alto per risposte potenzialmente più lunghe diverse.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione della risposta, che si verifica quandotopP
e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature più basse sono ideali per prompt che richiedono una risposta meno aperta o creativa, mentre
temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura di 0
significa che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte per un determinato
sono per lo più deterministici, ma è ancora possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve, oppure fornisce una risposta di riserva di risposta, prova ad aumentare la temperatura.
Ogni modello ha il proprio intervallo di temperatura e un valore predefinito:
- Intervallo per gemini-1.5-pro:
0.0 - 2.0(valore predefinito:1.0) - Intervallo per gemini-1.0-pro-vision:
0.0 - 1.0(valore predefinito:0.4) - Intervallo per gemini-1.0-pro-002:
0.0 - 2.0(valore predefinito:1.0) - Intervallo per gemini-1.0-pro-001:
0.0 - 1.0(valore predefinito:0.9)
Top-K
Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K di1 significa che il successivo token selezionato è il più probabile tra tutti
nel vocabolario del modello (chiamato anche decodifica greedy), mentre una top-K di
3 significa che il token successivo viene selezionato tra i tre
probabili token utilizzando la temperatura.
Per ogni passaggio di selezione dei token, vengono mostrati i token top-K con il vengono campionate. Quindi i token vengono ulteriormente filtrati in base a top-P con il token finale selezionato utilizzando il campionamento della temperatura.
Specifica un valore più basso per risposte meno casuali e un valore più alto per più risposte risposte casuali.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. Token selezionati dal più probabile (vedi top-K) al meno probabile fino alla somma delle probabilità equivale al valore di top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di top-P è0.5, il modello
seleziona A o B come token successivo utilizzando la temperatura ed esclude C come
candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per più risposte risposte casuali.
Passaggi successivi
- Esplora esempi di prompt nella Galleria prompt.