Experimenta con los valores de los parámetros

Cada llamada que envías a un modelo incluye valores de parámetros que controlan cómo el modelo genera una respuesta. El modelo puede generar resultados diferentes para los valores de parámetros diferentes. Experimenta con diferentes valores de parámetros para obtener los mejores valores para la tarea. Los parámetros disponibles para diferentes modelos pueden variar. Los parámetros más comunes son los siguientes:

  • Cantidad máxima de tokens de salida
  • Temperatura
  • Top-K
  • Top-P

Cantidad máxima de tokens de salida

Cantidad máxima de tokens que se pueden generar en la respuesta. Un token tiene casi cuatro caracteres. 100 tokens corresponden a casi 60 u 80 palabras.

Especifica un valor más bajo para las respuestas más cortas y un valor más alto para las respuestas potencialmente más largas.

Temperatura

La temperatura se usa para las muestras durante la generación de respuesta, que se genera cuando se aplican topP y topK. La temperatura controla el grado de aleatorización en la selección de tokens. Las temperaturas más bajas son buenas para los mensajes que requieren una respuesta menos abierta o de creativa, mientras que las temperaturas más altas pueden generar resultados más diversos o creativos. Una temperatura de 0 significa que siempre se seleccionan los tokens de probabilidad más alta. En este caso, las respuestas para un mensaje determinado son, en su mayoría, deterministas, pero es posible que haya una pequeña cantidad de variación.

Si el modelo muestra una respuesta demasiado genérica, demasiado corta o el modelo proporciona una respuesta de resguardo, intenta aumentar la temperatura.

Cada modelo tiene su propio rango de temperatura y valor predeterminado:

  • Rango para gemini-1.5-flash: 0.0 - 2.0 (predeterminado: 1.0)
  • Rango para gemini-1.5-pro: 0.0 - 2.0 (predeterminado: 1.0)
  • Rango para gemini-1.0-pro-vision: 0.0 - 1.0 (predeterminado: 0.4)
  • Rango para gemini-1.0-pro-002: 0.0 - 2.0 (predeterminado: 1.0)
  • Rango para gemini-1.0-pro-001: 0.0 - 1.0 (predeterminado: 0.9)
Los rangos de temperatura expandidos para gemini-1.5-pro y gemini-1.0-pro-002 te permiten aumentar la aleatoriedad de forma significativa más allá del valor predeterminado.

Top-K

El parámetro Top-K cambia la manera en la que el modelo selecciona los tokens para el resultado. K superior a 1 significa que el siguiente token seleccionado es el más probable entre todos los tokens en el vocabulario del modelo (también llamado decodificación voraz), mientras que el K superior a 3 significa que el siguiente token se selecciona de los tres tokens más probables mediante la temperatura.

Para cada paso de selección de tokens, se muestran los tokens de K superior con las probabilidades más altas. Luego, los tokens se filtran según el superior con el token final seleccionado mediante el muestreo de temperatura.

Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.

Top-P

P superior cambia la manera en la que el modelo selecciona tokens para la salida. Los tokens se seleccionan desde el más alto (consulta K superior) hasta el menos probable, hasta que la suma de sus probabilidades sea igual al valor de P superior. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0.3, 0.2 y 0.1, y el valor P superior es 0.5, el modelo elegirá A o B como el siguiente token mediante la temperatura y excluirá a C como candidato.

Especifica un valor más bajo para respuestas menos aleatorias y un valor más alto para respuestas más aleatorias.

¿Qué sigue?