En esta página se muestran los parámetros de muestreo opcionales que puedes definir en una solicitud a un modelo. Los parámetros disponibles para cada modelo pueden variar. Para obtener más información, consulta la documentación de referencia.
Parámetros de muestreo de tokens
Top-P
Top-P cambia la forma en que el modelo selecciona los tokens de salida. Los tokens se seleccionan
de más probable a menos probable hasta que la suma de sus probabilidades
sea igual al valor de top-P. Por ejemplo, si los tokens A, B y C tienen una probabilidad de 0,3, 0,2 y 0,1, y el valor de top_p es 0.5
, el modelo seleccionará A o B como el siguiente token usando la temperatura y excluirá C como candidato.
Especifica un valor más bajo para obtener respuestas menos aleatorias y un valor más alto para obtener respuestas más aleatorias.
Para obtener más información, consultatopP
.
Temperatura
La temperatura se usa para el muestreo durante la generación de respuestas, que se produce cuando se aplican topP
y topK
. La temperatura controla el grado de aleatoriedad en la selección de tokens.
Las temperaturas más bajas son adecuadas para las peticiones que requieren una respuesta menos abierta o creativa, mientras que las temperaturas más altas pueden dar lugar a resultados más diversos o creativos. Una temperatura de 0
significa que siempre se seleccionan los tokens con la probabilidad más alta. En este caso, las respuestas a una petición determinada son mayormente deterministas, pero sigue siendo posible que haya una pequeña variación.
Si el modelo devuelve una respuesta demasiado genérica o demasiado corta, o bien una respuesta alternativa, prueba a aumentar la temperatura.
Las temperaturas más bajas dan lugar a resultados predecibles (pero no completamente deterministas).
Para obtener más información, consulta temperature
.
Parámetros de detención
Número máximo de tokens de salida
Define maxOutputTokens
para limitar el número de tokens
generados en la respuesta. Un token tiene aproximadamente cuatro caracteres, por lo que 100 tokens corresponden a unas 60-80 palabras. Define un valor bajo para limitar la longitud de la respuesta.
Detener secuencias
Define cadenas en stopSequences
para indicar al modelo que deje de generar texto si se encuentra una de las cadenas en la respuesta. Si una cadena aparece varias veces en la respuesta, esta se trunca en el punto en el que se encuentra la cadena por primera vez. Las cadenas distinguen entre mayúsculas y minúsculas.
Parámetros de penalización de tokens
Penalización por frecuencia
Los valores positivos penalizan los tokens que aparecen repetidamente en el texto generado, lo que reduce la probabilidad de que se repita el contenido. El valor mínimo es -2.0
. El valor máximo es 2.0
, pero no se incluye.
Para obtener más información, consulta frequencyPenalty
.
Penalización por presencia
Los valores positivos penalizan los tokens que ya aparecen en el texto generado, lo que aumenta la probabilidad de generar contenido más diverso. El valor mínimo es -2.0
. El valor máximo es 2.0
(sin incluir).
Para obtener más información, consulta presencePenalty
.
Parámetros avanzados
Usa estos parámetros para obtener más información sobre los tokens de la respuesta o para controlar la variabilidad de la respuesta.
Probabilidades de registro de tokens de salida
Devuelve las probabilidades logarítmicas de los tokens candidatos principales en cada paso de generación. Es posible que el token elegido por el modelo no sea el mismo que el token candidato principal en cada paso. Especifique el número de candidatos que se devolverán mediante un valor entero comprendido entre 1
y 20
.
Para obtener más información, consulte logprobs
. También debe definir el parámetro responseLogprobs
en true
para usar esta función.
El parámetro responseLogprobs
devuelve las probabilidades logarítmicas de los tokens que ha elegido el modelo en cada paso.
Consulta más información en el cuaderno Introducción a Logprobs.
Semilla
Cuando la semilla se fija en un valor específico, el modelo hace todo lo posible para proporcionar la misma respuesta a las solicitudes repetidas. No se garantiza que la salida sea determinista.
Además, si cambias el modelo o los ajustes de los parámetros, como la temperatura, pueden producirse variaciones en la respuesta aunque uses el mismo valor de semilla. De forma predeterminada, se usa un valor de semilla aleatorio.
Para obtener más información, consulta seed
.
Ejemplo
Aquí tienes un ejemplo en el que se usan parámetros para ajustar la respuesta de un modelo.
Python
Instalar
pip install --upgrade google-genai
Para obtener más información, consulta la documentación de referencia del SDK.
Define variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Go
Consulta cómo instalar o actualizar Go.
Para obtener más información, consulta la documentación de referencia del SDK.
Define variables de entorno para usar el SDK de IA generativa con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
Siguientes pasos
- Consulta las prácticas recomendadas de IA responsable y los filtros de seguridad de Vertex AI.
- Consulta las instrucciones del sistema sobre seguridad.
- Consulta información sobre la monitorización de abusos.
- Consulta información sobre la IA responsable.