Esta página mostra os parâmetros de amostragem opcionais que podem ser definidos em uma solicitação para um modelo. Os parâmetros disponíveis para cada modelo podem ser diferentes. Para mais informações, consulte a documentação de referência.
Parâmetros de amostragem de token
Top-P
O top-p muda a forma como o modelo seleciona tokens para saída. Os tokens são selecionados
do mais provável (veja o top-K) para o menos provável até que a soma das probabilidades
seja igual ao valor do top-P. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de top-P for 0.5, o modelo selecionará A ou B como token seguinte usando temperatura e exclui C como
candidato.
Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias.
Para ver mais informações, consultetopP.
Top-K
O top-k muda a forma como o modelo seleciona tokens para saída. Um top-K de
1 significa que o próximo token selecionado é o mais provável entre todos
os tokens no vocabulário do modelo (também chamado de decodificação gananciosa), enquanto um top-K de
3 significa que o próximo token está selecionado entre os três tokens mais
prováveis usando a temperatura.
Para cada etapa da seleção de tokens, são amostrados os tokens top-K com as maiores probabilidades. Em seguida, os tokens são filtrados com base no valor de top-P com o token final selecionado por meio da amostragem de temperatura.
Especifique um valor mais baixo para respostas menos aleatórias e um valor mais alto para respostas mais aleatórias.
Para ver mais informações, consultetopK.
Temperatura
A temperatura é usada para amostragem durante a geração da resposta, que ocorre quando topP e topK são aplicados. A temperatura controla o grau de aleatoriedade na seleção do token.
Temperaturas mais baixas são boas para solicitações que exigem uma resposta menos aberta ou criativa, enquanto temperaturas mais altas podem levar a resultados mais diversos ou criativos. Uma temperatura de 0 significa que os tokens de maior probabilidade são sempre selecionados. Nesse caso, as respostas para uma determinada solicitação são, na maioria das vezes, deterministas, mas uma pequena variação ainda é possível.
Se o modelo retornar uma resposta muito genérica, muito curta ou se o modelo fornecer uma resposta alternativa, tente aumentar a temperatura.
Temperaturas mais baixas levam a resultados previsíveis (mas não totalmente determinísticos). Para ver mais informações, consulte temperature.
Como interromper parâmetros
Máximo de tokens de saída
Defina maxOutputTokens para limitar o número de tokens
gerados na resposta. Um token tem cerca de quatro caracteres, então 100
tokens correspondem a cerca de 60 a 80 palavras. Defina um valor baixo para limitar o comprimento
da resposta.
Sequências de paradas
Defina strings em stopSequences para informar ao modelo que ele deve parar
de gerar texto se uma das strings for encontrada na resposta. Se uma
string aparecer várias vezes na resposta, a resposta será truncada
quando a string for encontrada pela primeira vez. As strings diferenciam maiúsculas de minúsculas.
Parâmetros de penalização de token
Penalidade de frequência
Valores positivos penalizam tokens que aparecem repetidamente no texto gerado, diminuindo a probabilidade de repetir conteúdo. O valor mínimo é -2.0. O valor máximo é até
2.0, mas não inclui.
Veja mais informações em frequencyPenalty.
Penalidade de presença
Valores positivos penalizam tokens que já aparecem no texto gerado, aumentando a probabilidade de gerar conteúdo mais diversificado. O valor mínimo é -2.0. O valor máximo
é até 2.0, mas não inclui.
Veja mais informações em presencePenalty.
Parâmetros avançados
Use esses parâmetros para retornar mais informações sobre os tokens na resposta ou para controlar a variabilidade dela.
Registrar as probabilidades dos tokens de saída
Retorna as probabilidades de registro dos principais tokens candidatos em cada etapa de geração. O token escolhido
pelo modelo pode não ser o mesmo que o principal candidato em cada etapa. Especifique o número de
candidatos a serem retornados usando um valor inteiro no intervalo de 1 a 5.
Para mais informações, consulte logprobs. Você também precisa
definir o parâmetro responseLogprobs como true para usar esse
recurso.
O parâmetro responseLogprobs retorna as probabilidades
de registro dos tokens que foram escolhidos pelo modelo em cada etapa.
Semente
Quando a semente é fixada em um valor específico, o modelo se esforça para fornecer
a mesma resposta para solicitações repetidas. A saída determinista não é garantida.
Além disso, mudar as configurações do modelo ou do parâmetro, como a temperatura, pode
causar variações na resposta, mesmo quando você usa o mesmo valor de semente. Por
padrão, um valor de semente aleatório é usado.
Para ver mais informações, consulte seed.