이 페이지에서는 모델 요청에 설정할 수 있는 선택적 샘플링 매개변수를 보여줍니다. 모델별로 사용 가능한 매개변수가 다를 수 있습니다. 자세한 내용은 참조 문서를 참고하세요.
토큰 샘플링 매개변수
Top-P
Top-P는 모델이 출력용 토큰을 선택하는 방식을 변경합니다. 토큰은 확률의 합이 Top-P 값과 같아질 때까지 확률이 가장 높은 것부터(Top-K 참조) 가장 낮은 것까지 선택됩니다. 예를 들어 토큰 A, B, C의 확률이 0.3, 0.2, 0.1이고 Top-P 값이 0.5이면 모델이 온도를 사용해서 다음 토큰으로 A 또는 B를 선택하고 C는 후보에서 제외합니다.
임의성이 낮은 응답에 낮은 값을 지정하고 임의성이 높은 응답에 높은 값을 지정합니다.
자세한 내용은topP를 참조하세요.
Top-K
Top-K는 모델이 출력용 토큰을 선택하는 방식을 변경합니다. Top-K가 1이면 선택된 토큰이 모델의 어휘에 포함된 모든 토큰 중에서 가장 확률이 높다는 의미입니다(그리디 디코딩이라고도 함). 반면에 Top-K가 3이면 강도를 사용하여 가장 확률이 높은 3개 토큰 중에서 다음 토큰이 선택된다는 의미입니다.
각 토큰 선택 단계에서 확률이 가장 높은 Top-K 토큰이 샘플링됩니다. 그런 다음 Top-P를 기준으로 토큰을 추가로 필터링하고 강도 샘플링을 사용하여 최종 토큰을 선택합니다.
임의성이 낮은 응답에 낮은 값을 지정하고 임의성이 높은 응답에 높은 값을 지정합니다.
자세한 내용은topK를 참조하세요.
온도
온도는 응답 생성 중 샘플링에 사용되며 topP 및 topK가 적용될 때 발생합니다. 강도는 토큰 선택의 무작위성 수준을 제어합니다.
강도가 낮을수록 자유롭거나 창의적인 답변과 거리가 먼 응답이 필요한 프롬프트에 적합하고, 강도가 높을수록 보다 다양하거나 창의적인 결과로 이어질 수 있습니다. 강도가 0이면 확률이 가장 높은 토큰이 항상 선택됩니다. 이 경우 특정 프롬프트에 대한 응답은 대부분 확정적이지만 여전히 약간의 변형이 가능합니다.
모델이 너무 일반적이거나, 너무 짧은 응답을 반환하거나 모델이 대체 응답을 제공할 경우에는 온도(temperature)를 높여보세요.
온도가 낮을수록 예측 가능한 (그러나 완전히 확정적이지는 않은) 결과가 나타납니다. 자세한 내용은 temperature를 참조하세요.
중지 매개변수
최대 출력 토큰
maxOutputTokens를 설정하여 응답에서 생성되는 토큰 수를 제한합니다. 토큰은 약 4자(영문 기준)이므로 토큰 100개는 단어 약 60~80개에 해당합니다. 응답 길이를 제한하려면 낮은 값을 설정합니다.
중지 시퀀스
stopSequences에서 문자열을 정의하여 응답에서 문자열 중 하나가 발견되면 모델에 텍스트 생성을 중지하도록 지시합니다. 문자열이 응답에 여러 번 표시되면 문자열이 처음 발견된 위치에서 응답이 잘립니다. 문자열은 대소문자를 구분합니다.
토큰 페널티 매개변수
빈도 페널티
양수 값은 생성된 텍스트에 반복적으로 표시되는 토큰에 페널티를 적용하여 콘텐츠가 반복될 가능성을 줄입니다. 최솟값은 -2.0입니다. 최댓값은 2.0 미만입니다.
자세한 내용은 frequencyPenalty를 참조하세요.
재생 중 페널티
양수 값은 생성된 텍스트에 이미 표시된 토큰에 페널티를 적용하여 다양한 콘텐츠가 생성될 가능성을 높입니다. 최솟값은 -2.0입니다. 최댓값은 2.0 미만입니다.
자세한 내용은 presencePenalty를 참조하세요.
고급 매개변수
이러한 매개변수를 사용하여 응답에서 토큰에 관한 추가 정보를 반환하거나 응답의 가변성을 제어합니다.
출력 토큰의 로그 확률
각 생성 단계에서 상위 후보 토큰의 로그 확률을 반환합니다. 모델에서 선택한 토큰은 각 단계에서 상위 후보 토큰과 다를 수 있습니다. 1~5 범위의 정수 값을 사용하여 반환할 후보 수를 지정합니다. 자세한 내용은 logprobs를 참고하세요. 이 기능을 사용하려면 responseLogprobs 매개변수를 true로 설정해야 합니다.
responseLogprobs 매개변수는 각 단계에서 모델이 선택한 토큰의 로그 확률을 반환합니다.
시드
시드가 특정 값으로 고정되면 모델은 반복된 요청에 같은 응답을 제공하기 위해 최선을 다합니다. 결정론적 출력은 보장되지 않습니다.
또한 온도와 같은 모델 또는 매개변수 설정을 변경하면 같은 시드 값을 사용하더라도 응답이 달라질 수 있습니다. 기본적으로 무작위 시드 값이 사용됩니다.
자세한 내용은 seed를 참조하세요.