使用参数值进行实验

您向模型发送的每次调用都包含控制模型如何生成回答的参数值。对于不同的参数值，模型会生成不同的结果。因此请尝试不同的参数值，以获得任务的最佳值。不同模型的可用参数可能有所不同。最常见的参数如下：

  • 输出词元数上限
  • 温度
  • Top-K
  • Top-P

输出词元数上限

回答中可生成的词元数量上限。词元约为 4 个字符。100 个词元对应大约 60-80 个单词。

指定较低的值可获得较短的回答，指定较高的值可获得可能较长的回答。

温度

温度 (temperature) 在生成回复期间用于采样，在应用 topP 和 topK 时会生成回复。温度可以控制词元选择的随机性。 较低的温度有利于需要更少开放性或创造性回复的提示，而较高的温度可以带来更具多样性或创造性的结果。温度为 0 表示始终选择概率最高的词元。在这种情况下，给定提示的回复大多是确定的，但可能仍然有少量变化。

如果模型返回的回答过于笼统、过于简短，或者模型给出后备回答，请尝试提高温度。

每个模型都有自己的温度范围和默认值：

  • gemini-1.5-flash 的范围：0.0 - 2.0（默认值：1.0）
  • gemini-1.5-pro 的范围：0.0 - 2.0（默认值：1.0）
  • gemini-1.0-pro-vision 的范围：0.0 - 1.0（默认值：0.4）
  • gemini-1.0-pro-002 的范围：0.0 - 2.0（默认值：1.0）
  • gemini-1.0-pro-001 的范围：0.0 - 1.0（默认值：0.9）
gemini-1.5-pro 和 gemini-1.0-pro-002 的扩展温度范围使您可以显著提高超出默认值的随机性。

Top-K

Top-K 可更改模型选择输出词元的方式。如果 top-K 设为 1，表示所选词元是模型词汇表的所有词元中概率最高的词元（也称为贪心解码）。如果 top-K 设为 3，则表示系统将从 3 个概率最高的词元（通过温度确定）中选择下一个词元。

在每个词元选择步骤中，系统都会对概率最高的 top-K 词元进行采样。然后，系统会根据 top-P 进一步过滤词元，并使用温度采样选择最终的词元。

指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。

Top-P

Top-P 可更改模型选择输出词元的方式。系统会按照概率从最高（见 top-K）到最低的顺序选择词元，直到所选词元的概率总和等于 top-P 的值。例如，如果词元 A、B 和 C 的概率分别为 0.3、0.2 和 0.1，并且 top-P 值为 0.5，则模型将选择 A 或 B 作为下一个词元（通过温度确定），并会排除 C，将其作为候选词元。

指定较低的值可获得随机程度较低的回答，指定较高的值可获得随机程度较高的回答。

后续步骤