模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集，其中包含一组特定下游任务的示例。
本页面简要介绍了 Gemini 的模型调优，介绍了 Gemini 可用的调优选项，并可帮助您确定应在何时使用每个调优选项。
调优模型的好处
模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势：
- 针对您的特定任务提供更高的质量。
- 提高模型稳健性。
- 提示较短，因此推理延迟时间和费用更低。
调优与提示设计比较
与提示设计相比，调优具有以下优势。
- 允许对模型进行深度自定义，从而在特定任务上获得更好的性能。
- 提供更一致、更可靠的结果。
- 能够一次处理更多示例。
调优方法
参数高效调优和完全微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面有各自的优势和影响。
参数高效微调
参数高效调优（也称为适配器调优）可让大型模型高效地适应特定任务或领域的需求。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。
如需了解 Vertex AI 如何支持适配器调优和传送，请参阅《大型基础模型自适应》白皮书了解详情。
全面微调
全面微调会更新模型的所有参数，它适合用来调整模型以适应高度复杂的任务，同时尽可能提高任务完成质量。但是，全面微调需要更多计算资源来进行调优和传送，从而导致总体费用更高。
参数高效调优与完全微调对比
与全面微调相比，参数高效调优更省资源且更经济实惠。它训练模型所需的计算资源要少得多。它能够使用较小的数据集更快地调整模型。参数高效调优的灵活性为多任务学习提供了一种解决方案，无需进行大量重新训练。
支持的调优方法
Vertex AI 支持以下基础模型调优方法。
监督式微调
监督式微调通过让模型学习新技能来提高模型的性能。此方法使用包含数百个有标签样本的数据来训练模型，让其模拟所需的行为或任务。每个有标签样本均展示您希望模型在推理期间输出的内容。
运行监督式微调作业时，模型会学习其他参数，以便对所需信息进行编码以执行所需任务或学习预期行为。在推理期间会用到这些参数。调优作业的输出是一个新模型，它将新学习的参数与原始模型相结合。
如果模型的输出不复杂且相对容易定义，则对文本模型进行监督式微调是一个不错的选择。建议将监督式微调用于分类、情感分析、实体提取、非复杂内容的总结以及编写特定领域的查询。对于代码模型，只能选择监督式调优。
支持监督式微调的模型
Gemini 和 PaLM 模型都支持监督式微调。如需详细了解如何将监督式微调与各个模型结合使用，请参阅以下页面。
基于人类反馈的强化学习 (RLHF) 调优
基于人类反馈的强化学习 (RLHF) 使用人类指定的偏好来优化语言模型。通过使用人工反馈来调优模型，您可以使模型更符合人类偏好，并在用户对任务具有复杂的直观感受时减少非预期结果。例如，RLHF 可以帮助完成不太明确的任务，比如写一首关于海洋的诗，方法是向用户提供两首关于海洋的诗，让用户选择自己喜欢的一首。
如果模型的输出很复杂并且无法通过监督式调优轻松实现，则 RLHF 调优便是不错的选择。建议将 RLHF 调优用于问答、复杂内容摘要以及内容创建（例如改写）。代码模型不支持 RLHF 调优。
支持 RLHF 调优的模型
PaLM 模型支持 RLHF 调优。如需了解详情，请参阅使用 RLHF 调优来调优 PaLM 文本模型。
模型提炼
如果您想缩小大型模型，而不降低其执行所需任务的能力，则模型提炼是一种不错的选择。提炼过程会创建一个经过训练且较小的新模型，该模型的费用更低，延迟时间比原始模型更短。
支持模型提炼的模型
PaLM 模型支持模型提炼。如需了解详情，请参阅为 PaLM 创建已提炼文本模型。
如需了解详情，请参阅 Vertex AI 价格和可用的 Gemini 稳定模型版本。