调优简介

模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集,其中包含一组特定下游任务的示例。

本页面简要介绍了 Gemini 的模型调优,介绍了 Gemini 可用的调优选项,并可帮助您确定应在何时使用每个调优选项。

调优模型的好处

模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势:

  • 针对您的特定任务提供更高的质量。
  • 提高模型稳健性。
  • 提示较短,因此推理延迟时间和费用更低。

调优与提示设计比较

与提示设计相比,调优具有以下优势。

  • 允许对模型进行深度自定义,从而在特定任务上获得更好的性能。
  • 提供更一致、更可靠的结果。
  • 能够一次处理更多示例。

调优方法

参数高效调优和完全微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面有各自的优势和影响。

参数高效微调

参数高效调优(也称为适配器调优)可让大型模型高效地适应特定任务或领域的需求。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。

如需了解 Vertex AI 如何支持适配器调优和传送,请参阅《大型基础模型自适应》白皮书了解详情。

全面微调

全面微调会更新模型的所有参数,它适合用来调整模型以适应高度复杂的任务,同时尽可能提高任务完成质量。但是,全面微调需要更多计算资源来进行调优和传送,从而导致总体费用更高。

参数高效调优与完全微调对比

与全面微调相比,参数高效调优更省资源且更经济实惠。它训练模型所需的计算资源要少得多。它能够使用较小的数据集更快地调整模型。参数高效调优的灵活性为多任务学习提供了一种解决方案,无需进行大量重新训练。

支持的调优方法

Vertex AI 支持以下基础模型调优方法。

监督式微调

监督式微调通过让模型学习新技能来提高模型的性能。此方法使用包含数百个有标签样本的数据来训练模型,让其模拟所需的行为或任务。每个有标签样本均展示您希望模型在推理期间输出的内容。

运行监督式微调作业时,模型会学习其他参数,以便对所需信息进行编码以执行所需任务或学习预期行为。在推理期间会用到这些参数。调优作业的输出是一个新模型,它将新学习的参数与原始模型相结合。

如果模型的输出不复杂且相对容易定义,则对文本模型进行监督式微调是一个不错的选择。建议将监督式微调用于分类、情感分析、实体提取、非复杂内容的总结以及编写特定领域的查询。对于代码模型,只能选择监督式调优。

支持监督式微调的模型

Gemini 和 PaLM 模型都支持监督式微调。如需详细了解如何将监督式微调与各个模型结合使用,请参阅以下页面。

基于人类反馈的强化学习 (RLHF) 调优

基于人类反馈的强化学习 (RLHF) 使用人类指定的偏好来优化语言模型。通过使用人工反馈来调优模型,您可以使模型更符合人类偏好,并在用户对任务具有复杂的直观感受时减少非预期结果。例如,RLHF 可以帮助完成不太明确的任务,比如写一首关于海洋的诗,方法是向用户提供两首关于海洋的诗,让用户选择自己喜欢的一首。

如果模型的输出很复杂并且无法通过监督式调优轻松实现,则 RLHF 调优便是不错的选择。建议将 RLHF 调优用于问答、复杂内容摘要以及内容创建(例如改写)。代码模型不支持 RLHF 调优。

支持 RLHF 调优的模型

PaLM 模型支持 RLHF 调优。如需了解详情,请参阅使用 RLHF 调优来调优 PaLM 文本模型

模型提炼

如果您想缩小大型模型,而不降低其执行所需任务的能力,则模型提炼是一种不错的选择。提炼过程会创建一个经过训练且较小的新模型,该模型的费用更低,延迟时间比原始模型更短。

支持模型提炼的模型

PaLM 模型支持模型提炼。如需了解详情,请参阅为 PaLM 创建已提炼文本模型

如需了解详情,请参阅 Vertex AI 价格可用的 Gemini 稳定模型版本

后续步骤