Gemini 的模型调优概览

模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集,其中包含一组特定下游任务的示例。

本页面简要介绍了 Gemini 的模型调优,介绍了 Gemini 可用的调优选项,并可帮助您确定应在何时使用每个调优选项。

调优模型的好处

模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势:

  • 为您的特定任务提高质量。
  • 提高了模型稳健性。
  • 提示较短,因此推理延迟时间和费用更低。

调优与提示设计比较

与提示设计相比,调优具有以下优势。

  • 允许对模型进行深度自定义,并改善特定任务的性能。
  • 提供更一致、更可靠的结果。
  • 能够一次处理更多示例。

参数高效微调

参数高效调优(也称为适配器调优)可让您将大型模型高效适应您的特定任务或领域。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。

如需了解 Vertex AI 如何支持适配器调优和传送,请参阅《大型基础模型自适应》白皮书了解详情。

参数高效调优与完全微调对比

参数高效调优和完全微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面都有自己的优势和影响。

完全微调会更新模型的所有参数,使其适用于调整模型以适应高度复杂的任务,有可能提高质量。但是,完全微调需要更多计算资源来进行调优和传送,从而导致总体费用更高。

与完全微调相比,参数高效调优更省资源且更经济实惠。它使用大幅减少的计算资源进行训练。 它能够使用较小的数据集更快地调整模型。参数高效调优的灵活性为多任务学习提供了一种解决方案,无需进行大量重新训练。

Vertex AI 支持在不同场景中对不同模型进行参数高效调优和完全微调。

调优 Gemini 模型

以下 Gemini 模型支持使用参数高效调优进行监督式调优:

  • gemini-1.0-pro-002

如果您有明确定义的任务并且有可用的已加标签数据,则监督式微调是个不错的选择。对于特定领域的应用,如果其语言或内容与最初训练大型模型的数据存在显著差异,这尤其有效。

监督式调优使用带标签的数据集调整模型行为。此过程会调整模型的权重,以最大限度地减少其预测与实际标签之间的差异。它可以提高模型完成以下类型的任务的性能:

  • 分类
  • 情感分析
  • 实体提取
  • 不复杂的内容摘要
  • 编写特定领域的查询。

调优 Gemini 模型的配额

系统对并发调优作业的数量实施配额。每个项目都配有运行至少一个调优作业的默认配额。这是一个全球配额,在所有可用区域中共享。如果要同时运行更多作业,则需要为 Global concurrent tuning jobs 申请更多配额