模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集,其中包含一组特定下游任务的示例。
本页面简要介绍了 Gemini 的模型调优,介绍了 Gemini 可用的调优选项,并可帮助您确定应在何时使用每个调优选项。
调优模型的好处
模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势:
- 为您的特定任务提高质量。
- 提高了模型稳健性。
- 提示较短,因此推理延迟时间和费用更低。
调优与提示设计比较
与提示设计相比,调优具有以下优势。
- 允许对模型进行深度自定义,并改善特定任务的性能。
- 提供更一致、更可靠的结果。
- 能够一次处理更多示例。
参数高效微调
参数高效调优(也称为适配器调优)可让您将大型模型高效适应您的特定任务或领域。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。
如需了解 Vertex AI 如何支持适配器调优和传送,请参阅《大型基础模型自适应》白皮书了解详情。
参数高效调优与完全微调对比
参数高效调优和完全微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面都有自己的优势和影响。
完全微调会更新模型的所有参数,使其适用于调整模型以适应高度复杂的任务,有可能提高质量。但是,完全微调需要更多计算资源来进行调优和传送,从而导致总体费用更高。
与完全微调相比,参数高效调优更省资源且更经济实惠。它使用大幅减少的计算资源进行训练。 它能够使用较小的数据集更快地调整模型。参数高效调优的灵活性为多任务学习提供了一种解决方案,无需进行大量重新训练。
Vertex AI 支持在不同场景中对不同模型进行参数高效调优和完全微调。
调优 Gemini 模型
以下 Gemini 模型支持使用参数高效调优进行监督式调优:
gemini-1.0-pro-002
如果您有明确定义的任务并且有可用的已加标签数据,则监督式微调是个不错的选择。对于特定领域的应用,如果其语言或内容与最初训练大型模型的数据存在显著差异,这尤其有效。
监督式调优使用带标签的数据集调整模型行为。此过程会调整模型的权重,以最大限度地减少其预测与实际标签之间的差异。它可以提高模型完成以下类型的任务的性能:
- 分类
- 情感分析
- 实体提取
- 不复杂的内容摘要
- 编写特定领域的查询。
调优 Gemini 模型的配额
系统对并发调优作业的数量实施配额。每个项目都配有运行至少一个调优作业的默认配额。这是一个全球配额,在所有可用区域中共享。如果要同时运行更多作业,则需要为 Global concurrent tuning jobs
申请更多配额。