如果您有明确定义的任务并且有可用的已加标签数据,则监督式微调是个不错的选择。对于特定领域的应用,如果其语言或内容与最初训练大型模型的数据存在显著差异,这种方法尤其有效。
监督式调优使用带标签的数据集调整模型行为。此过程会调整模型的权重,以最大限度地减少其预测结果与实际标签之间的差异。它可以提高以下类型任务的模型性能:
- 分类
- 情感分析
- 实体提取
- 非复杂内容总结
- 特定领域的查询编写。
支持的模型
以下 Gemini 文本模型支持监督式调优:
gemini-1.0-pro-002
。
对文本模型使用监督式调整的用例
如果预期输出或任务可以在提示中清晰且简明地定义,并且提示始终如一地生成预期输出,则基础文本模型效果良好。如果您希望模型学习偏离常规语言模式的特定领域或特定内容,则不妨考虑调优该模型。例如,您可以使用模型调优来训练模型学习以下内容:
- 用于生成输出的特定结构或格式。
- 特定行为,例如何时提供简洁或详细输出。
- 针对特定输入类型的特定自定义输出。
以下示例是难以仅根据提示说明捕获的使用场景:
分类:预期响应是特定的字词或短语。
:
调优模型有助于防止模型生成详细的响应。
摘要:摘要遵循特定格式。 例如,您可能需要移除聊天摘要中的个人身份信息 (PII)。
:
这种将讲话人姓名替换为
#Person1
和#Person2
的格式很难描述,基础模型可能无法自然地产生此类响应。提取式问答:问题与上下文有关,回答是上下文的子字符串。
:
响应“Last Glacial Maximum”是上下文中的特定词组。
聊天:您需要自定义模型响应以遵循人设、角色或人物。
您还可以在以下情况下调整模型:
- 提示无法产生一致性足够好的预期结果。
- 任务过于复杂,无法在提示中定义。例如,您希望模型针对难以在提示中清晰表达的行为进行行为克隆。
- 您对任务有难以表述的理解,可以抽丝剥茧层层引出,但很难在提示中规范表达。
- 您希望通过移除少量样本示例来缩短语境长度。
后续步骤
- 准备监督式调优数据集。