Gemini 模型的监督式微调简介

如果您有明确定义的任务并且有可用的已加标签数据，则监督式微调是个不错的选择。对于特定领域的应用，如果其语言或内容与最初训练大型模型的数据存在显著差异，这种方法尤其有效。 您可以对文本、图片、音频和文档数据类型进行调优。

监督式微调使用带标签的数据集调整模型行为。此过程会调整模型的权重，以最大限度地减少其预测结果与实际标签之间的差异。例如，它可以提高以下类型任务的模型性能：

• 分类
• 摘要
• 抽样问答
• 聊天

如需了解详情，请参阅何时应对 Gemini 使用监督式微调。

支持的模型

以下 Gemini 模型支持监督式调优：

• gemini-1.5-pro-002（处于正式版阶段，支持文本、图片、音频和文档）
• gemini-1.5-flash-002（处于正式版阶段，支持文本、图片、音频和文档）
• gemini-1.0-pro-002（处于预览版阶段，仅支持文本调优）

限制

• 输入和输出词元数上限：
  • 训练示例：32,000
  • 服务：32,000
• 验证数据集大小：256 个示例
• 训练数据集文件大小：对于 JSONL 不超过 1 GB
• 适配器大小：
  • Gemini 1.5 Pro：支持的值为 1 和 4（默认值为 4）。使用更高的值（例如 8 或 16）将导致失败。
  • Gemini 1.5 Flash：支持的值为 1、4、8 和 16（默认值为 8）。

使用监督式微调的应用场景

如果预期输出或任务可以在提示中清晰且简明地定义，并且提示始终如一地生成预期输出，则基础模型效果良好。如果您希望模型学习偏离常规模式的特定领域或特定内容，则不妨考虑对该模型进行调优。例如，您可以使用模型调优来训练模型学习以下内容：

• 用于生成输出的特定结构或格式。
• 特定行为，例如何时提供简洁或详细输出。
• 针对特定输入类型的特定自定义输出。

以下示例是难以仅根据提示说明捕获的使用场景：

• 分类：预期响应是特定的字词或短语。

  提示： 将以下文本分类为以下类别之一：[商业、娱乐]。 文本：多元化您的投资组合 响应： 业务

  调优模型有助于防止模型生成详细的响应。

• 摘要：摘要遵循特定格式。 例如，您可能需要移除聊天摘要中的个人身份信息 (PII)。

  提示： 总结： Jessica：听起来很棒！时代广场见！ Alexander：10 点见！ 回答： #Person1 和 #Person2 约定上午 10:00 在时代广场会合。

  这种将讲话人姓名替换为 #Person1 和 #Person2 的格式很难描述，基础模型可能无法自然地产生此类响应。

• 提取式问答：问题与上下文有关，回答是上下文的子字符串。

  提示： 语境：有证据表明，在过去 21,000 年里，通过末次盛冰期 (LGM) 和随后的冰消期，亚马逊雨林植被发生了重大变化。问题：LGM 指什么？ 响应： 末次盛冰期

  响应“Last Glacial Maximum”是上下文中的特定词组。

• 聊天：您需要自定义模型响应以遵循人设、角色或人物。

  提示： 用户：今天天气怎么样？ 回答： 智能助理：作为示例组织的虚拟掌柜，我只能帮您代购和发货。

您还可以在以下情况下调整模型：

• 提示无法产生一致性足够好的预期结果。
• 任务过于复杂，无法在提示中定义。例如，您希望模型针对难以在提示中清晰表达的行为进行行为克隆。
• 您对任务有难以表述的理解，可以抽丝剥茧层层引出，但很难在提示中规范表达。
• 您希望通过移除少量样本示例来缩短语境长度。

配置调优作业区域

用户数据（例如转换后的数据集和经过调优的模型）存储在调优作业区域中。在调优期间，计算可以分流到可用加速器的其他 US 或 EU 区域。该分流对用户来说是透明的。

• 如果您使用的是 Vertex AI SDK，则可以在初始化环节指定区域。例如：

  import vertexai
  vertexai.init(project='myproject', location='us-central1')
  

• 如果您通过使用 tuningJobs.create 方法发送 POST 请求来创建监督式微调作业，则可以使用网址来指定调优作业运行的区域。例如，在下面的网址中，您可以通过将 TUNING_JOB_REGION 的两个实例都替换为运行作业的区域来指定该区域。

   https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs
  

• 如果您使用 Google Cloud 控制台，则可以在模型详细信息页面的区域下拉字段中选择所需区域的名称。您也可以在此页面选择基本模型和经过调优的模型名称。

配额

系统对并发调优作业的数量实施配额。每个项目都配有运行至少一个调优作业的默认配额。这是一个全球配额，所有可用区域和支持的模型共用这一配额。如果要同时运行更多作业，则需要为 Global concurrent tuning jobs 申请更多配额。

价格

适用于 gemini-1.0-pro-002 的监督式微调目前为预览版。在调优处于预览版阶段期间，您无需为模型调优付费。

您可以在此处查看 Gemini 1.5 Flash 和 Gemini 1.5 Pro 的调优价格：Vertex AI 价格。

训练令牌的计算方法为训练数据集中的令牌总数乘以周期数。对于所有模型，进行调优后，调优后模型的推理仍然会产生费用。Gemini 的每个稳定版的推理价格都相同。如需了解详情，请参阅 Vertex AI 价格和可用的 Gemini 稳定模型版本。

后续步骤

• 准备监督式微调数据集。