图片调优

本页面提供了使用监督学习对 Gemini 进行图片数据微调的先决条件和详细说明。

使用场景

通过微调，您可以将预训练的图片模型调整为适合专门任务的模型，从而显著提高其性能。以下是一些图片用例：

  • 商品清单增强功能：从图片中提取关键属性（例如品牌、颜色、尺寸），以自动构建和丰富您的商品清单。
  • 图片审核：微调模型以检测图片中的不当或有害内容并对其进行标记，确保更安全的上网体验。
  • 视觉检测：训练模型以识别图片中的特定对象或缺陷，自动执行质量控制或检查流程。
  • 图片分类：提高特定领域（例如医学成像或卫星图像分析）的图片分类准确率。
  • 基于图片的推荐：分析图片以提供个性化推荐，例如建议类似产品或互补商品。
  • 表格内容提取：从图片中的表格中提取数据，并将其转换为结构化格式，例如电子表格或数据库。

限制

  • 每个示例的图片数量上限：16
  • 图片文件大小上限：20MB

如需详细了解图片示例要求，请参阅图片理解页面。

数据集格式

以下是图片数据集示例。

如需查看通用格式示例，请参阅适用于 Gemini 1.5 Pro 和 Gemini 1.5 Flash 的数据集示例。

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-1_5/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

示例数据集

您可以使用示例数据集来了解如何对 gemini-1.5-pro 或 gemini-1.5-flash 模型进行调优。

如需使用这些数据集，请在创建文本模型监督式微调作业时，在适用的参数中指定相应的 URI。

例如：

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

后续步骤