画像のチューニング

このページでは、教師あり学習を使用して画像データで Gemini をファインチューニングするための前提条件と詳細な手順について説明します。

ユースケース

ファインチューニングを使用すると、事前トレーニング済み画像モデルを特殊なタスクに合わせて調整し、パフォーマンスを大幅に向上させることができます。画像のユースケースを次に示します。

  • 商品カタログの拡充: 画像から主要な属性（ブランド、色、サイズなど）を抽出し、商品カタログを自動的に構築して拡充します。
  • 画像のモデレーション: モデルをファインチューニングして、画像内の不適切または有害なコンテンツを検出して報告し、より安全なオンライン エクスペリエンスを実現します。
  • 外観検査: 画像内の特定のオブジェクトや欠陥を特定するようにモデルをトレーニングし、品質管理や検査プロセスを自動化します。
  • 画像分類: 医用画像や衛星画像の分析など、特定のドメインでの画像分類の精度を向上させます。
  • 画像ベースのレコメンデーション: 画像を分析して、類似商品や補完的な商品の提案など、パーソナライズされたレコメンデーションを提供します。
  • 表コンテンツの抽出: 画像内の表からデータを抽出し、スプレッドシートやデータベースなどの構造化形式に変換します。

制限事項

  • 例あたりの最大画像数: 16
  • 画像ファイルの最大サイズ: 20 MB

画像サンプルの要件の詳細については、画像認識のページをご覧ください。

データセットのフォーマット

画像データセットの例を次に示します。

汎用形式の例については、Gemini 1.5 Pro と Gemini 1.5 Flash のデータセットの例をご覧ください。

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-1_5/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

サンプル データセット

サンプル データセットを使用して、gemini-1.5-pro モデルまたは gemini-1.5-flash モデルのチューニング方法を学習できます。

これらのデータセットを使用するには、テキストモデルの教師ありファインチューニング ジョブを作成するときに、該当するパラメータで URI を指定します。

次に例を示します。

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

次のステップ