画像のチューニング

このページでは、教師あり学習を使用して画像データで Gemini をファインチューニングするための前提条件と詳細な手順について説明します。

使用例

ファインチューニングにより、事前トレーニング済み画像モデルを特定のタスクに適応させ、その性能を大幅に向上させることができます。以下に、画像の使用例をいくつか示します。

  • 商品カタログの強化: 画像から主要な属性（例: ブランド、色、サイズ）を抽出し、商品カタログを自動的に構築して充実させます。
  • 画像のモデレーション: 画像内の不適切または有害なコンテンツを検出し、フラグを立てるためにモデルをファインチューニングして、より安全なオンライン エクスペリエンスを実現します。
  • 外観検査: 画像内の特定の物体や欠陥を識別するようにモデルをトレーニングし、品質管理や検査プロセスを自動化します。
  • 画像分類: 医用画像や衛星画像の分析など、特定のドメインに対する画像分類の精度を向上させます。
  • 画像ベースのレコメンデーション: 画像を分析して、パーソナライズされたレコメンデーション（類似商品や補完品の提案など）を提供します。
  • テーブル コンテンツの抽出: 画像内のテーブルからデータを抽出し、スプレッドシートやデータベースなどの構造化された形式に変換します。

制限事項

  • 例あたりの最大画像数: 16
  • 画像ファイルの最大サイズ: 20 MB

画像サンプルの要件の詳細については、画像理解のページをご覧ください。

データセットのフォーマット

画像データセットの例を次に示します。

汎用形式の例については、Gemini 1.5 Pro と Gemini 1.5 Flash のデータセットの例をご覧ください。

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-1_5/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

サンプル データセット

サンプル データセットを使用して、gemini-1.5-pro モデルまたは gemini-1.5-flash モデルのチューニング方法を学習できます。

これらのデータセットを使用するには、テキストモデルの教師ありファインチューニング ジョブの作成時に、該当するパラメータで URI を指定します。

次に例を示します。

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

次のステップ