Réglage des images

Cette page fournit les conditions préalables et des instructions détaillées pour affiner les modèles Gemini sur des données d'images, à l'aide de l'apprentissage supervisé.

Cas d'utilisation

L'affinage vous permet d'adapter des modèles d'images pré-entraînés à des tâches spécialisées, ce qui améliore considérablement leurs performances. Voici quelques exemples d'utilisation des images :

  • Amélioration du catalogue de produits : extrayez des attributs clés à partir d'images (par exemple, la marque, la couleur et la taille) pour créer et enrichir automatiquement votre catalogue de produits.
  • Modération des images : ajustez un modèle pour détecter et signaler les contenus inappropriés ou nuisibles dans les images, afin de garantir une expérience en ligne plus sûre.
  • Inspection visuelle : entraînez un modèle pour identifier des objets ou des défauts spécifiques dans des images, en automatisant les processus de contrôle qualité ou d'inspection.
  • Classification d'images : améliorez la précision de la classification d'images pour des domaines spécifiques, tels que l'imagerie médicale ou l'analyse d'images satellites.
  • Recommandations basées sur les images : analysez les images pour fournir des recommandations personnalisées, telles que des produits similaires ou des articles complémentaires.
  • Extraction du contenu des tableaux : extrayez les données des tableaux dans les images et convertissez-les en formats structurés tels que des feuilles de calcul ou des bases de données.

Limites

  • Nombre maximal d'images par exemple : 16
  • Taille maximale des fichiers image : 20 Mo

Pour en savoir plus sur les exigences concernant les échantillons d'images, consultez la page Compréhension des images.

Format de l'ensemble de données

Voici un exemple d'ensemble de données d'images.

Pour voir l'exemple de format générique, consultez Exemple d'ensemble de données pour Gemini 1.5 Pro et Gemini 1.5 Flash.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-1_5/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

Exemples d'ensembles de données

Vous pouvez utiliser un exemple d'ensemble de données pour apprendre à régler un modèle gemini-1.5-pro ou gemini-1.5-flash.

Pour utiliser ces ensembles de données, spécifiez les URI dans les paramètres applicables lors de la création d'un job de réglage supervisé d'un modèle de texte.

Exemple :

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

Étape suivante