Ottimizzazione delle immagini

Questa pagina fornisce prerequisiti e istruzioni dettagliate per l'ottimizzazione Gemini sui dati delle immagini utilizzando l'apprendimento supervisionato.

Casi d'uso

L'ottimizzazione consente di adattare i modelli di immagine preaddestrati per attività specializzate, migliorando notevolmente le prestazioni. Ecco alcuni casi d'uso delle immagini:

  • Miglioramento del catalogo dei prodotti: estrai gli attributi chiave dalle immagini (ad es. brand, colore, taglia) per creare e arricchire automaticamente il catalogo dei prodotti.
  • Moderazione delle immagini: perfeziona un modello per rilevare e segnalare inappropriati o contenuti dannosi nelle immagini, garantendo un'esperienza online più sicura.
  • Ispezione visiva: addestra un modello per identificare oggetti o difetti specifici all'interno delle immagini, automatizzando i processi di controllo qualità o ispezione.
  • Classificazione delle immagini: migliora la precisione della classificazione delle immagini per come l'imaging medico o l'analisi delle immagini satellitari.
  • Consigli basati sulle immagini: analizza le immagini per fornire suggerimenti personalizzati consigli, ad esempio suggerendo prodotti simili o articoli complementari.
  • Estrazione dei contenuti delle tabelle: estrae i dati dalle tabelle all'interno delle immagini e li converte in formati strutturati come fogli di lavoro o database.

Limitazioni

  • Numero massimo di immagini per esempio: 16
  • Dimensioni massime del file immagine: 20 MB

Per scoprire di più sui requisiti dei campioni di immagini, consulta la pagina Comprensione delle immagini.

Formato del set di dati

Di seguito è riportato un esempio di set di dati di immagini.

Per vedere l'esempio di formato generico, vedi Esempio di set di dati per Gemini 1.5 Pro e Gemini 1.5 Flash.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-1_5/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

Set di dati di esempio

Puoi utilizzare un set di dati di esempio per imparare a ottimizzare un modello gemini-1.5-pro o gemini-1.5-flash.

Per utilizzare questi set di dati, specifica gli URI nei parametri applicabili quando creando un job di ottimizzazione supervisionato di modello di testo.

Ad esempio:

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

Passaggi successivi