Ottimizzazione delle immagini

Questa pagina fornisce i prerequisiti e le istruzioni dettagliate per perfezionare Gemini sui dati delle immagini utilizzando l'apprendimento supervisionato.

Casi d'uso

La messa a punto fine ti consente di adattare i modelli di base di Gemini per attività specializzate. Ecco alcuni casi d'uso delle immagini:

  • Miglioramento del catalogo dei prodotti: estrae gli attributi chiave dalle immagini (ad es. marchio, colore, taglia) per creare ed arricchire automaticamente il tuo catalogo dei prodotti.
  • Moderazione delle immagini: perfeziona un modello per rilevare e segnalare contenuti inappropriati o dannosi nelle immagini, garantendo un'esperienza online più sicura.
  • Ispezione visiva: addestra un modello per identificare oggetti o difetti specifici all'interno delle immagini, automatizzando i processi di controllo qualità o ispezione.
  • Classificazione delle immagini: migliora l'accuratezza della classificazione delle immagini per ambiti specifici, come l'imaging medico o l'analisi di immagini satellitari.
  • Consigli basati sulle immagini: analizza le immagini per fornire consigli personalizzati, ad esempio su prodotti simili o articoli complementari.
  • Estrazione dei contenuti delle tabelle: estrae i dati dalle tabelle all'interno delle immagini e li converte in formati strutturati come fogli di lavoro o database.

Limitazioni

  • Numero massimo di immagini per esempio: 30
  • Dimensioni massime del file immagine: 20 MB

Per scoprire di più sui requisiti dei campioni di immagini, consulta la pagina Comprensione delle immagini.

Formato del set di dati

fileUri per il set di dati può essere l'URI di un file in un bucket Cloud Storage o un URL HTTP o HTTPS disponibile pubblicamente.

Per visualizzare l'esempio di formato generico, consulta Esempio di set di dati per Gemini.

Di seguito è riportato un esempio di set di dati di immagini.

{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "fileData": {
            "mimeType": "image/jpeg",
            "fileUri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/image/longcap100/100.jpeg"
            }
        }, 
        {
          "text": "Describe this image in detail that captures the essence of it."
        }
      ]
    }, 
    {
      "role": "model",
      "parts": [
        {
          "text": "A man stands on a road, wearing a blue denim jacket, tan pants, and white sneakers. He has his hands in his pockets and is wearing a white t-shirt under his jacket. The man's pants are cuffed, and his shoes are white. The road is dark grey, and the leaves are green. The man is standing in the shade, and the light is shining on the ground."
        }
      ]
    }
  ]
}

Set di dati di esempio

Puoi utilizzare i seguenti set di dati di esempio per scoprire come ottimizzare un modello Gemini. Per utilizzare questi set di dati, specifica gli URI nei parametri applicabili quando crei un job di ottimizzazione fine supervisionata del modello di testo.

Per utilizzare il set di dati di ottimizzazione di esempio, specifica la relativa posizione come segue:

"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/text/sft_train_data.jsonl",

Per utilizzare il set di dati di convalida di esempio, specifica la relativa posizione come segue:

"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/gemini-2_0/text/sft_validation_data.jsonl",

Passaggi successivi