L'ottimizzazione del modello è un processo cruciale per adattare Gemini al fine di eseguire attività specifiche con maggiore precisione e accuratezza. L'ottimizzazione fornisce al modello un set di dati di addestramento che contiene un insieme di esempi di attività downstream specifiche.
Questa pagina fornisce una panoramica dell'ottimizzazione del modello per Gemini, descrive le opzioni di ottimizzazione disponibili per Gemini e ti aiuta a determinare quando utilizzare ogni opzione di ottimizzazione.
Vantaggi dell'ottimizzazione del modello
L'ottimizzazione del modello è un modo efficace per personalizzare i modelli di grandi dimensioni in base alle tue attività. È un passaggio fondamentale per migliorare la qualità e l'efficienza del modello. L'ottimizzazione del modello offre i seguenti vantaggi:
- Qualità superiore per attività specifiche.
- Maggiore robustezza del modello.
- Riduzione della latenza e dei costi di inferenza grazie a prompt più brevi.
Ottimizzazione rispetto alla progettazione dei prompt
L'ottimizzazione offre i seguenti vantaggi rispetto alla progettazione dei prompt.
- Consente una profonda personalizzazione del modello e migliora le prestazioni su attività specifiche.
- Offre risultati più coerenti e affidabili.
- In grado di gestire più esempi contemporaneamente.
Approcci all'ottimizzazione
L'ottimizzazione efficiente dei parametri e l'ottimizzazione completa sono due approcci alla personalizzazione di modelli di grandi dimensioni. Entrambi i metodi presentano vantaggi e implicazioni in termini di qualità del modello ed efficienza delle risorse.
L'ottimizzazione efficiente dei parametri
L'ottimizzazione efficiente dei parametri, chiamata anche ottimizzazione degli adattatori, consente di adattare in modo efficiente i modelli di grandi dimensioni alle tue attività o al tuo dominio specifici. L'ottimizzazione efficiente dei parametri aggiorna un sottoinsieme relativamente piccolo dei parametri del modello durante il processo di ottimizzazione.
Per capire in che modo Vertex AI supporta l'ottimizzazione e la pubblicazione degli adattatori, puoi trovare maggiori dettagli nel seguente white paper, Adaptation of Large Foundation Models.
Ottimizzazione completa
L'ottimizzazione completa aggiorna tutti i parametri del modello, rendendolo adatto all'adattamento del modello ad attività altamente complesse, con la possibilità di ottenere una qualità superiore. Tuttavia, l'ottimizzazione completa richiede risorse di calcolo più elevate sia per l'ottimizzazione che per la distribuzione, con conseguente aumento dei costi complessivi.
L'ottimizzazione efficiente dei parametri rispetto all'ottimizzazione completa
L'ottimizzazione efficiente dei parametri è più efficiente in termini di risorse ed economicamente conveniente rispetto all'ottimizzazione completa. Utilizza risorse di calcolo significativamente inferiori per l'addestramento. È in grado di adattare il modello più rapidamente con un set di dati più piccolo. La flessibilità dell'ottimizzazione efficiente dei parametri offre una soluzione per l'apprendimento multitasking senza la necessità di riaddestramento esteso.
Metodi di ottimizzazione supportati
Vertex AI supporta i seguenti metodi per ottimizzare i modelli di base.
Ottimizzazione supervisionata
L'ottimizzazione supervisionata migliora le prestazioni del modello insegnando una nuova competenza. I dati che contengono centinaia di esempi etichettati vengono utilizzati per insegnare al modello a imitare un comportamento o un'attività desiderati. Ogni esempio etichettato mostra l'output del modello durante l'inferenza.
Quando esegui un job di ottimizzazione supervisionato, il modello apprende parametri aggiuntivi che lo aiutano a codificare le informazioni necessarie per eseguire l'attività desiderata o apprendere il comportamento desiderato. Questi parametri vengono utilizzati durante l'inferenza. L'output del job di ottimizzazione è un nuovo modello che combina i parametri appena appresi con il modello originale.
L'ottimizzazione supervisionata di un modello di testo è una buona opzione quando l'output del modello non è complesso ed è relativamente facile da definire. L'ottimizzazione supervisionata è consigliata per classificazione, analisi del sentiment, estrazione delle entità, riepilogo di contenuti non complessi e scrittura di query specifiche del dominio. Per i modelli di codice, l'ottimizzazione supervisionata è l'unica opzione.
Modelli che supportano il perfezionamento supervisionato
Entrambi i modelli Gemini e PaLM supportano l'ottimizzazione supervisionata. Per ulteriori informazioni sull'utilizzo dell'ottimizzazione supervisionata con ogni rispettivo modello, consulta le pagine seguenti.
Apprendimento per rinforzo con feedback umano (RLHF)
L'apprendimento per rinforzo con feedback umano (RLHF) utilizza le preferenze specificate dagli esseri umani per ottimizzare un modello linguistico. Utilizzando il feedback umano per ottimizzare i modelli, puoi allineare meglio i modelli alle preferenze umane e ridurre i risultati indesiderati in scenari in cui le persone hanno intuizioni complesse su un'attività. Ad esempio, RLHF può aiutare con un'attività ambigua, ad esempio come scrivere una poesia sull'oceano, proponendo a un essere umano due poesie sull'oceano e lasciando che sia la persona a scegliere quella che preferisce.
L'ottimizzazione RLHF è una buona opzione quando l'output del modello è complesso e non è facilmente raggiungibile con l'ottimizzazione supervisionata. L'ottimizzazione RLHF è consigliata per la risposta alle domande, il riepilogo di contenuti complessi e la creazione di contenuti, ad esempio una riscrittura. L'ottimizzazione RLHF non è supportata dai modelli di codice.
Modelli che supportano l'ottimizzazione RLHF
I modelli PaLM supportano l'ottimizzazione RLHF. Per ulteriori informazioni, vedi Ottimizzazione dei modelli di testo PaLM mediante l'ottimizzazione RLHF.
Distillazione del modello
La distillazione del modello è una buona opzione se hai un modello di grandi dimensioni che vuoi ridurre senza ridurne la capacità di fare ciò che vuoi. Il processo di distillazione di un modello crea un nuovo modello addestrato più piccolo che costa meno di utilizzo e ha una latenza inferiore rispetto al modello originale.
Modelli che supportano la distillazione
I modelli PaLM supportano la distillazione dei modelli. Per maggiori informazioni, vedi Creare modelli di testo distillato per PaLM.
Passaggi successivi
- Panoramica dell'ottimizzazione del modello per Gemini
- Informazioni sull'ottimizzazione supervisionata
- Ottimizza i modelli Gemini utilizzando l'ottimizzazione supervisionata