L'ottimizzazione del modello è un processo fondamentale per adattare Gemini all'esecuzione di attività specifiche con maggiore precisione e precisione. L'ottimizzazione funziona fornendo un modello con un set di dati di addestramento che contiene un insieme di esempi di attività downstream specifiche.
Questa pagina fornisce una panoramica dell'ottimizzazione del modello per Gemini, descrive le opzioni di ottimizzazione disponibili per Gemini e ti aiuta a determinare quando utilizzare ciascuna opzione di ottimizzazione.
Vantaggi dell'ottimizzazione del modello
L'ottimizzazione è un modo efficace per personalizzare modelli di grandi dimensioni per le tue attività. È un passaggio fondamentale per migliorare la qualità e l'efficienza del modello. L'ottimizzazione del modello offre i seguenti vantaggi:
- Qualità superiore per attività specifiche.
- Maggiore robustezza del modello.
- Latenza di inferenza e costi inferiori grazie a prompt più brevi.
Ottimizzazione rispetto alla progettazione dei prompt
L'ottimizzazione offre i seguenti vantaggi rispetto alla progettazione dei prompt.
- Consente una personalizzazione approfondita del modello e migliora le prestazioni per attività specifiche.
- Offre risultati più coerenti e affidabili.
- In grado di gestire più esempi contemporaneamente.
Approcci di ottimizzazione
L'ottimizzazione efficiente dei parametri e l'ottimizzazione completa sono due approcci alla personalizzazione di modelli di grandi dimensioni. Entrambi i metodi presentano vantaggi e implicazioni in termini di qualità del modello ed efficienza delle risorse.
L'ottimizzazione efficiente dei parametri
L'ottimizzazione efficiente dei parametri, chiamata anche ottimizzazione degli adattatori, consente un adattamento efficiente dei modelli di grandi dimensioni alle tue attività o al tuo dominio specifici. L'ottimizzazione efficiente dei parametri aggiorna un sottoinsieme relativamente piccolo dei parametri del modello durante il processo di ottimizzazione.
Per capire in che modo Vertex AI supporta l'ottimizzazione e la pubblicazione degli adattatori, puoi trovare ulteriori dettagli nel seguente white paper, Adaptation of Large Foundation Models.
Messa a punto completa
L'ottimizzazione completa aggiorna tutti i parametri del modello, in modo da adattarlo ad attività altamente complesse con il potenziale di ottenere una qualità superiore. Tuttavia, l'ottimizzazione completa richiede risorse di calcolo più elevate per l'ottimizzazione e la gestione, con un conseguente aumento dei costi complessivi.
L'ottimizzazione efficiente dei parametri rispetto alla regolazione completa
L'ottimizzazione efficiente in termini di parametri è più efficiente in termini di risorse e costi rispetto all'ottimizzazione completa. Utilizza risorse di calcolo notevolmente inferiori per l'addestramento. È in grado di adattare il modello più velocemente con un set di dati più piccolo. La flessibilità dell'ottimizzazione efficiente dei parametri offre una soluzione per l'apprendimento multi-tasking senza la esigenza di un riaddestramento esteso.
Metodi di ottimizzazione supportati
Vertex AI supporta i seguenti metodi per ottimizzare i modelli di base.
Gemini
Ottimizzazione supervisionata
L'ottimizzazione supervisionata per i modelli Gemini migliora le prestazioni del modello insegnandogli una nuova competenza. I dati che contengono centinaia di esempi etichettati vengono utilizzati per insegnare al modello a imitare un'attività o un comportamento desiderato. Ogni esempio etichettato mostra cosa vuoi che il modello restituisca durante l'inferenza.
Quando esegui un job di ottimizzazione supervisionato, il modello apprende parametri aggiuntivi che lo aiutano a codificare le informazioni necessarie per eseguire l'attività voluta o scoprire il comportamento desiderato. Questi parametri vengono usati durante l'inferenza. L'output del job di ottimizzazione è un nuovo modello che combina i nuovi parametri appresi con il modello originale.
L'ottimizzazione supervisionata di un modello di testo è una buona opzione quando l'output del modello non è complesso e relativamente facile da definire. L'ottimizzazione supervisionata è consigliata per classificazione, analisi del sentiment, estrazione di entità, riassunto di contenuti non complessi e scrittura di query specifiche del dominio. Per i modelli di codice, l'ottimizzazione supervisionata è l'unica opzione.
PaLM
Ottimizzazione supervisionata
L'ottimizzazione supervisionata per i modelli PaLM migliora le prestazioni del modello insegnandogli una nuova competenza. I dati che contengono centinaia di esempi etichettati vengono utilizzati per insegnare al modello a imitare un'attività o un comportamento desiderato. Ogni esempio con etichetta mostra cosa vuoi che il modello restituisca durante l'inferenza.
Quando esegui un job di ottimizzazione supervisionato, il modello apprende parametri aggiuntivi che lo aiutano a codificare le informazioni necessarie per eseguire l'attività voluta o scoprire il comportamento desiderato. Questi parametri vengono usati durante l'inferenza. L'output del job di ottimizzazione è un nuovo modello che combina i nuovi parametri appresi con il modello originale.
L'ottimizzazione supervisionata di un modello di testo è una buona opzione quando l'output del modello non è complesso e relativamente facile da definire. L'ottimizzazione supervisionata è consigliata per classificazione, analisi del sentiment, estrazione di entità, riassunto di contenuti non complessi e scrittura di query specifiche del dominio. Per i modelli di codice, l'ottimizzazione supervisionata è l'unica opzione.
Ottimizzazione per rinforzo con feedback umano (RLHF)
L'apprendimento per rinforzo con feedback umano (RLHF) per i modelli PaLM utilizza preferenze specificate dagli utenti per ottimizzare un modello linguistico. Utilizzando il feedback umano per ottimizzare i tuoi modelli, puoi fare in modo che i modelli si allineino meglio alle preferenze umane e ridurre i risultati indesiderati in scenari in cui le persone hanno intuizioni complesse su un'attività. Ad esempio, RLHF può aiutare a risolvere un compito ambiguo, come scrivere una poesia sull'oceano, offrendo a un umano due poesie sull'oceano e lasciando che sia la persona a scegliere la sua preferita.
L'ottimizzazione RLHF è una buona opzione quando l'output del modello è complesso e non è facile da ottenere con l'ottimizzazione supervisionata. L'ottimizzazione RLHF è consigliata per la risposta alle domande, il riassunto di contenuti complessi e la creazione di contenuti, ad esempio una riscrittura. L'ottimizzazione RLHF non è supportata dai modelli di codice.
Distillazione di modelli
La distillazione dei modelli per i modelli PaLM è una buona opzione se hai un modello di grandi dimensioni da ridurre senza comprometterne la capacità. Il processo di distillazione di un modello crea un nuovo modello addestrato più piccolo, che costa meno da usare e ha una latenza minore rispetto al modello originale.
Passaggi successivi
- Panoramica dell'ottimizzazione del modello per Gemini
- Informazioni sull'ottimizzazione con supervisione
- Ottimizzare i modelli Gemini utilizzando l'ottimizzazione supervisionata