Example Store ti consente di archiviare e recuperare in modo dinamico esempi few-shot. Gli esempi few-shot ti consentono di mostrare i pattern di risposta previsti a un LLM per migliorare la qualità, l'accuratezza e la coerenza delle relative risposte a query simili.
Che cosa sono gli esempi few-shot?
Un esempio di few-shot è costituito da dati etichettati specifici per il tuo caso d'uso dell'LLM. Include una coppia input-output che mostra la risposta del modello prevista per una richiesta del modello. Puoi utilizzare gli esempi per dimostrare il comportamento o il pattern di risposta previsto di un LLM.
Utilizzando solo alcuni esempi pertinenti, puoi coprire un insieme più ampio di possibili risultati, comportamenti previsti e input degli utenti senza aumentare di conseguenza le dimensioni o la complessità dei prompt. Ciò avviene includendo solo esempi pertinenti (riducendo il numero di esempi inclusi) e "mostrando, non dicendo" il comportamento previsto.
L'utilizzo di esempi few-shot è una forma di apprendimento nel contesto. Un esempio mostra un pattern chiaro di input e output, senza spiegare come il modello genera i contenuti. Puoi coprire più risultati possibili o query degli utenti utilizzando solo pochi esempi, senza aumentare le dimensioni del prompt o la complessità del codice. L'utilizzo di esempi non comporta l'aggiornamento dei parametri del modello preaddestrato e non influisce sull'ampiezza delle conoscenze dell'LLM. In questo modo, l'apprendimento in contesto con esempi diventa un approccio relativamente leggero e conciso per personalizzare, correggere o migliorare il ragionamento e la risposta di un LLM a prompt mai visti prima.
Se raccogli esempi pertinenti e rappresentativi delle query degli utenti, aiuti il modello a mantenere l'attenzione, a dimostrare il pattern previsto e anche a correggere comportamenti errati o imprevisti. Ciò non influisce su altre richieste che generano le risposte previste.
Come tutte le strategie di prompt engineering, l'utilizzo di esempi few-shot è complementare ad altre tecniche di ottimizzazione degli LLM, come l'ottimizzazione o la RAG.
Come utilizzare Example Store
I seguenti passaggi descrivono come potresti utilizzare Example Store:
Crea o riutilizza una risorsa
ExampleStore, chiamata anche "istanza Example Store".- Per ogni regione e progetto, puoi avere un massimo di 50 istanze di Example Store.
Scrivi e carica esempi basati sulle risposte del modello LLM. Esistono due scenari possibili:
Se il comportamento e il pattern di risposta dell'LLM sono quelli previsti, scrivi esempi basati su queste risposte e caricali nell'istanza dell'archivio di esempi.
Se l'LLM mostra un comportamento o pattern di risposta inaspettati, scrivi un esempio per mostrare come correggere la risposta e poi caricalo nell'istanza dell'archivio di esempi.
Gli esempi caricati diventano immediatamente disponibili per l'agente o l'applicazione LLM associata all'istanza Example Store.
Se un agente basato su Vertex AI Agent Development Kit è collegato all'istanza di Example Store, l'agente recupera automaticamente gli esempi e li include nella richiesta LLM.
Per tutte le altre applicazioni LLM, devi cercare e recuperare gli esempi e poi includerli nei prompt.
Puoi continuare ad aggiungere esempi in modo iterativo a un'istanza di Example Store ogni volta che osservi prestazioni impreviste dell'LLM o riscontri query utente ostili o inattese. Non devi aggiornare il codice o eseguire nuovamente il deployment di una nuova versione dell'applicazione LLM. Gli esempi diventano disponibili per l'agente o l'applicazione non appena li carichi nell'istanza dell'Example Store.
Inoltre, puoi:
Recupera gli esempi eseguendo una ricerca di similarità del coseno tra le chiavi di ricerca degli esempi archiviati e quelle della query.
Filtra gli esempi per nome della funzione e perfeziona l'elenco degli esempi candidati in modo da includere solo quelli che rappresentano le possibili risposte dell'LLM.
Migliora in modo iterativo l'applicazione dell'agente o dell'LLM.
Condividere esempi con più agenti o applicazioni LLM.
Linee guida per la creazione di esempi few-shot
L'impatto degli esempi sulle prestazioni del modello dipende dal tipo di esempi inclusi nei prompt e dalla modalità di inclusione.
Di seguito sono riportate le pratiche generalmente consigliate per la creazione di esempi:
Pertinenza e somiglianza: gli esempi devono essere strettamente correlati all'attività o al dominio specifico. In questo modo il modello può concentrarsi sugli aspetti più pertinenti delle sue conoscenze, ridurre l'utilizzo dei token e mantenere o addirittura migliorare le prestazioni. Se gli esempi sono pertinenti alla conversazione, ne bastano meno. Il corpus degli esempi disponibili deve essere rappresentativo delle possibili query degli utenti. Inoltre, un esempio deve essere pertinente a una determinata query dell'utente.
Complessità: per aiutare l'LLM a ottenere risultati migliori, utilizza esempi di bassa complessità per dimostrare il ragionamento previsto.
Rappresentativo dei possibili risultati del modello: le risposte previste in un esempio devono essere coerenti con il possibile risultato. In questo modo, l'esempio mostra chiaramente un ragionamento coerente con quello previsto dall'LLM per il prompt.
Formato: per ottenere prestazioni ottimali, formatta gli esempi few-shot nel prompt in modo coerente con i dati di addestramento dell'LLM e diverso dalla cronologia della conversazione. La formattazione degli esempi in un prompt può influire notevolmente sulle prestazioni dell'LLM.
Esempio di caso d'uso: chiamata di funzione
Puoi utilizzare esempi few-shot per migliorare le prestazioni delle chiamate di funzione.
Puoi indicare la chiamata di funzione prevista per una query utente in un pattern
coerente. L'esempio può modellare la risposta prevista alla richiesta includendo
la funzione da richiamare e gli argomenti da includere nella chiamata
della funzione. Considera un caso d'uso in cui la funzione get_store_location restituisce la
posizione di un negozio e la relativa descrizione. Se una query non richiama questa funzione
come previsto o mostra un output imprevisto, puoi utilizzare esempi di pochi scatti per
correggere questo comportamento per le query successive.
Per saperne di più sulla chiamata di funzione, consulta Chiamata di funzione.
Per scoprire di più, consulta Avvio rapido di Example Store.
Passaggi successivi
Scopri come creare un negozio di esempio.
Scopri come addestrare un agente con esempi.