Forniamo diversi esempi di come puoi utilizzare l'IA generativa su Vertex AI di valutazione per eseguire valutazioni sui tuoi modelli di AI generativa.
Valuta i tuoi modelli in tempo reale
Il servizio di valutazione rapida Vertex AI ti consente di valutare di modelli di AI generativa in tempo reale. Per scoprire come utilizzare la valutazione rapida, consulta Esegui una valutazione rapida.
Valuta e ottimizza la progettazione dei modelli di prompt
Utilizza l'SDK di valutazione rapida per valutare l'effetto del prompt engineering. Esamina la statistiche corrispondenti a ogni modello di prompt per capire in che modo le differenze dei prompt influisce sui risultati della valutazione.
Valutare e selezionare gli LLM utilizzando metriche di benchmark
Usa l'SDK di valutazione rapida per assegnare un punteggio a Gemini 1.0 Pro e Gemini 1.5 Pro utilizza un set di dati di benchmark e un'attività.
Valuta e seleziona le impostazioni di generazione dei modelli
Utilizzare l'SDK di valutazione rapida per regolare la temperatura di Gemini Pro
in un'attività di riepilogo e per valutare quality, fluency,
safety e verbosity.
Definisci le metriche
Utilizza l'SDK di valutazione rapida per valutare più modelli di prompt con il tuo e metriche personalizzate.
Valutare l'uso degli strumenti e le chiamate di funzione
Utilizza l'SDK di valutazione rapida per definire una funzione API e uno strumento per modello Gemini. Puoi usare l'SDK anche per valutare l'uso degli strumenti la qualità delle chiamate di funzione in Gemini.
Valuta le risposte generate da RAG per la risposta alle domande
Utilizzare l'SDK di valutazione rapida per valutare un'attività di risposta alle domande da Risposte generate dalla Retrieval Augmented Generation (RAG).
Valuta un LLM in Vertex AI Model Registry rispetto a un modello di terze parti
Utilizza AutoSxS per valutare le risposte tra due modelli e stabilire un vincitore. Tu può fornire le risposte o generarle utilizzando Vertex AI Batch Previsioni.
Verifica l'allineamento dello strumento di valutazione automatica rispetto a un set di dati con preferenze umane
Utilizza AutoSxS per verificare il livello di allineamento delle valutazioni dei classificatori automatici a un insieme di persone le valutazioni che fornisci per una determinata attività. Determina se AutoSxS è sufficiente per il tuo caso d'uso o se necessita di un'ulteriore personalizzazione.
Valuta le catene Langchain
Utilizza l'SDK di valutazione rapida per valutare le catene Langchain. Prepara il impostare la catena Langchain ed eseguire la valutazione.
Passaggi successivi
- Scopri di più sulla valutazione dell'AI generativa.
- Scopri di più sulla valutazione online con la valutazione rapida.
- Scopri di più sulla valutazione della coppia basata su modello con la pipeline AutoSxS.
- Scopri di più sulla pipeline di valutazione basata sul calcolo.
- Scopri come ottimizzare un modello di base.