Esegui una valutazione

Puoi utilizzare il modulo Gen AI Evaluation dell'SDK Vertex AI per Python per valutare in modo programmatico le applicazioni e i modelli linguistici generativi con l'API del servizio di valutazione dell'IA generativa. Questa pagina mostra come eseguire valutazioni con l'SDK Vertex AI.

Prima di iniziare

Installa l'SDK Vertex AI

Per installare il modulo di valutazione dell'IA generativa dall'SDK Vertex AI per Python, esegui questo comando:

!pip install -q google-cloud-aiplatform[evaluation]

Per ulteriori informazioni, vedi Installa l'SDK Vertex AI per Python.

Autentica l'SDK Vertex AI

Dopo aver installato l'SDK Vertex AI per Python, devi eseguire l'autenticazione. Le seguenti in cui viene spiegato come eseguire l'autenticazione con l'SDK Vertex AI a livello locale e se lavori in Colaboratory:

• Se esegui lo sviluppo in locale, configura le credenziali predefinite dell'applicazione (ADC) nel tuo ambiente locale:

  1. Installa Google Cloud CLI, quindi inizializzalo eseguendo il seguente comando:

     gcloud init
     

  2. Crea le credenziali di autenticazione locale per il tuo Account Google:

     gcloud auth application-default login
     

     Viene visualizzata una schermata di accesso. Dopo l'accesso, le credenziali vengono memorizzate nel file delle credenziali locali utilizzato da ADC. Per ulteriori informazioni su come lavorare con ADC in un ambiente locale, consulta Ambiente di sviluppo locale.

• Se stai lavorando in Colaboratory, esegui il comando seguente in un Cella Colab per l'autenticazione:

  from google.colab import auth
  auth.authenticate_user()
  

  Questo comando apre una finestra in cui puoi completare l'autenticazione.

Informazioni sugli account di servizio

L'account di servizio viene utilizzato dal servizio di valutazione dell'IA generativa per ottenere previsioni dell'API Gemini in Vertex AI per la valutazione basata su modelli metriche di valutazione. Il provisioning di questo account di servizio viene eseguito automaticamente alla prima richiesta al servizio di valutazione dell'IA generativa.

Nome	Descrizione	Indirizzo email	Ruolo
Vertex AI Rapid Eval Service Agent	L'account di servizio utilizzato per ottenere le previsioni per la valutazione basata su modelli.	[e-mail]	roles/aiplatform.rapidevalServiceAgent

Le autorizzazioni associate all'agente di servizio di valutazione rapida sono:

Ruolo	Autorizzazioni
Agente di servizio Vertex AI Rapid Eval (roles/aiplatform.rapidevalServiceAgent)	aiplatform.endpoints.predict

Esegui la valutazione

Utilizza la classe EvalTask per eseguire valutazioni per i seguenti casi d'uso:

• Metriche basate su modelli

  • Utilizzare esempi esistenti

  • Utilizzare un'interfaccia basata su modelli

  • Definire le metriche da zero

• Metriche basate su calcoli

• Personalizzazione aggiuntiva delle metriche

• Aumentare i limiti di frequenza e la quota

Classe EvalTask

La classe EvalTask ti aiuta a valutare modelli e applicazioni in base a attività specifiche. Per fare confronti equi tra i modelli generativi, in genere devi valutare ripetutamente vari modelli e modelli di prompt rispetto a un set di dati di valutazione fisso utilizzando metriche specifiche. È inoltre importante valutare più metriche contemporaneamente in un'unica esecuzione della valutazione.

EvalTask si integra anche con Vertex AI Experiments per aiutarti a monitorare le configurazioni e i risultati di ogni esecuzione di valutazione. Vertex AI Experiments ti aiuta a gestire e interpretare i risultati della valutazione, consentendoti di prendere decisioni consapevoli.

L'esempio seguente mostra come creare un'istanza della classe EvalTask ed eseguire una valutazione:

from vertexai.evaluation import (
    EvalTask,
    PairwiseMetric,
    PairwiseMetricPromptTemplate,
    PointwiseMetric,
    PointwiseMetricPromptTemplate,
    MetricPromptTemplateExamples，
)

eval_task = EvalTask(
    dataset=DATASET,
    metrics=[METRIC_1, METRIC_2, METRIC_3],
    experiment=EXPERIMENT_NAME,
)

eval_result = eval_task.evaluate(
    model=MODEL,
    prompt_template=PROMPT_TEMPLATE,
    experiment_run=EXPERIMENT_RUN,
)

Esegui la valutazione con metriche basate su modello

Per le metriche basate su modelli, utilizza le classi PointwiseMetric e PairwiseMetric per definire metriche personalizzate in base ai tuoi criteri specifici. Esegui le valutazioni utilizzando le seguenti opzioni:

• Utilizzare esempi esistenti

• Utilizzare un'interfaccia basata su modelli

• Definire le metriche da zero

Utilizza esempi di metriche basate su modello

Puoi utilizzare direttamente la costante Metric Prompt Template Examples integrata all'interno dell'SDK Vertex AI. In alternativa, modificali e incorporali nell'interfaccia di definizione delle metriche in formato libero.

Per l'elenco completo degli esempi di modelli di prompt delle metriche che coprono la maggior parte dei casi d'uso principali, consulta Modelli di prompt delle metriche.

Il seguente esempio di SDK Vertex AI mostra come utilizzare la classe MetricPromptTemplateExamples per definire le metriche:

# View all the available examples of model-based metrics
MetricPromptTemplateExamples.list_example_metric_names()

# Display the metric prompt template of a specific example metric
print(MetricPromptTemplateExamples.get_prompt_template('fluency'))

# Use the pre-defined model-based metrics directly
eval_task = EvalTask(
    dataset=EVAL_DATASET,
    metrics=[MetricPromptTemplateExamples.Pointwise.FLUENCY],
)

eval_result = eval_task.evaluate(
    model=MODEL,
)

Utilizza un'interfaccia basata su modelli di metriche basate su modelli

Personalizza le metriche compilando campi come Criteria e Rating Rubrics utilizzando le classi PointwiseMetricPromptTemplate e PairwiseMetricPromptTemplate nell'SDK Vertex AI. Ad alcuni campi, come Instruction, viene assegnato un valore predefinito se non fornisci un input.

Se vuoi, puoi specificare input_variables, ovvero un elenco di campi di input utilizzati dal modello di prompt delle metriche per generare risultati di valutazione basati su modello. Per impostazione predefinita, la colonna response del modello è inclusa per le metriche punto per punto e le colonne response e baseline_model_response del modello candidato sono incluse per le metriche a coppie.

Per ulteriori informazioni, consulta la sezione "Strutturare un modello di prompt metrico" in Modelli di prompt metrico.

# Define a pointwise metric with two custom criteria
custom_text_quality = PointwiseMetric(
    metric="custom_text_quality",
    metric_prompt_template=PointwiseMetricPromptTemplate(
        criteria={
          "fluency": "Sentences flow smoothly and are easy to read, avoiding awkward phrasing or run-on sentences. Ideas and sentences connect logically, using transitions effectively where needed.",
          "entertaining": "Short, amusing text that incorporates emojis, exclamations and questions to convey quick and spontaneous communication and diversion.",
        },
        rating_rubric={
          "1": "The response performs well on both criteria.",
          "0": "The response is somewhat aligned with both criteria",
          "-1": "The response falls short on both criteria",
        },
        input_variables=["prompt"],
    ),
)

# Display the serialized metric prompt template
print(custom_text_quality.metric_prompt_template)

# Run evaluation using the custom_text_quality metric
eval_task = EvalTask(
    dataset=EVAL_DATASET,
    metrics=[custom_text_quality],
)
eval_result = eval_task.evaluate(
    model=MODEL,
)

Utilizzare l'interfaccia SDK di metriche basate su modelli di tipo libero

Per una maggiore flessibilità nella personalizzazione del modello di prompt delle metriche, puoi definire una metrica direttamente utilizzando l'interfaccia in formato libero, che accetta un input di stringa diretto.

# Define a pointwise multi-turn chat quality metric
pointwise_chat_quality_metric_prompt = """Evaluate the AI's contribution to a meaningful conversation, considering coherence, fluency, groundedness, and conciseness.
 Review the chat history for context. Rate the response on a 1-5 scale, with explanations for each criterion and its overall impact.

# Conversation History
{history}

# Current User Prompt
{prompt}

# AI-generated Response
{response}
"""

freeform_multi_turn_chat_quality_metric = PointwiseMetric(
    metric="multi_turn_chat_quality_metric",
    metric_prompt_template=pointwise_chat_quality_metric_prompt,
)

# Run evaluation using the freeform_multi_turn_chat_quality_metric metric
eval_task = EvalTask(
    dataset=EVAL_DATASET,
    metrics=[freeform_multi_turn_chat_quality_metric],
)
eval_result = eval_task.evaluate(
    model=MODEL,
)

Esegui la valutazione con metriche basate sul calcolo

Puoi utilizzare le metriche basate su calcoli in modo autonomo o insieme alle metriche basate su modelli.

# Combine computation-based metrics "ROUGE" and "BLEU" with model-based metrics
eval_task = EvalTask(
    dataset=EVAL_DATASET,
    metrics=["rouge_l_sum", "bleu", custom_text_quality],
)
eval_result = eval_task.evaluate(
    model=MODEL,
)

Personalizzazione aggiuntiva delle metriche

Se hai bisogno di personalizzare ulteriormente le metriche, ad esempio scegliere un modello di valutazione diverso per le metriche basate su modello, o definire una nuova metrica basata su calcolo, puoi utilizzare la classe CustomMetric nell'SDK Vertex AI. Per maggiori dettagli, consulta i seguenti blocchi note:

Per vedere un esempio di modello Giudice personalizzato con la metrica personalizzata, Esegui il modello "Bring Your Own Juice Model with Custom Metric" (Porta il modello giudice con la metrica personalizzata) Blocco note Jupyter in uno dei seguenti ambienti:

Aperto in Colab | Aperto in Colab Enterprise | Aperto nei blocchi note gestiti dall'utente di Vertex AI Workbench | Visualizza su GitHub

Per vedere un esempio di metrica personalizzata basata su calcoli Bring Your Own, esegui il blocco note Jupyter "Metrica personalizzata basata su calcoli Bring Your Own" in uno dei seguenti ambienti:

Apri in Colab | Apri in Colab Enterprise | Apri nei notebook gestiti dall'utente di Vertex AI Workbench | Visualizza su GitHub

Esegui la valutazione basata su modelli con limiti di frequenza e quota più elevati

Una singola richiesta di valutazione di una metrica basata su modello genera più richieste sottostanti all'API Gemini in Vertex AI e consuma la quota gemini-1.5-pro del modello di valutazione. La quota di richieste al modello al minuto (RPM) viene calcolata in base al progetto, il che significa che sia le richieste al modello di valutazione gemini-1.5-pro sia le richieste al servizio di valutazione dell'IA generativa per le metriche basate su modelli vengono conteggiate ai fini della quota RPM del modello di valutazione del progetto in una regione specifica per gemini-1.5-pro.

Devi aumentare la quota RPM del modello giudicante e impostare un limite di frequenza di servizio di valutazione più elevato evaluation_service_qps nei seguenti casi d'uso:

• Aumento del volume di dati: se elabori molti più dati utilizzando le metriche basate su modelli, probabilmente raggiungerai la quota RPM predefinita. L'aumento della quota ti consente di gestire il volume più elevato senza interruzioni o peggioramenti delle prestazioni.

• Valutazione più rapida: se la tua applicazione richiede tempi di risposta più rapidi per le valutazioni, potrebbe essere necessaria una quota RPM più elevata. Ciò è particolarmente importante per le applicazioni urgenti o con interazioni in tempo reale, in cui i ritardi nella valutazione possono influire sull'esperienza utente.

• Attività di valutazione complesse: una quota RPM più elevata ti garantisce una capacità sufficiente per gestire valutazioni che richiedono molte risorse per attività complesse o grandi quantità di testo.

• Elevata concorrenza degli utenti: se prevedi che un numero elevato di utenti richieda contemporaneamente valutazioni e inferenze basate su modelli all'interno del tuo progetto, un limite RPM del modello più elevato è fondamentale per evitare colli di bottiglia e mantenere la reattività.

Per aumentare la quota del modello e utilizzare l'SDK del servizio di valutazione dell'IA generativa con limiti di frequenza più elevati, procedi nel seguente modo:

1. Nella console Google Cloud, vai alla sezione IAM e Pagina Quote per gli amministratori.
   

   Visualizzare le quote nella console

2. Nel campo Filtro, specifica la Dimensione (identificatore del modello) e la Metrica (identificatore della quota per i modelli Gemini): base_model:gemini-1.5-pro e Metric:aiplatform.googleapis.com/generate_content_requests_per_minute_per_project_per_base_model.

3. Per la quota che vuoi aumentare, fai clic sul pulsante del menu Altre azioni.

4. Nel menu a discesa, fai clic su Modifica quota. Si apre il riquadro Modifiche delle quote.

5. In Modifica quota, inserisci un nuovo valore di quota.

6. Fai clic su Invia richiesta.

7. Una richiesta di aumento della quota verrà confermata via email e in genere richiede due giorni lavorativi.

8. Dopo che la richiesta di aumento della quota viene approvata via email, puoi impostare il parametro evaluation_service_qps come segue:

from vertexai.evaluation import EvalTask

# GEMINI_RPM is the requests per minute (RPM) quota for gemini-1.5-pro in your region
# Evaluation Service QPS limit is equal to (gemini-1.5-pro RPM / 60 sec / default number of samples)
CUSTOM_EVAL_SERVICE_QPS_LIMIT = GEMINI_RPM / 60 / 4

eval_task = EvalTask(
    dataset=DATASET,
    metrics=[METRIC_1, METRIC_2, METRIC_3],
)

eval_result = eval_task.evaluate(
    evaluation_service_qps=CUSTOM_EVAL_SERVICE_QPS_LIMIT,
    # Specify a retry_timeout limit for a more responsive evaluation run
    # the default value is 600 (in seconds, or 10 minutes)
    retry_timeout=RETRY_TIMEOUT,
)

Per ulteriori informazioni su quote e limiti, consulta Quote del servizio di valutazione dell'IA generativa e API del servizio di valutazione dell'IA generativa.

Passaggi successivi

• Visualizza i risultati della valutazione.

• Trova un modello di metriche basate su modelli.

• Prova un blocco note di esempio di valutazione.