Tutorial: esegui la valutazione utilizzando la console

Anteprima

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Scopri come iniziare a utilizzare il servizio di valutazione dell'AI generativa tramite la console Google Google Cloud .

Prima di iniziare

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Vai a IAM
2. Seleziona il progetto.
3. Fai clic su Concedi l'accesso.

4. Nel campo Nuove entità, inserisci il tuo identificatore dell'utente. In genere si tratta dell'indirizzo email di un Account Google.

5. Nell'elenco Seleziona un ruolo, seleziona un ruolo.
6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.
7. Fai clic su Salva.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Vai a IAM
2. Seleziona il progetto.
3. Fai clic su Concedi l'accesso.

4. Nel campo Nuove entità, inserisci il tuo identificatore dell'utente. In genere si tratta dell'indirizzo email di un Account Google.

5. Nell'elenco Seleziona un ruolo, seleziona un ruolo.
6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.
7. Fai clic su Salva.

valuta il modello

Per valutare il modello:

1. Nella console Google Cloud , vai alla pagina Valutazione dell'IA generativa.

   Vai a Valutazione

2. Fai clic su Nuova valutazione per aprire la pagina di valutazione.

3. Per Definisci set di dati di valutazione, seleziona un'opzione:

   • Carica file: fai clic su Carica per caricare un file CSV o JSONL. Il set di dati deve contenere prompt o record da utilizzare in un modello di prompt e, facoltativamente, risposte del modello, con un massimo di 200 righe.

   • Genera dati: inserisci un modello di prompt per guidare il servizio di valutazione dell'AI generativa nella generazione di un set di dati. Le variabili che definisci nel modello di prompt vengono generate e inserite nel set di dati. Per saperne di più, consulta Utilizzare i modelli di prompt.

     1. Definisci le variabili da generare: specifica le variabili da generare e le descrizioni della variabile per guidare la generazione. Se necessario, fai clic su Aggiungi un'altra descrizione della variabile.

     2. Inserisci un Numero di campioni da generare.

     3. Fai clic su Genera e visualizza l'anteprima del set di dati per visualizzare un set di dati generato in base al modello di prompt e alle variabili. Per modificare il set di dati, puoi aggiungere altri dettagli alle descrizioni delle variabili e fare clic su Rigenera.

   • Utilizza i log del modello: utilizza lo snapshot dei prompt e delle risposte del traffico registrato del modello selezionato. Puoi utilizzare questa opzione solo se hai attivato i log di richiesta/risposta su un modello di cui è stato eseguito il deployment in Vertex AI. Se hai appena attivato la registrazione, attendi che si accumuli un numero sufficiente di campioni.

     1. Seleziona il modello e la regione da cui vuoi registrare il traffico. Devi aver già abilitato la registrazione nel modello e nella regione selezionati.

     2. Inserisci un Conteggio campionamento.

     3. (Facoltativo) Attiva Filtra per modello di prompt per utilizzare solo i log che corrispondono al tuo modello di prompt. Questo può essere utile se utilizzi i modelli selezionati per una serie di casi d'uso e vuoi valutarne uno specifico.

4. Per Definisci le risposte del modello da valutare, seleziona un'opzione:

   • Da set di dati (disponibile solo se hai selezionato Carica file per Definisci set di dati di valutazione): se vuoi utilizzare uno dei campi del set di dati caricato come risposta, seleziona una colonna di risposta.

   • Dal modello (disponibile solo se hai selezionato Utilizza i log del modello per Definisci il set di dati di valutazione): se utilizzi i log del modello come set di dati di valutazione, il servizio di valutazione dell'AI generativa utilizza le risposte del modello dai log del modello.

   • Modello di chiamata: seleziona un modello. Gen AI evaluation service esegue i prompt sul modello selezionato e utilizza le risposte per la valutazione.

5. (Facoltativo) Per le metriche di valutazione generate automaticamente, puoi specificare istruzioni personalizzate per guidare le rubriche generate da ogni prompt. Ad esempio: Evaluate the dataset on cultural sensitivity to the countries {name}. Per ulteriori informazioni, consulta Definisci le metriche di valutazione.

6. In Nome e directory di output, inserisci quanto segue:

   1. Nome valutazione: inserisci un nome per la valutazione.

   2. Percorso dati privati di output: inserisci il nome di un bucket Cloud Storage in cui vuoi archiviare la valutazione o fai clic su Sfoglia per scegliere il bucket.

7. Fai clic su Valuta.

Visualizzare i risultati della valutazione

Per visualizzare un risultato della valutazione:

1. Nella console Google Cloud , vai alla pagina Valutazione dell'IA generativa.

   Vai a Valutazione

2. Fai clic sul nome della valutazione.

3. Per ogni prompt nel set di dati di valutazione, la risposta del modello viene visualizzata insieme ai risultati della valutazione.

Passaggi successivi

• Definisci le metriche di valutazione.