Tutoriel : Effectuer une évaluation à l'aide de la console

Preview

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités de pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Découvrez comment faire vos premiers pas avec le service d'évaluation de l'IA générative à l'aide de la console Google Google Cloud .

Avant de commencer

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Accéder à IAM
2. Sélectionnez le projet.
3. Cliquez sur  Accorder l'accès.

4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
6. Pour attribuer des rôles supplémentaires, cliquez sur  Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
7. Cliquez sur Enregistrer.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Accéder à IAM
2. Sélectionnez le projet.
3. Cliquez sur  Accorder l'accès.

4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

5. Dans la liste Sélectionner un rôle, sélectionnez un rôle.
6. Pour attribuer des rôles supplémentaires, cliquez sur  Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
7. Cliquez sur Enregistrer.

Évaluer votre modèle

Pour évaluer votre modèle :

1. Dans la console Google Cloud , accédez à la page "Évaluation de l'IA générative".

   Accéder à "Évaluation"

2. Cliquez sur Nouvelle évaluation pour ouvrir la page d'évaluation.

3. Pour Définir l'ensemble de données d'évaluation, sélectionnez une option :

   • Importer un fichier : cliquez sur Importer pour importer un fichier CSV ou JSONL. L'ensemble de données doit contenir des requêtes ou des enregistrements à utiliser dans un modèle de requête, ainsi que des réponses de modèle facultatives, avec un maximum de 200 lignes.

   • Générer des données : saisissez un modèle de prompt pour guider le service d'évaluation de l'IA générative dans la génération d'un ensemble de données. Les variables que vous définissez dans votre modèle de requête sont générées et renseignées dans l'ensemble de données. Pour en savoir plus, consultez Utiliser des modèles de requêtes.

     1. Définissez les variables à générer : spécifiez les variables à générer et les descriptions des variables pour guider la génération. Si nécessaire, cliquez sur Ajouter une autre description de variable.

     2. Saisissez le nombre d'échantillons à générer.

     3. Cliquez sur Générer et prévisualiser l'ensemble de données pour afficher un ensemble de données généré en fonction de votre modèle d'invite et de vos variables. Pour ajuster l'ensemble de données, vous pouvez ajouter des détails aux descriptions des variables, puis cliquer sur Régénérer.

   • Utiliser les journaux de modèle : utilisez l'instantané des requêtes et des réponses du trafic enregistré du modèle sélectionné. Vous ne pouvez utiliser cette option que si vous avez activé les journaux des requêtes et réponses sur un modèle déployé dans Vertex AI. Si vous venez d'activer la journalisation, laissez le temps à suffisamment d'échantillons de s'accumuler.

     1. Sélectionnez le modèle et la région dont vous souhaitez enregistrer le trafic. Vous devez déjà avoir activé la journalisation pour le modèle et la région sélectionnés.

     2. Saisissez un nombre d'échantillons.

     3. (Facultatif) Activez l'option Filtrer par modèle de requête pour n'utiliser que les journaux correspondant à votre modèle de requête. Cela peut être utile si vous utilisez les modèles sélectionnés pour différents cas d'utilisation et que vous souhaitez évaluer un cas d'utilisation spécifique.

4. Pour Définir les réponses du modèle à évaluer, sélectionnez une option :

   • À partir de l'ensemble de données (disponible uniquement si vous avez sélectionné Importer un fichier pour Définir l'ensemble de données d'évaluation) : si vous souhaitez utiliser l'un des champs de l'ensemble de données importé comme réponse, sélectionnez une colonne de réponse.

   • À partir du modèle (disponible uniquement si vous avez sélectionné Utiliser les journaux du modèle pour Définir l'ensemble de données d'évaluation) : si vous utilisez les journaux du modèle comme ensemble de données d'évaluation, le service d'évaluation de l'IA générative utilise les réponses du modèle issues des journaux du modèle.

   • Modèle d'appel : sélectionnez un modèle. Le service d'évaluation de l'IA générative exécute des requêtes sur le modèle sélectionné et utilise les réponses pour l'évaluation.

5. (Facultatif) Pour les métriques d'évaluation générées automatiquement, vous pouvez spécifier des instructions personnalisées pour guider les grilles d'évaluation générées à partir de chaque requête. Par exemple, Evaluate the dataset on cultural sensitivity to the countries {name}. Pour en savoir plus, consultez Définir vos métriques d'évaluation.

6. Dans le champ Nom et répertoire de sortie, saisissez les valeurs suivantes :

   1. Nom de l'évaluation : saisissez un nom pour votre évaluation.

   2. Chemin d'accès aux données privées de sortie : saisissez le nom d'un bucket Cloud Storage dans lequel vous souhaitez stocker votre évaluation, ou cliquez sur "Parcourir" pour choisir le bucket.

7. Cliquez sur Évaluer.

Afficher les résultats de votre évaluation

Pour afficher un résultat d'évaluation :

1. Dans la console Google Cloud , accédez à la page "Évaluation de l'IA générative".

   Accéder à "Évaluation"

2. Cliquez sur le nom de l'évaluation.

3. Pour chaque requête de votre ensemble de données d'évaluation, la réponse du modèle s'affiche avec les résultats de l'évaluation.

Étapes suivantes

• Définissez vos métriques d'évaluation.