Exemples d'évaluation

Nous fournissons plusieurs exemples d'utilisation du SDK d'évaluation rapide pour effectuer des évaluations sur vos modèles d'IA générative.

Évaluer et optimiser la conception de modèles de requêtes

Évaluez l'effet de prompt engineering à l'aide du SDK d'évaluation rapide. Examinez les statistiques correspondant à chaque modèle de requête pour comprendre l'impact des différences de requêtes sur les résultats de l'évaluation.

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer et optimiser la conception de modèles de requête pour de meilleurs résultats.

Évaluer et sélectionner des modèles LLM à l'aide des métriques d'analyse comparative

Utilisez le SDK d'évaluation rapide pour évaluer les modèles Gemini Pro et Text Bison sur un ensemble de données d'analyse comparative et une tâche.

Pour obtenir un exemple de bout en bout, consultez le notebook Score and Select LLM Models (Score et sélectionner des modèles LLM).

Évaluer et sélectionner les paramètres de génération de modèle

Utilisez le SDK d'évaluation rapide pour ajuster la température de Gemini Pro sur une tâche de résumé et pour évaluer quality, fluency, safety et verbosity.

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer et sélectionner les paramètres de génération de modèles.

Définir vos métriques

Utilisez le SDK d'évaluation rapide pour évaluer plusieurs modèles de requête avec vos métriques personnalisées.

Pour obtenir un exemple de bout en bout, consultez le notebook Définir vos propres métriques.

Évaluer l'utilisation de l'outil

Utilisez le SDK d'évaluation rapide pour définir une fonction d'API et un outil pour le modèle Gemini. Vous pouvez également utiliser le SDK pour évaluer l'utilisation de l'outil et la qualité des appels de fonction pour Gemini.

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer l'utilisation des outils de modèle génératif et les appels de fonctions.

Étapes suivantes