Notebooks d'évaluation

Nous fournissons plusieurs exemples d'utilisation du SDK d'évaluation rapide pour effectuer des évaluations sur vos modèles d'IA générative.

Évaluer vos modèles en temps réel

Le service d'évaluation rapide de Vertex AI vous permet d'évaluer vos modèles d'IA générative en temps réel. Pour découvrir comment utiliser l'évaluation rapide, consultez la page Exécuter une évaluation rapide.

Pour obtenir un exemple de bout en bout, consultez le notebook Colab pour le SDK Vertex AI pour Python avec évaluation rapide.

Évaluer et optimiser la conception de modèles de requêtes

Évaluez l'effet de prompt engineering à l'aide du SDK d'évaluation rapide. Examinez les statistiques correspondant à chaque modèle de requête pour comprendre l'impact des différences de requêtes sur les résultats de l'évaluation.

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer et optimiser la conception de modèles de requête pour de meilleurs résultats.

Évaluer et sélectionner des modèles LLM à l'aide des métriques d'analyse comparative

Utilisez le SDK d'évaluation rapide pour évaluer les modèles Gemini Pro et Text Bison sur un ensemble de données d'analyse comparative et une tâche.

Pour obtenir un exemple de bout en bout, consultez le notebook Score and Select LLM Models (Score et sélectionner des modèles LLM).

Évaluer et sélectionner les paramètres de génération de modèle

Utilisez le SDK d'évaluation rapide pour ajuster la température de Gemini Pro sur une tâche de résumé et pour évaluer quality, fluency, safety et verbosity.

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer et sélectionner les paramètres de génération de modèles.

Définir vos métriques

Utilisez le SDK d'évaluation rapide pour évaluer plusieurs modèles de requête avec vos métriques personnalisées.

Pour obtenir un exemple de bout en bout, consultez le notebook Définir vos propres métriques.

Évaluer l'utilisation de l'outil

Utilisez le SDK d'évaluation rapide pour définir une fonction d'API et un outil pour le modèle Gemini. Vous pouvez également utiliser le SDK pour évaluer l'utilisation de l'outil et la qualité des appels de fonction pour Gemini.

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer l'utilisation des outils de modèle génératif et les appels de fonctions.

Évaluer les réponses générées par RAG pour les réponses aux questions

Utilisez le SDK d'évaluation rapide pour évaluer une tâche de réponse aux questions à partir de réponses générées par la génération augmentée de récupération (RAG).

Pour obtenir un exemple de bout en bout, consultez le notebook Évaluer les réponses générées à partir de RAG pour les systèmes de questions-réponses.

Étapes suivantes