Gen AI Evaluation Service en Vertex AI te permite evaluar cualquier modelo o aplicación generativa y comparar los resultados de la evaluación con tu propio criterio, según tus propios criterios de evaluación.
Si bien las tablas de clasificación y los informes ofrecen estadísticas sobre el rendimiento general del modelo, no revelan cómo un modelo maneja tus necesidades específicas. Gen AI Evaluation Service te ayuda a definir tus propios criterios de evaluación, lo que garantiza una comprensión clara de qué tan bien se alinean los modelos y las aplicaciones de IA generativa con tu caso de uso único.
La evaluación es importante en cada paso del proceso de desarrollo de la IA generativa, incluida la selección de modelos, la ingeniería de instrucciones y la personalización de modelos. La evaluación de IA generativa está integrada en Vertex AI para ayudarte a iniciar y reutilizar evaluaciones según sea necesario.
Funciones de Gen AI Evaluation Service
Gen AI Evaluation Service puede ayudarte con las siguientes tareas:
Selección de modelos: Elige el mejor modelo previamente entrenado para tu tarea en función de los resultados de las comparativas y su rendimiento en tus datos específicos.
Configuración de generación: Ajusta los parámetros del modelo (como la temperatura) para optimizar el resultado según tus necesidades.
Ingeniería de instrucciones: Crea instrucciones y plantillas de instrucciones eficaces para guiar al modelo hacia el comportamiento y las respuestas que prefieras.
Mejora y protege el ajuste fino: Ajusta un modelo para mejorar el rendimiento de tu caso de uso y, al mismo tiempo, evita sesgos o comportamientos no deseados.
Optimización de RAG: Selecciona la arquitectura de generación mejorada por recuperación (RAG) más eficaz para mejorar el rendimiento de tu aplicación.
Migración: Evalúa y mejora el rendimiento de tu solución de IA de forma continua migrando a modelos más nuevos cuando proporcionen una ventaja clara para tu caso de uso específico.
Proceso de evaluación
Gen AI Evaluation Service te permite evaluar cualquier modelo o aplicación de IA generativa en función de tus criterios de evaluación. Para ello, sigue estos pasos:
Define las métricas de evaluación:
Aprende a adaptar las métricas basadas en modelos a tus criterios comerciales.
Evalúa un solo modelo (por puntos) o determina el ganador cuando comparas 2 modelos (por pares).
Incluye métricas basadas en el procesamiento para obtener estadísticas adicionales.
Prepara tu conjunto de datos de evaluación
- Proporciona un conjunto de datos que refleje tu caso de uso específico.
-
Empieza de cero, usa una plantilla o adapta ejemplos existentes.
Define modelos candidatos y crea un
EvalTaskpara volver a usar tu lógica de evaluación a través de Vertex AI.
Notebooks para casos de uso de evaluación
En la siguiente tabla, se enumeran los notebooks del SDK de Vertex AI para Python para varios casos de uso de evaluación de IA generativa:
| Caso de uso | Descripción | Vínculos a notebooks |
|---|---|---|
| Evaluar modelos | Guía de inicio rápido: Introducción al SDK de Gen AI Evaluation Service | Comienza a usar el SDK de Gen AI Evaluation Service |
| Evalúa y selecciona modelos de base propios (1P) para tu tarea. | Evalúa y selecciona modelos de base propios (1P) para tu tarea | |
| Evalúa y selecciona la configuración del modelo de IA generativa: Ajusta la temperatura, el límite de tokens de salida, la configuración de seguridad y otros parámetros de configuración de generación de modelos de Gemini en una tarea de resumen y compara los resultados de la evaluación de diferentes parámetros de configuración de modelos en varias métricas. |
Compara diferentes parámetros de configuración de modelos para Gemini | |
| Evalúa modelos de terceros en Vertex AI Model Garden. En este notebook, se proporciona una guía integral para evaluar los modelos Gemini de Google y los modelos de lenguaje de terceros con el SDK de Gen AI Evaluation Service. Aprende a evaluar y comparar modelos de diferentes fuentes, incluidos modelos abiertos y cerrados, extremos de modelos y bibliotecas de clientes de terceros con varias métricas y técnicas de evaluación. Adquiere experiencia práctica en la realización de experimentos controlados y el análisis del rendimiento de los modelos en una variedad de tareas. |
Usa el SDK de Gen AI Evaluation para evaluar modelos en Vertex AI Studio, Model Garden y Model Registry | |
| Migra de PaLM al modelo de Gemini con el SDK de Gen AI Evaluation Service. En este notebook, se te guía para evaluar los modelos de base de PaLM y Gemini con varias métricas de evaluación para respaldar las decisiones sobre la migración de un modelo a otro. Visualizamos estas métricas para obtener estadísticas sobre las fortalezas y debilidades de cada modelo, lo que te ayuda a tomar una decisión fundamentada sobre cuál se alinea mejor con los requisitos específicos de tu caso de uso. |
Compara y migra de PaLM al modelo de Gemini | |
| Evalúa las plantillas de instrucciones | Ingeniería y evaluación de instrucciones con el SDK de Gen AI Evaluation Service | Evalúa y optimiza el diseño de plantillas de mensajes para obtener mejores resultados |
| Evalúa las aplicaciones de IA generativa | Evalúa el uso de herramientas y las capacidades de llamada a función del modelo de Gemini. | Evalúa el uso de herramientas de modelos de Gemini |
| Evalúa las respuestas generadas a partir de la generación mejorada por recuperación (RAG) para una tarea de búsqueda de respuestas con el SDK de Gen AI Evaluation Service. | Evalúa las respuestas generadas a partir de la generación mejorada por recuperación (RAG) | |
| Evalúa los chatbots de LangChain con Gen AI Evaluation Service de Vertex AI. En este notebook, se muestra cómo evaluar un chatbot conversacional de LangChain con el SDK de Gen AI Evaluation Service de Vertex AI. En ella, se abarca la preparación de datos, la configuración de cadenas de LangChain, la creación de métricas de evaluación personalizadas y el análisis de resultados. En el instructivo, se usa un chatbot de sugerencias de recetas como ejemplo y se muestra cómo mejorar su rendimiento iterando en el diseño de la instrucción. |
Evalúa LangChain | |
| Personalización de métricas | Personaliza las métricas basadas en modelos y evalúa un modelo de IA generativa según tus criterios específicos con las siguientes funciones:
|
Cómo personalizar las métricas basadas en modelos para evaluar un modelo de IA generativa |
| Evalúa los modelos de IA generativa con tu métrica personalizada definida de forma local y trae tu propio modelo de juez para realizar la evaluación de métricas basada en modelos. | Crea tu propio clasificador automático con una métrica personalizada | |
| Define tus propias funciones de métricas personalizadas basadas en el procesamiento y úsalas para la evaluación con el SDK de Gen AI Evaluation Service. | Usa tu propia métrica personalizada basada en cálculos | |
| Otros temas | Guía de migración de la versión preliminar a la versión GA del SDK de Gen AI Evaluation Service. En este instructivo, se explica el proceso de migración de la versión preliminar a la versión GA más reciente del SDK de Vertex AI para Python para Gen AI Evaluation Service. En la guía, también se muestra cómo usar el SDK de la versión GA para evaluar la generación mejorada por recuperación (RAG) y comparar dos modelos con la evaluación por pares. |
Guía de migración de la versión preliminar a la versión GA del SDK de Gen AI Evaluation Service |
Modelos y lenguajes compatibles
El servicio de evaluación de IA generativa de Vertex AI admite los modelos de base, los modelos externos y los modelos abiertos de Google. Puedes proporcionar predicciones generadas previamente directamente o generar automáticamente respuestas de modelos candidatos de las siguientes maneras:
Genera respuestas automáticamente para los modelos de base de Google (como Gemini 1.5 Pro) y cualquier modelo implementado en Vertex AI Model Registry.
Integrar con APIs de generación de texto del SDK de otros modelos abiertos y de terceros
Une los extremos de modelos de otros proveedores con el SDK de Vertex AI.
El servicio de evaluación de IA generativa admite todos los idiomas de entrada que admite Gemini 1.5 Pro. Sin embargo, la calidad de las evaluaciones de las entradas que no están en inglés puede no ser tan alta como la de las entradas en inglés.
¿Qué sigue?
Prueba la guía de inicio rápido de evaluación.
Obtén información para ajustar un modelo de base.