El Almacén de ejemplos te permite almacenar y recuperar dinámicamente ejemplos de aprendizaje con pocos ejemplos. Como resultado, es posible demostrar los patrones de respuesta esperados a un LLM para mejorar la calidad, la exactitud y la coherencia de sus respuestas a consultas similares.
¿Qué son los ejemplos con pocos intentos?
Un ejemplo de aprendizaje con pocos ejemplos son los datos etiquetados específicos para tu caso de uso del LLM. Incluye un par de entrada-salida que demuestra la respuesta esperada del modelo para una solicitud del modelo. Puedes usar ejemplos para demostrar el comportamiento o el patrón de respuesta esperados de un LLM.
Con solo unos pocos ejemplos pertinentes, puedes abarcar un conjunto más grande de resultados posibles, comportamiento previsto y entradas del usuario sin aumentar de forma correspondiente el tamaño o la complejidad de las instrucciones. Esto se logra incluyendo solo ejemplos pertinentes (lo que disminuye la cantidad de ejemplos incluidos) y "mostrando, no diciendo" el comportamiento esperado.
El uso de ejemplos con pocos disparos es una forma de aprendizaje en contexto. Un ejemplo muestra un patrón claro de entradas y salidas, sin explicar cómo el modelo genera el contenido. Puedes abarcar más resultados posibles o búsquedas de los usuarios con relativamente pocos ejemplos, sin aumentar el tamaño de la instrucción ni la complejidad del código. El uso de ejemplos no implica actualizar los parámetros del modelo previamente entrenado ni afecta la amplitud del conocimiento del LLM. Esto hace que el aprendizaje en contexto con ejemplos sea un enfoque relativamente ligero y conciso para personalizar, corregir o mejorar el razonamiento y la respuesta de un LLM a instrucciones no vistas.
Si recopilas ejemplos relevantes que sean representativos de las búsquedas de los usuarios, ayudarás al modelo a mantener la atención, demostrar el patrón esperado y rectificar el comportamiento incorrecto o inesperado. Esto no afecta otras solicitudes que generan las respuestas esperadas.
Al igual que todas las estrategias de ingeniería de instrucciones, el uso de ejemplos con pocos intentos se suma a otras técnicas de optimización de LLM, como el ajuste fino o el RAG.
Cómo usar Example Store
En los siguientes pasos, se describe cómo puedes usar Example Store:
Crea o reutiliza un recurso
ExampleStore, también llamado "instancia de Example Store".- Para cada región y proyecto, puedes tener un máximo de 50 instancias de Example Store.
Escribir y subir ejemplos basados en las respuestas del LLM Existen dos situaciones posibles:
Si el comportamiento y el patrón de respuesta del LLM son los esperados, escribe ejemplos basados en estas respuestas y súbelos a la instancia de Example Store.
Si el LLM muestra un comportamiento o patrones de respuesta inesperados, escribe un ejemplo para demostrar cómo corregir la respuesta y, luego, súbelo a la instancia de Example Store.
Los ejemplos subidos están disponibles de inmediato para el agente o la aplicación de LLM asociados con la instancia de Example Store.
Si un agente basado en el Vertex AI Agent Development Kit está vinculado a la instancia de Example Store, el agente recupera automáticamente los ejemplos y los incluye en la solicitud del LLM.
Para todas las demás aplicaciones de LLM, debes buscar y recuperar los ejemplos, y, luego, incluirlos en tus instrucciones.
Puedes seguir agregando ejemplos de forma iterativa a una instancia de Example Store cada vez que observes un rendimiento inesperado del LLM o encuentres consultas adversarias o inesperadas de los usuarios. No es necesario que actualices tu código ni que vuelvas a implementar una nueva versión de tu aplicación basada en LLM. Los ejemplos estarán disponibles para el agente o la aplicación en cuanto los subas a la instancia de Example Store.
Además, puedes hacer lo siguiente:
Recupera ejemplos realizando una búsqueda de similitud coseno entre las claves de búsqueda de los ejemplos almacenados y las de tu consulta.
Filtra los ejemplos por nombre de función y refina la lista de ejemplos candidatos para incluir solo aquellos que representan las posibles respuestas del LLM.
Mejora de forma iterativa tu agente o aplicación de LLM
Comparte ejemplos con varios agentes o aplicaciones de LLM.
Lineamientos para crear ejemplos con pocos intentos
El impacto de los ejemplos en el rendimiento del modelo depende de los tipos de ejemplos que se incluyen en las instrucciones y de cómo se incluyen.
Las siguientes son prácticas recomendadas generales para crear ejemplos:
Relevancia y similitud: Los ejemplos deben estar estrechamente relacionados con la tarea o el dominio específicos. Esto ayuda al modelo a enfocarse en los aspectos más relevantes de su conocimiento, disminuye el uso de tokens y mantiene o incluso mejora el rendimiento. Necesitas menos ejemplos si son relevantes para la conversación. El corpus de los ejemplos disponibles debe ser representativo de las posibles búsquedas de los usuarios. Además, un ejemplo debe ser pertinente para una búsqueda determinada del usuario.
Complejidad: Para ayudar al LLM a tener un mejor rendimiento, usa ejemplos de baja complejidad para demostrar el razonamiento esperado.
Representativo de los posibles resultados del modelo: Las respuestas esperadas en un ejemplo deben ser coherentes con el resultado posible. Esto permite que el ejemplo demuestre claramente un razonamiento coherente con el razonamiento esperado del LLM para la instrucción.
Formato: Para obtener el mejor rendimiento, formatea los ejemplos de pocos disparos en tu instrucción de una manera coherente con los datos de entrenamiento del LLM y diferenciada del historial de conversación. El formato de los ejemplos en una instrucción puede afectar considerablemente el rendimiento del LLM.
Ejemplo de caso de uso: Llamada a función
Puedes usar ejemplos de aprendizaje con pocos ejemplos para mejorar el rendimiento de las llamadas a funciones.
Puedes indicar la llamada a la función esperada para una búsqueda del usuario con un patrón coherente. El ejemplo puede modelar la respuesta esperada a la solicitud incluyendo qué función se debe invocar y los argumentos que se deben incluir en la llamada a la función. Considera un caso de uso en el que la función get_store_location devuelve la ubicación de una tienda y su descripción. Si una búsqueda no invoca esta función como se espera o muestra un resultado inesperado, puedes usar ejemplos de pocos disparos para corregir este comportamiento en búsquedas posteriores.
Para obtener más información sobre las llamadas a funciones, consulta Llamadas a funciones.
Para obtener más información, consulta la Guía de inicio rápido de Example Store.
¿Qué sigue?
Obtén más información para crear una tienda de ejemplo.
Obtén más información para enseñar a un agente con ejemplos