Los modelos de embeddings de Vertex AI pueden generar embeddings optimizadas para varios tipos de tareas, como la recuperación de documentos, preguntas y respuesta,s y la verificación de hechos. Los tipos de tareas son etiquetas que optimizan los embeddings que genera el modelo según el caso de uso previsto. En este documento, se describe cómo elegir el tipo de tarea óptimo para tus embeddings.
Modelos compatibles
Los siguientes modelos admiten tipos de tareas:
textembedding-gecko@003text-embedding-004text-multilingual-embedding-002
Beneficios de los tipos de tareas
Los tipos de tareas pueden mejorar la calidad de los embeddings que genera un modelo de empaquetado.
Por ejemplo, cuando se compilan sistemas de Generación mejorada de recuperación (RAG), un diseño común es usar embeddings de texto y Vector Search para realizar una búsqueda de similitud. En algunos casos, esto puede provocar una degradación de la calidad de la búsqueda, ya que las preguntas y sus respuestas no son semánticamente similares. Por ejemplo, una pregunta como "¿Por qué el cielo es azul?" y su respuesta "La dispersión de la luz solar causa el color azul" tienen significados claramente diferentes como afirmaciones, lo que significa que un sistema de RAG no reconocerá automáticamente su relación, como se muestra en la figura 1. Sin tipos de tareas, un desarrollador de RAG debería entrenar su modelo para aprender la relación entre las consultas y las respuestas, lo que requiere habilidades y experiencia avanzadas en ciencia de datos, o usar la búsqueda expandida basada en LLM o HyDE, que puede generar alta latencia y costos.
Los tipos de tareas te permiten generar embeddings optimizados para tareas específicas, lo que te ahorra el tiempo y el costo que tendría el desarrollo de tus propios embeddings específicos para tareas. La embedding generada para una consulta "¿Por qué el cielo es azul?" y su respuesta "La dispersión de la luz solar causa el color azul" estaría en el espacio de embedding compartido que representa la relación entre ellos, como se muestra en la figura 2. En este ejemplo de RAG, los embeddings optimizados generarían búsquedas de similitud mejoradas.
Además del caso de uso de consulta y respuesta, los tipos de tareas también proporcionan espacio de embeddings optimizados para tareas como la clasificación, el agrupamiento en clústeres y la verificación de datos.
Tipos de tareas compatibles
Los modelos de embeddings que usan tipos de tareas admiten los siguientes tipos de tareas:
| Tipo de tarea | Descripción |
|---|---|
SEMANTIC_SIMILARITY |
Se usa para generar embeddings optimizados para evaluar la similitud del texto. |
CLASSIFICATION |
Se usa para generar embeddings optimizados para clasificar textos según las etiquetas predeterminadas |
CLUSTERING |
Se usa para generar embeddings que están optimizados para agrupar textos en función de sus similitudes. |
RETRIEVAL_DOCUMENT, RETRIEVAL_QUERY, QUESTION_ANSWERING y FACT_VERIFICATION |
Se usa para generar embeddings optimizados para la búsqueda de documentos o la recuperación de información |
El mejor tipo de tarea para tu trabajo de embeddings depende del caso de uso que tengas para tus embeddings. Antes de seleccionar un tipo de tarea, determina tu caso de uso de embeddings.
Determina tu caso de uso de embeddings
Los casos de uso de los embeddings suelen incluirse en una de cuatro categorías: evaluación de la similitud de textos, clasificación de textos, agrupamiento en clústeres de textos o recuperación de información de textos. Si tu caso de uso no se encuentra en una de las categorías anteriores, usa el tipo de tarea RETRIEVAL_QUERY de forma predeterminada.
Evalúa la similitud de textos
Si quieres usar embeddings para evaluar la similitud del texto, usa el tipo de tarea SEMANTIC_SIMILARITY. Este tipo de tarea genera embeddings que están óptimas para generar puntuaciones de similitud.
Por ejemplo, supongamos que deseas generar embeddings para usar para comparar la similitud de los siguientes textos:
- El gato está durmiendo
- El felino está durmiendo la siesta.
Cuando se usan los embeddings para crear una puntuación de similitud, esta es alta, ya que ambos textos tienen casi el mismo significado.
Considera las siguientes situaciones del mundo real en las que podría ser útil evaluar la similitud de entradas:
- En el caso de un sistema de recomendación, debes identificar los elementos (p. ej., productos, artículos o películas) que sean semánticamente similares a los elementos preferidos de un usuario, lo que proporciona recomendaciones personalizadas y mejora la satisfacción del usuario.
Clasifica textos
Si deseas usar embeddings para clasificar textos según etiquetas predeterminadas, usa el tipo de tarea CLASSIFICATION. Este tipo de tarea genera embeddings en un espacio de embeddings que está optimizado para la clasificación.
Por ejemplo, supongamos que quieres generar embeddings para publicaciones de redes sociales que luego puedes usar para clasificar las opiniones como positivas, negativas o neutrales. Cuando se clasifican los embeddings de una publicación en redes sociales que dice "No me gusta viajar en aviones", el sentimiento se clasifica como negativo.
Textos de los clústeres
Si deseas usar embeddings para agrupar textos en función de sus similitudes, usa el tipo de tarea CLUSTERING. Este tipo de tarea genera embeddings que están optimizados para agruparse según sus similitudes.
Por ejemplo, supongamos que deseas generar embeddings para artículos de noticias para mostrar a los usuarios artículos relacionados con el tema que leyeron antes. Después de que se generen y agrupen los embeddings, puedes recomendar artículos adicionales relacionados con deportes a los usuarios que leen mucho sobre este tema.
Entre los casos de uso adicionales para el agrupamiento en clústeres, se incluyen los siguientes:
- Segmentación de clientes: Agrupa a los clientes con embeddings similares generadas a partir de sus perfiles o actividades para el marketing segmentado y las experiencias personalizadas.
- Segmentación de productos: El agrupamiento en clústeres de embeddings de productos según el título y la descripción del producto, las imágenes del producto o las opiniones de los clientes puede ayudar a las empresas a realizar análisis de segmentos de sus productos.
- Investigación de mercado: El agrupamiento de respuestas de encuestas a consumidores o embeddings de datos de redes sociales puede revelar patrones y tendencias ocultos en las opiniones, preferencias y comportamientos de los consumidores, lo que ayuda a las iniciativas de investigación de mercado y a informar las estrategias de desarrollo de productos.
- Cuidado de la salud: El agrupamiento en clústeres de los embeddings de pacientes derivados de datos médicos puede ayudar a identificar grupos con afecciones similares o respuestas de tratamiento, lo que genera planes de atención médica más personalizados y terapias orientadas.
- Tendencias de los comentarios de los clientes: Agrupar los comentarios de los clientes de varios canales (encuestas, redes sociales, tickets de asistencia) en grupos puede ayudar a identificar problemas comunes, solicitudes de funciones y áreas para mejorar el producto.
Recupera información de textos
Si deseas usar embeddings para la búsqueda de documentos o la recuperación de información, y casos de uso de preguntas y respuestas, como búsqueda, chatbots o RAG, como se explica en la introducción, debes ejecutar dos trabajos de embeddings con diferentes tipos de tareas:
- Usa el tipo de tarea
RETRIEVAL_DOCUMENTpara crear embeddings optimizados para los documentos (también llamado corpus). - Usa uno de los siguientes tipos de tareas para crear embeddings optimizados para las consultas, según la naturaleza de las consultas:
RETRIEVAL_QUERY: Úsalo como el tipo de tarea predeterminado para las consultas, como "mejores restaurantes en Vancouver", "verduras verdes" o "¿Cuál es la mejor receta de galletas?".QUESTION_ANSWERING: Se usa en los casos en que todas las consultas tienen el formato de preguntas correctas, como "¿Por qué el cielo es azul?" o "¿Cómo me amarro los cordones?".FACT_VERIFICATION: Se usa en los casos en los que quieras recuperar un documento de tu corpus que compruebe o reprueba una declaración. Por ejemplo, la búsqueda "las manzanas crecen bajo tierra" podría recuperar un artículo sobre manzanas que, en última instancia, refutaría la afirmación.
Considera la siguiente situación del mundo real en la que las consultas de recuperación serían útiles:
- En el caso de una plataforma de comercio electrónico, debes usar embeddings para permitir que los usuarios busquen productos con imágenes y consultas de texto, lo que proporciona una experiencia de compra más intuitiva y atractiva.
- En el caso de una plataforma educativa, debes crear un sistema de respuesta a preguntas que pueda responder las preguntas de los estudiantes en función del contenido de los libros de texto o los recursos educativos, lo que proporciona experiencias de aprendizaje personalizadas y ayuda a los estudiantes a comprender conceptos complejos.
¿Qué sigue?
- Obtén más información para obtener embeddings de texto.