La búsqueda vectorial se basa en la tecnología de búsqueda vectorial desarrollada por la investigación de Google. Con la Búsqueda de Vectores, puedes beneficiarte de la misma investigación y tecnología que proporciona una base para los productos de Google, como la Búsqueda de Google, YouTube y Google Play.
La Búsqueda de Vectores, potenciada por el algoritmo ScaNN que desarrolló Google Research, ofrece la misma escalabilidad, disponibilidad y rendimiento que sustentan los productos de Google, como la Búsqueda de Google, YouTube y Google Play. Esto la convierte en una solución ideal para crear sistemas de búsqueda y recomendación de nivel empresarial, y aplicaciones de IA generativa.
|
|
Infinite Fleurs: Descubre la creatividad asistida por IA en pleno apogeo |
|
Comenzar
Guía de inicio rápido de Vector Search: Prueba Vector Search en 30 minutos. Para ello, compila, implementa y consulta un índice de Vector Search con un conjunto de datos de muestra. En este instructivo, se abordan la configuración, la preparación de datos, la creación de índices, la implementación, las consultas y la limpieza.
Antes de comenzar: Para preparar tus incorporaciones, elige y entrena un modelo, y prepara tus datos. Luego, elige un extremo público o privado en el que se implementará tu índice de consulta.
Precios y calculadora de precios de la Búsqueda de vectores: Los precios de la Búsqueda de vectores incluyen el costo de las máquinas virtuales que se usan para alojar los índices implementados, así como los gastos de compilación y actualización de los índices. Incluso una configuración mínima (menos de USD 100 por mes) puede admitir una alta capacidad de procesamiento para casos de uso de tamaño moderado. Para calcular tus costos mensuales, sigue estos pasos:
- Ve a la calculadora de precios de Google Cloud.
- Haz clic en Agregar a la estimación.
- Busca Vertex AI.
- Haz clic en el botón Vertex AI.
- Elige Vertex AI Vector Search en el menú desplegable Service type.
- Mantén la configuración predeterminada o configura la tuya. El costo mensual estimado se muestra en el panel Detalles del costo.
Documentación
Casos de uso y blogs
La tecnología de búsqueda de vectores se está convirtiendo en un centro central para las empresas que usan IA. De manera similar a cómo funcionan las bases de datos relacionales en los sistemas de TI, conecta varios elementos de la empresa, como documentos, contenido, productos, usuarios, eventos y otras entidades, según su relevancia. Además de buscar contenido multimedia convencional, como documentos e imágenes,la Búsqueda de vectores también puede generar recomendaciones inteligentes, vincular problemas empresariales con soluciones y hasta vincular indicadores de la IoT a alertas de supervisión. Es una herramienta versátil que es esencial para navegar por el panorama creciente de datos empresariales habilitados por IA.
|
Búsqueda o recuperación de información
Sistemas de recomendación |
eBay usa la Búsqueda de vectores para las recomendaciones: Destaca cómo eBay usa la Búsqueda de vectores para su sistema de recomendación. Esta tecnología permite que eBay encuentre productos similares dentro de su extenso catálogo, lo que mejora la experiencia del usuario. Mercari aprovecha la tecnología de búsqueda vectorial de Google para crear un nuevo mercado: Explica cómo Mercari usa la Búsqueda vectorial para mejorar su nueva plataforma de mercado. La Búsqueda de vectores potencia las recomendaciones de la plataforma, lo que ayuda a los usuarios a encontrar productos relevantes de manera más eficaz. Vertex AI Embeddings for Text: Grounding LLMs made easy: Se enfoca en fundamentar los LLM con las incorporaciones de Vertex AI para datos de texto. La Búsqueda vectorial desempeña un papel importante en la búsqueda de pasajes de texto relevantes que garanticen que las respuestas del modelo se basen en información fáctica. What is Multimodal Search: "LLMs with vision" change businesses: En este artículo, se analiza la búsqueda multimodal, que combina LLM con la comprensión visual. En ella, se explica cómo la Búsqueda vectorial procesa y compara datos de texto e imágenes, lo que permite experiencias de búsqueda más completas. Escala la recuperación profunda con los recomendadores de TensorFlow y Vertex AI Matching Engine: Explica cómo crear un sistema de recomendación de playlists con los recomendadores de TensorFlow y Vector Search, que abarca los modelos de recuperación profunda, el entrenamiento, la implementación y la escalabilidad. |
|
IA generativa: recuperación para RAG y agentes |
Vertex AI y Denodo desbloquean los datos empresariales con la IA generativa: Muestra cómo la integración de Vertex AI con Denodo permite a las empresas usar la IA generativa para obtener estadísticas a partir de sus datos. La búsqueda de vectores es clave para acceder y analizar de manera eficiente los datos relevantes en un entorno empresarial. Naturaleza infinita y la naturaleza de las industrias: Esta demostración “salvaje” muestra las diversas posibilidades de la IA: Muestra una demostración que ilustra el potencial de la IA en diferentes industrias. Utiliza la Búsqueda de vectores para potenciar las recomendaciones generativas y la búsqueda semántica multimodal. Infinite Fleurs: Descubre la creatividad asistida por IA en plena floración: Infinite Fleurs de Google, un experimento de IA que usa modelos de Búsqueda de vectores, Gemini e Imagen, genera ramos de flores únicos en función de las instrucciones de los usuarios. Esta tecnología demuestra el potencial de la IA para inspirar la creatividad en varias industrias. LlamaIndex para la generación aumentada de recuperación (RAG) en Google Cloud: Describe cómo usar LlamaIndex para facilitar la generación aumentada de recuperación (RAG) con modelos de lenguaje grandes. LlamaIndex utiliza la Búsqueda de vectores para recuperar información relevante de una base de conocimiento, lo que genera respuestas más precisas y contextualmente adecuadas. RAG y puesta a tierra en Vertex AI: Examina las técnicas de RAG y puesta a tierra en Vertex AI. La Búsqueda de vectores ayuda a identificar información de fundamentación relevante durante la recuperación, lo que hace que el contenido generado sea más preciso y confiable. Búsqueda de vectores de Vertex AI en LangChain: proporciona una guía para usar la Búsqueda de vectores con LangChain para compilar e implementar un índice de base de datos de vectores para datos de texto, lo que incluye la respuesta a preguntas y el procesamiento de PDF. |
|
IE, estadísticas de datos, supervisión y mucho más |
Habilita la IA en tiempo real con la transferencia de transmisión en Vertex AI: Explora la actualización de transmisión en la Búsqueda de vectores y cómo proporciona capacidades de IA en tiempo real. Esta tecnología permite el procesamiento y el análisis en tiempo real de los flujos de datos entrantes. |
Recursos relacionados
Puedes usar los siguientes recursos para comenzar a usar la Búsqueda de vectores:
- Notebooks y soluciones
- Instructivos y capacitación
- Productos relacionados
- Material de análisis detallado
Notebooks y soluciones
|
|
|
Guía de inicio rápido de la búsqueda de vectores de Vertex AI: Proporciona una descripción general de la Búsqueda de vectores. Está diseñado para usuarios que son nuevos en la plataforma y quieren comenzar a usarla rápidamente. |
Comienza a usar la búsqueda de vectores y las incorporaciones de texto: Presenta las incorporaciones de texto y la búsqueda de vectores. En él, se explica cómo funcionan estas tecnologías y cómo se pueden usar para mejorar los resultados de la búsqueda. |
|
|
|
Instructivo de búsqueda híbrida con la Búsqueda de vectores de Vertex AI: Proporciona instrucciones para usar la Búsqueda de vectores en la búsqueda híbrida. En él, se describen los pasos necesarios para configurar un sistema de búsqueda híbrida. |
Motor de RAG de Gemini con Búsqueda de vectores: Explora el uso del motor de RAG de Gemini con la Búsqueda de vectores. En él, se analizan los beneficios de usar estas dos tecnologías en conjunto y se proporcionan ejemplos de cómo se pueden usar en aplicaciones del mundo real. |
|
|
|
Infraestructura para una aplicación de IA generativa compatible con RAG mediante Vertex AI y Vector Search: Detalles de la arquitectura para compilar una aplicación de IA generativa y RAG con Vector Search, Cloud Run y Cloud Storage, que abarca casos de uso, opciones de diseño y consideraciones clave. |
Capacitación
Comienza a usar la búsqueda de vectores y las incorporaciones La búsqueda de vectores se usa para encontrar elementos similares o relacionados. Se puede usar para recomendaciones, búsqueda, chatbots y clasificación de texto. El proceso implica crear incorporaciones, subirlas a Google Cloudy indexarlas para realizar consultas. En este lab, se enfocan las incorporaciones de texto con Vertex AI, pero las incorporaciones se pueden generar para otros tipos de datos.
Búsqueda de vectores y embeddings En este curso, se presenta la Búsqueda de vectores de Vertex AI y se describe cómo puede usarse para compilar una aplicación de búsqueda con APIs de modelo de lenguaje grande (LLM) para embeddings. El curso se compone de lecciones conceptuales sobre la búsqueda de vectores y las incorporaciones de texto, demostraciones prácticas para compilar una búsqueda de vectores en Vertex AI y un lab práctico.
Comprende y aplica las incorporaciones de texto La API de incorporaciones de Vertex AI genera incorporaciones de texto, que son representaciones numéricas del texto que se usan para tareas como identificar elementos similares. En este curso, usarás incorporaciones de texto para tareas como la clasificación y la búsqueda semántica, y combinarás la búsqueda semántica con LLM para compilar sistemas de respuesta a preguntas con Vertex AI.
Curso intensivo de aprendizaje automático: Incorporaciones En este curso, se presentan las incorporaciones de palabras y se las contrasta con las representaciones dispersas. Explora métodos para obtener incorporaciones y diferencia entre incorporaciones estáticas y contextuales.
Productos relacionados
Vertex AI Embeddings Proporciona una descripción general de la API de Embeddings. Casos de uso de incorporación de texto y multimodal, junto con vínculos a recursos adicionales y servicios Google Cloud relacionados.
API de clasificación de Vertex AI Agent Builder La API de clasificación vuelve a clasificar los documentos en función de la relevancia para una consulta con un modelo de lenguaje previamente entrenado, lo que proporciona puntuaciones precisas. Es ideal para mejorar los resultados de la búsqueda de varias fuentes, incluida la búsqueda de vectores.
Vertex AI Feature Store Te permite administrar y entregar datos de atributos con BigQuery como fuente de datos. Aprovisiona recursos para la publicación en línea y actúa como una capa de metadatos para publicar los valores de atributos más recientes directamente desde BigQuery. Feature Store permite la recuperación instantánea de los valores de los atributos de los elementos que muestra Vector Store para las consultas.
Vertex AI Pipelines Vertex AI Pipelines permite la automatización, la supervisión y la administración de tus sistemas de AA de manera sin servidores mediante la organización de flujos de trabajo de AA con tuberías de AA. Puedes ejecutar en lotes canalizaciones de AA definidas con Kubeflow Pipelines o el framework TensorFlow Extended (TFX). Pipelines permite compilar canalizaciones automatizadas para generar incorporaciones, crear y actualizar índices de búsqueda vectorial, y formar una configuración de operaciones de AA para sistemas de recomendación y búsqueda de producción.
Recursos de análisis detallado
Mejora tu caso de uso de IA generativa con incorporaciones y tipos de tareas de Vertex AI se enfoca en mejorar las aplicaciones de IA generativa con incorporaciones y tipos de tareas de Vertex AI. La Búsqueda vectorial se puede usar con embeddings de tipo de tarea para mejorar el contexto y la precisión del contenido generado, ya que encuentra información más relevante.
TensorFlow Recommenders Es una biblioteca de código abierto para compilar sistemas de recomendación. Simplifica el proceso desde la preparación de los datos hasta la implementación y admite la compilación de modelos flexibles. TFRS ofrece instructivos y recursos, y permite la creación de modelos de recomendación complejos.
TensorFlow Ranking TensorFlow Ranking es una biblioteca de código abierto para compilar modelos escalables de aprendizaje neuronal para clasificar (LTR). Admite varias funciones de pérdida y métricas de clasificación, con aplicaciones en la búsqueda, las recomendaciones y otros campos. La biblioteca es desarrollada de forma activa por la IA de Google.
Presentamos ScaNN: Búsqueda de similitud vectorial eficaz Scann de Google, un algoritmo para la búsqueda de similitud vectorial eficaz, utiliza una técnica novedosa para mejorar la precisión y la velocidad en la búsqueda de vecinos más cercanos. Supera a los métodos existentes y tiene amplias aplicaciones en tareas de aprendizaje automático que requieren búsqueda semántica. Los esfuerzos de investigación de Google abarcan varias áreas, como el AA fundamental y los impactos sociales de la IA.
SOAR: Nuevos algoritmos para una búsqueda de vectores aún más rápida con ScaNN El algoritmo SOAR de Google mejora la eficiencia de la búsqueda de vectores, ya que introduce una redundancia controlada, lo que permite búsquedas más rápidas con índices más pequeños. SOAR asigna vectores a varios clústeres y crea rutas de búsqueda de "copia de seguridad" para mejorar el rendimiento.
Videos relacionados
Comienza a usar la Búsqueda de vectores con Vertex AI
La búsqueda vectorial es una herramienta potente para crear aplicaciones impulsadas por IA. En este video, se presenta la tecnología y se proporciona una guía paso a paso para comenzar a usarla.
Aprende a usar la búsqueda híbrida con la Búsqueda de vectores
La Búsqueda de Vectores se puede usar para la búsqueda híbrida, lo que te permite combinar la potencia de la búsqueda de vectores con la flexibilidad y la velocidad de un motor de búsqueda convencional. En este video, se presenta la búsqueda híbrida y se muestra cómo usar la Búsqueda de vectores para la búsqueda híbrida.
Ya usas la búsqueda de vectores Cómo ser un experto
¿Sabías que probablemente usas la búsqueda vectorial todos los días sin darte cuenta? Desde encontrar ese producto difícil de encontrar en las redes sociales hasta rastrear una canción que se te quedó pegada en la cabeza, la búsqueda vectorial es la magia de la IA detrás de estas experiencias cotidianas.
El nuevo embedding de "tipo de tarea" del equipo de DeepMind mejora la calidad de la búsqueda de RAG
Mejora la precisión y la relevancia de tus sistemas de RAG con nuevos tipos de tareas de embeddings desarrollados por el equipo de Google DeepMind. Mira el video y obtén información sobre los desafíos comunes en la calidad de la búsqueda de RAG y cómo las incorporaciones de tipo de tarea pueden cerrar de manera eficaz la brecha semántica entre las preguntas y las respuestas, lo que lleva a una recuperación más eficaz y un rendimiento mejorado de RAG.
Terminología de Búsqueda de Vectores
En esta lista, se incluye terminología importante que deberás comprender para usar Vector Search:
Vectores: Un vector es una lista de valores de números de punto flotante que tienen magnitud y dirección. Se puede usar para representar cualquier tipo de datos, como números, puntos en el espacio y direcciones.
Incorporación: una incorporación es un tipo de vector que se usa para representar datos de una manera que captura su significado semántico. Por lo general, las incorporaciones se crean con técnicas de aprendizaje automático y, a menudo, se usan en el procesamiento de lenguaje natural (PLN) y otras aplicaciones de aprendizaje automático.
Embeddings densos: Los embeddings densos representan el significado semántico del texto con arrays que contienen principalmente valores distintos de cero. Con embeddings densos, se pueden mostrar resultados de búsqueda similares en función de la similitud semántica.
Embeddings dispersos: Los embeddings dispersos representan la sintaxis de texto con arrays de alta dimensión que contienen muy pocos valores distintos de cero en comparación con los embeddings densos. Los embeddings dispersos suelen usarse para las búsquedas de palabras clave.
Búsqueda híbrida: La búsqueda híbrida usa embeddings densos y dispersos, lo que te permite realizar búsquedas basadas en una combinación de búsqueda de palabras clave y búsqueda semántica. La búsqueda vectorial admite la búsqueda basada en embeddings densos, embeddings dispersos y la búsqueda híbrida.
índice: es una colección de vectores implementados juntos para la búsqueda de similitud. Los vectores pueden agregarse a un índice o quitarse de este. Las consultas de búsqueda de similitud se emiten a un índice específico y buscan los vectores en ese índice.
Verdad fundamental: Un término que se refiere a la verificación del aprendizaje automático para la exactitud en el mundo real, como un conjunto de datos de verdad fundamental.
Recuperación: Es el porcentaje de vecinos más cercanos que muestra el índice que en realidad son vecinos más cercanos. Por ejemplo, si una consulta de vecino más cercano a 20 vecinos más cercanos mostró 19 de los vecinos más cercanos de “verdad fundamental”, la recuperación será 19/20*100 = 95%.
Restringir: Es una función que limita las búsquedas a un subconjunto del índice mediante reglas booleanas. La restricción también se conoce como “filtrado”. Con Vector Search, puedes usar el filtrado numérico y el filtrado de atributos de texto.