Mientras que algunas bases de datos especializadas solo admiten embeddings de vectores, otras admiten muchos otros tipos de datos y consultas además de embeddings de vectores. Esto es fundamental para desarrollar aplicaciones de IA generativa a partir de datos enriquecidos del mundo real. Como los beneficios de las consultas semánticas con incorporaciones de vectores se hacen evidentes, la mayoría de las bases de datos agregan compatibilidad con los vectores. En el futuro, creemos que todas las bases de datos serán de vectores.

Descubre cómo la búsqueda de vectores de Vertex AI permite crear aplicaciones de IA generativa de alto rendimiento. La búsqueda vectorial de Vertex AI se basa en la búsqueda escalable de vecino más próximo, o ScaNN, una tecnología de búsqueda de vectores escalable y eficiente desarrollada por Google Research, por lo que es ideal para manejar grandes conjuntos de datos y requisitos de búsqueda en tiempo real. Obtén más información sobre búsqueda de vectores y embeddings en el video que se muestra a continuación, y comienza con esta guía de inicio rápido.

Consultar con eficacia un gran conjunto de vectores requiere estrategias especializadas de indexación y búsqueda que difieren de los campos de texto o numéricos tradicionales. Como los vectores no tienen un orden lógico único, las bases de datos vectoriales se basan en los siguientes mecanismos para recuperar datos:

• Búsqueda de vecino más cercano (KNN): El caso de uso más común es identificar los vectores “k” que están más cerca de un vector de consulta. Para ello, se usan métricas de distancia como el producto punto, la similitud de coseno o la distancia euclidiana para medir la proximidad en el espacio vectorial.
• Vecinos más cercanos aproximados (ANN): Calcular la distancia exacta entre un vector de consulta y todos los demás vectores puede ser costoso en términos de procesamiento. Para reducir este costo, las bases de datos usan algoritmos ANN. Estos pueden mejorar significativamente la velocidad de búsqueda sacrificando una pequeña cantidad de exactitud (recuperación), un compromiso aceptable para la mayoría de las aplicaciones de búsqueda semántica.
• Indexación de vectores: Para habilitar búsquedas más rápidas, los índices de vectores organizan los datos de manera que se agrupen los clústeres de vectores cercanos. Las estructuras comunes incluyen listas (que representan clústeres de vectores), gráficos (que conectan vectores a vecinos) y árboles (en que las ramas representan subconjuntos de clústeres). Cada tipo de índice ofrece diferentes compensaciones en cuanto a la velocidad de búsqueda, el consumo de memoria y el tiempo de creación del índice.
• Filtrado de metadatos: La mayoría de las aplicaciones requieren más que solo similitud semántica. Por ejemplo, un usuario podría buscar un libro similar a "una conmovedora historia sobre un pez" (búsqueda de vectores) pero limitar los resultados a elementos "por menos de $20" (filtro de metadatos). Las bases de datos vectoriales avanzadas combinan estos predicados de SQL con la similitud de vectores para ejecutar consultas híbridas potentes.

AlloyDB para PostgreSQL combina la compatibilidad de PostgreSQL con la infraestructura escalable de Google. Incluye compatibilidad integrada para embeddings de vectores a través de la extensión estándar pgvector y la mejora con el índice ScaNN de Google. Esto puede permitir consultas de vectores más rápidas y habilita el “filtrado en línea”, que ayuda a optimizar las búsquedas híbridas evaluando la similitud de vectores y los filtros de metadatos simultáneamente para un mejor rendimiento.

Ejemplo: Búsqueda híbrida de bienes raíces

Una aplicación de bienes raíces en la que los usuarios quieren encontrar casas según su "estilo" (por ejemplo, "moderno de mediados de siglo con luz natural") y, al mismo tiempo, cumplir estrictamente con restricciones concretas (por ejemplo, "3 habitaciones", "menos de $800,000", "en el distrito escolar A").

• Desafío: Una búsqueda de vectores estándar podría devolver una casa de "mediados de siglo" que cuesta $2 M o está en el distrito equivocado; una consulta de SQL estándar puede filtrar por precio, pero no puede entender "estilo de mediados de siglo".
• Solución: El filtrado en línea de AlloyDB analiza el índice de vectores y comprueba los filtros de metadatos de SQL (precio, ubicación) simultáneamente en una sola pasada.
• Resultado: La app devuelve casas que coinciden con la estética y el presupuesto en milisegundos, sin la penalización de rendimiento de los resultados posteriores al filtrado.

Google Cloud integra capacidades de búsqueda de vectores directamente en sus servicios de bases de datos principales, lo que te ayuda a poner en funcionamiento la IA generativa con tus datos y flujos de trabajo existentes.

Spanner, la base de datos distribuida globalmente de Google, admite la búsqueda de vectores para aplicaciones transaccionales. Puede proporcionar una búsqueda de vectores altamente disponible y escalable con algoritmos de vecino más cercano exacto y aproximado. Esto permite que las aplicaciones globales implementen funciones como recomendaciones en tiempo real o búsqueda semántica, a la vez que mantienen la coherencia y confiabilidad estrictas.

Ejemplo: Recomendaciones en tiempo real para comercio electrónico

Una plataforma global de comercio electrónico quiere crear un motor de recomendaciones que maneje búsquedas vagas de los usuarios, como "mejores botas de senderismo para clima lluvioso", y, al mismo tiempo, garantice la disponibilidad inmediata de los productos.

• Desafío: La coincidencia tradicional de palabras clave no encuentra productos relevantes, pero no contienen los términos de búsqueda exactos (por ejemplo, una descripción que dice "resistente al agua" podría no coincidir con una búsqueda de "lluvia"); además, verificar la disponibilidad del inventario en una base de datos de vectores separada crea latencia y riesgos de coherencia de los datos durante eventos de alto tráfico.
• Solución: La plataforma agrega una columna de vectores a su tabla de productos de Spanner existente y genera embeddings con Vertex AI a través de SQL. Usa la búsqueda de vectores de Spanner para ejecutar una consulta híbrida que encuentra productos semánticamente similares y, al mismo tiempo, aplica una verificación estricta del inventario (InventoryCount > 0).
• Resultado: Los clientes reciben recomendaciones de productos precisas y personalizadas que se garantiza que están en stock, entregadas con la baja latencia y la coherencia global necesarias para una transacción en vivo.

BigQuery puede permitirte realizar análisis de vectores en conjuntos de datos masivos sin mover los datos fuera de tu almacén de datos. Con la función VECTOR_SEARCH, puedes ejecutar búsquedas de similitud con SQL estándar. Esto es particularmente útil para casos de uso analíticos, como agrupar clientes en función de su comportamiento o identificar tendencias de productos similares en miles de millones de filas de datos.

Ejemplo: Detección de amenazas de ciberseguridad a gran escala

Un equipo de seguridad necesita analizar petabytes de registros de servidores para identificar actividades maliciosas. Los atacantes suelen modificar ligeramente su código para evadir las búsquedas de palabras clave de concordancia exacta.

• Desafío: Las búsquedas de palabras clave no detectan las variaciones sutiles de ataques conocidos (por ejemplo, cambiar el nombre de una variable en una secuencia de comandos maliciosa).
• Solución: El equipo usa BigQuery para generar embeddings para miles de millones de entradas de registro; luego, ejecuta una consulta VECTOR_SEARCH para encontrar todos los registros semánticamente similares a una firma de exploit conocida, lo que identifica nuevas variantes del ataque.
• Resultado: Pueden detectar y agrupar amenazas de día cero en años de datos históricos con SQL simple, sin necesidad de mover datos a una base de datos de vectores especializada.