Realiza una búsqueda vectorial

En este instructivo, se describe cómo configurar y realizar una búsqueda vectorial en AlloyDB para PostgreSQL con la consola de Google Cloud. Se incluyen ejemplos para mostrar las capacidades de la búsqueda de vectores y solo se usan con fines de demostración.

Para aprender a realizar una búsqueda vectorial con incorporaciones de Vertex AI, consulta Cómo comenzar a usar las incorporaciones vectoriales con la IA de AlloyDB.

Objetivos

  • Crea un clúster y una instancia principal de AlloyDB.
  • Conéctate a tu base de datos y, luego, instala las extensiones necesarias.
  • Crea una tabla product y product inventory.
  • Inserta datos en las tablas product y product inventory y realiza una búsqueda vectorial básica.
  • Crea un índice ScaNN en la tabla products.
  • Realiza una búsqueda vectorial simple.
  • Realiza una búsqueda vectorial compleja con un filtro y una unión.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando finalices las tareas que se describen en este documento, puedes borrar los recursos que creaste para evitar que continúe la facturación. Para obtener más información, consulta Cómo realizar una limpieza.

Antes de comenzar

Habilita la facturación y las APIs necesarias

  1. En la consola de Google Cloud, ve a la página Clústeres.

    Ir al selector de proyectos

  2. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud .

  3. Habilita las API de Cloud necesarias para crear AlloyDB para PostgreSQL y conectarte a él.

    Habilita las APIs

    1. En el paso Confirmar proyecto, haz clic en Siguiente para confirmar el nombre del proyecto en el que realizarás cambios.

    2. En el paso Habilitar APIs, haz clic en Habilitar para habilitar lo siguiente:

      • API de AlloyDB
      • API de Compute Engine
      • API de Service Networking
      • La API de Vertex AI

Crea un clúster y una instancia principal de AlloyDB

  1. En la consola de Google Cloud, ve a la página Clústeres.

    Ir a los clústeres

  2. Haga clic en Crear clúster.

  3. En ID de clúster, ingresa my-cluster.

  4. Ingresa una contraseña. Toma nota de esta contraseña porque la usarás en este instructivo.

  5. Selecciona una región, por ejemplo, us-central1 (Iowa).

  6. Selecciona la red predeterminada.

    Si tienes una conexión de acceso privado, continúa con el siguiente paso. De lo contrario, haz clic en Configurar conexión y sigue estos pasos:

    1. En Asigna un rango de IP, haz clic en Usar un rango de IP asignado automáticamente.
    2. Haz clic en Continuar y, luego, en Crear conexión.

  7. En Disponibilidad zonal, selecciona Zona única.

  8. Selecciona el tipo de máquina 2 vCPU,16 GB.

  9. En Conectividad, selecciona Habilitar IP pública.

  10. Haga clic en Crear clúster. Es posible que AlloyDB tarde varios minutos en crear el clúster y mostrarlo en la página Descripción general del clúster principal.

  11. En Instancias en tu clúster, expande el panel Conectividad. Toma nota del URI de conexión, ya que lo usarás en este instructivo.

    El URI de conexión tiene el formato projects/<var>PROJECT_ID</var>/locations/<var>REGION_ID</var>/clusters/my-cluster/instances/my-cluster-primary.

Otorga permiso de usuario de Vertex AI al agente de servicio de AlloyDB

Para permitir que AlloyDB use los modelos de embeddings de texto de Vertex AI, debes agregar permisos de usuario de Vertex AI al agente de servicio de AlloyDB para el proyecto en el que se encuentran tu clúster y tu instancia.

Para obtener más información sobre cómo agregar los permisos, consulta Otorga permiso de usuario de Vertex AI al agente de servicio de AlloyDB.

Conéctate a tu base de datos con un navegador web

  1. En la consola de Google Cloud, ve a la página Clústeres.

    Ir a los clústeres

  2. En la columna Nombre del recurso, haz clic en el nombre de tu clúster, my-cluster.

  3. En el panel de navegación, haz clic en AlloyDB Studio.

  4. En la página Sign in to AlloyDB Studio, sigue estos pasos:

    1. Selecciona la base de datos postgres.
    2. Selecciona el usuario postgres.
    3. Ingresa la contraseña que creaste en Crea un clúster y su instancia principal.
    4. Haz clic en Autenticar. En el panel Explorador, se muestra una lista de los objetos de la base de datos postgres.

  5. Para abrir una pestaña nueva, haz clic en + Nueva pestaña del editor de SQL o + Nueva pestaña.

Instala las extensiones obligatorias

Ejecuta la siguiente consulta para instalar las extensiones vector, alloydb_scann y google_ml_integration:

  CREATE EXTENSION IF NOT EXISTS vector;
  CREATE EXTENSION IF NOT EXISTS alloydb_scann;
  CREATE EXTENSION IF NOT EXISTS google_ml_integration CASCADE;

Cómo insertar datos de productos y de inventario de productos y realizar una búsqueda vectorial básica

  1. Ejecuta la siguiente sentencia para crear una tabla product que haga lo siguiente:

    • Almacena información básica de los productos.
    • Incluye una columna de vectores embedding que calcula y almacena un vector de embeddings para una descripción de producto de cada producto.
      CREATE TABLE product (
    id INT PRIMARY KEY,
    name VARCHAR(255) NOT NULL,
    description TEXT,
    category VARCHAR(255),
    color VARCHAR(255),
    embedding vector(768) GENERATED ALWAYS AS (embedding('text-embedding-005', description)) STORED
  );

  2. Ejecuta la siguiente consulta para crear una tabla product_inventory que almacene información sobre el inventario disponible y los precios correspondientes. En este instructivo, se usan las tablas product_inventory y product para ejecutar consultas de búsqueda vectorial complejas.

    CREATE TABLE product_inventory (
  id INT PRIMARY KEY,
  product_id INT REFERENCES product(id),
  inventory INT,
  price DECIMAL(10,2)
);

  3. Ejecuta la siguiente consulta para insertar datos de productos en la tabla product:

    INSERT INTO product (id, name, description,category, color) VALUES
(1, 'Stuffed Elephant', 'Soft plush elephant with floppy ears.', 'Plush Toys', 'Gray'),
(2, 'Remote Control Airplane', 'Easy-to-fly remote control airplane.', 'Vehicles', 'Red'),
(3, 'Wooden Train Set', 'Classic wooden train set with tracks and trains.', 'Vehicles', 'Multicolor'),
(4, 'Kids Tool Set', 'Toy tool set with realistic tools.', 'Pretend Play', 'Multicolor'),
(5, 'Play Food Set', 'Set of realistic play food items.', 'Pretend Play', 'Multicolor'),
(6, 'Magnetic Tiles', 'Set of colorful magnetic tiles for building.', 'Construction Toys', 'Multicolor'),
(7, 'Kids Microscope', 'Microscope for kids with different magnification levels.', 'Educational Toys', 'White'),
(8, 'Telescope for Kids', 'Telescope designed for kids to explore the night sky.', 'Educational Toys', 'Blue'),
(9, 'Coding Robot', 'Robot that teaches kids basic coding concepts.', 'Educational Toys', 'White'),
(10, 'Kids Camera', 'Durable camera for kids to take pictures and videos.', 'Electronics', 'Pink'),
(11, 'Walkie Talkies', 'Set of walkie talkies for kids to communicate.', 'Electronics', 'Blue'),
(12, 'Karaoke Machine', 'Karaoke machine with built-in microphone and speaker.', 'Electronics', 'Black'),
(13, 'Kids Drum Set', 'Drum set designed for kids with adjustable height.', 'Musical Instruments', 'Blue'),
(14, 'Kids Guitar', 'Acoustic guitar for kids with nylon strings.', 'Musical Instruments', 'Brown'),
(15, 'Kids Keyboard', 'Electronic keyboard with different instrument sounds.', 'Musical Instruments', 'Black'),
(16, 'Art Easel', 'Double-sided art easel with chalkboard and whiteboard.', 'Arts & Crafts', 'White'),
(17, 'Finger Paints', 'Set of non-toxic finger paints for kids.', 'Arts & Crafts', 'Multicolor'),
(18, 'Modeling Clay', 'Set of colorful modeling clay.', 'Arts & Crafts', 'Multicolor'),
(19, 'Watercolor Paint Set', 'Watercolor paint set with brushes and palette.', 'Arts & Crafts', 'Multicolor'),
(20, 'Beading Kit', 'Kit for making bracelets and necklaces with beads.', 'Arts & Crafts', 'Multicolor'),
(21, '3D Puzzle', '3D puzzle of a famous landmark.', 'Puzzles', 'Multicolor'),
(22, 'Race Car Track Set', 'Race car track set with cars and accessories.', 'Vehicles', 'Multicolor'),
(23, 'RC Monster Truck', 'Remote control monster truck with oversized tires.', 'Vehicles', 'Green'),
(24, 'Train Track Expansion Set', 'Expansion set for wooden train tracks.', 'Vehicles', 'Multicolor');

  4. Opcional: Ejecuta la siguiente consulta para verificar que los datos se hayan insertado en la tabla product:

    SELECT * FROM product;

  5. Ejecuta la siguiente consulta para insertar datos de inventario en la tabla product_inventory:

    INSERT INTO product_inventory (id, product_id, inventory, price) VALUES
(1, 1, 9, 13.09),
(2, 2, 40, 79.82),
(3, 3, 34, 52.49),
(4, 4, 9, 12.03),
(5, 5, 36, 71.29),
(6, 6, 10, 51.49),
(7, 7, 7, 37.35),
(8, 8, 6, 10.87),
(9, 9, 7, 42.47),
(10, 10, 3, 24.35),
(11, 11, 4, 10.20),
(12, 12, 47, 74.57),
(13, 13, 5, 28.54),
(14, 14, 11, 25.58),
(15, 15, 21, 69.84),
(16, 16, 6, 47.73),
(17, 17, 26, 81.00),
(18, 18, 11, 91.60),
(19, 19, 8, 78.53),
(20, 20, 43, 84.33),
(21, 21, 46, 90.01),
(22, 22, 6, 49.82),
(23, 23, 37, 50.20),
(24, 24, 27, 99.27);

  6. Ejecuta la siguiente consulta de búsqueda vectorial que intenta encontrar productos similares a la palabra music. Esto significa que, aunque la palabra music no se menciona de forma explícita en la descripción del producto, el resultado muestra productos relevantes para la búsqueda:

    SELECT * FROM product
ORDER BY embedding <=> embedding('text-embedding-005', 'music')::vector
LIMIT 3;

    El resultado de la consulta es el siguiente: Resultado de la búsqueda básica

    Cuando se realiza una búsqueda vectorial básica sin crear un índice, se usa la búsqueda de vecino más cercano exacto (KNN), que proporciona una recuperación eficiente. A gran escala, el uso de KNN podría afectar el rendimiento. Para obtener un mejor rendimiento de las consultas, te recomendamos que uses el índice ScaNN para la búsqueda de vecino más cercano aproximado (ANN), que proporciona una alta recuperación con latencias bajas.

    Sin crear un índice, AlloyDB usa de forma predeterminada la búsqueda exacta del vecino más cercano (KNN).

    Para obtener más información sobre el uso de ScaNN a gran escala, consulta Cómo comenzar a usar las incorporaciones vectoriales con la IA de AlloyDB.

Crea un índice de ScaNN en la tabla de productos

Ejecuta la siguiente consulta para crear un índice ScaNN product_index en la tabla product:

  CREATE INDEX product_index ON product
  USING scann (embedding cosine)
  WITH (num_leaves=5);

El parámetro num_leaves indica la cantidad de nodos hoja con los que el índice basado en árboles compila el índice. Para obtener más información sobre cómo ajustar este parámetro, consulta Cómo ajustar el rendimiento de las consultas vectoriales.

Ejecuta la siguiente búsqueda de vectores que intenta encontrar productos similares a la búsqueda de lenguaje natural music. Aunque la palabra music no se incluye en la descripción del producto, el resultado muestra productos relevantes para la búsqueda:

SET LOCAL scann.num_leaves_to_search = 2;

SELECT * FROM product
ORDER BY embedding <=> embedding('text-embedding-005', 'music')::vector
  LIMIT 3;

Los resultados de la consulta son los siguientes: Resultado de la búsqueda de vectores

El parámetro de consulta scann.num_leaves_to_search controla la cantidad de nodos hoja que se buscan durante una búsqueda de similitud. Los valores de los parámetros num_leaves y scann.num_leaves_to_search ayudan a lograr un equilibrio entre el rendimiento y la recuperación.

Puedes ejecutar consultas de búsqueda vectorial filtradas de manera eficiente, incluso cuando usas el índice de ScaNN. Ejecuta la siguiente consulta de búsqueda de vectores compleja, que muestra resultados relevantes que satisfacen las condiciones de la consulta, incluso con filtros:

SET LOCAL scann.num_leaves_to_search = 2;

SELECT * FROM product p
JOIN product_inventory pi ON p.id = pi.product_id
WHERE pi.price < 80.00
ORDER BY embedding <=> embedding('text-embedding-005', 'music')::vector
LIMIT 3;

Limpia

  1. En la consola de Google Cloud, ve a la página Clústeres.

    Ir a los clústeres

  2. Haz clic en el nombre de tu clúster, my-cluster, en la columna Nombre del recurso.

  3. Haz clic en Borrar clúster.

  4. En Delete cluster my-cluster, ingresa my-cluster para confirmar que quieres borrar el clúster.

  5. Haz clic en Borrar.

  6. Si creaste una conexión privada cuando creaste un clúster, ve a la página Redes de la consola de Google Cloud y haz clic en Borrar red de VPC.

¿Qué sigue?