Si certaines bases de données spécialisées ne sont compatibles qu'avec les embeddings vectoriels, d'autres prennent en charge de nombreux types de données et de requêtes en plus des embeddings. C'est essentiel pour créer des applications d'IA générative à partir de données enrichies et réelles. Au fur et à mesure que les avantages des requêtes sémantiques utilisant des embeddings de vecteurs deviendront évidents, la plupart des bases de données ajouteront la prise en charge des vecteurs. À l'avenir, nous pensons que toute base de données sera une base de données vectorielle.

Découvrez comment la recherche vectorielle de Vertex AI permet de créer des applications d'IA générative hautes performances. La recherche vectorielle de Vertex AI est basée sur ScaNN, une technologie de recherche vectorielle évolutive et efficace développée par Google Research, ce qui en fait la solution idéale pour gérer de grands ensembles de données et les besoins de recherche en temps réel. Pour en savoir plus sur la recherche vectorielle et les embeddings, regardez la vidéo ci-dessous et commencez par consulter ce guide de démarrage rapide.

Pour interroger efficacement un grand nombre de vecteurs, vous devez disposer de stratégies d'indexation et de recherche spécialisées, différentes de celles utilisées pour les champs de texte ou numériques traditionnels. Comme les vecteurs n'ont pas d'ordre logique unique, les bases de données vectorielles s'appuient sur les mécanismes suivants pour récupérer les données :

• Recherche des k plus proches voisins (KNN) : le cas d'utilisation le plus courant consiste à identifier les "k" vecteurs les plus proches d'un vecteur de requête. Des métriques de distance telles que le produit scalaire, la similarité cosinus ou la distance euclidienne sont utilisées pour mesurer la proximité dans l'espace vectoriel.
• Voisins approximatifs les plus proches (ANN) : le calcul de la distance exacte entre un vecteur de requête et chaque autre vecteur peut être coûteux en ressources de calcul. Pour réduire ce coût, les bases de données utilisent des algorithmes ANN. Ces algorithmes peuvent améliorer considérablement la vitesse de recherche en sacrifiant une petite partie de la justesse (rappel), ce qui constitue un compromis acceptable pour la plupart des applications de recherche sémantique.
• Indexation vectorielle : pour accélérer les recherches, les index vectoriels organisent les données de sorte que les clusters de vecteurs proches soient regroupés. Les structures courantes incluent les listes (qui représentent des clusters de vecteurs), les graphiques (qui connectent les vecteurs à leurs voisins) et les arbres (dont les branches représentent des sous-ensembles de clusters). Chaque type d'index offre différents compromis en termes de vitesse de recherche, de consommation de mémoire et de temps de création de l'index.
• Filtrage des métadonnées : la plupart des applications nécessitent plus que la simple similarité sémantique. Par exemple, un utilisateur peut rechercher un livre semblable à "histoire touchante sur un poisson" (recherche vectorielle), mais limiter les résultats aux articles "de moins de 20 $" (filtre de métadonnées). Les bases de données vectorielles avancées combinent ces prédicats SQL avec la similarité vectorielle pour exécuter des requêtes hybrides puissantes.

AlloyDB pour PostgreSQL associe la compatibilité de PostgreSQL à l'infrastructure évolutive de Google. Il intègre la prise en charge des embeddings vectoriels via l'extension pgvector standard et l'améliore avec l'index ScaNN de Google. Cela permet d'accélérer les requêtes vectorielles et d'activer le "filtrage intégré", qui peut aider à optimiser les recherches hybrides en évaluant simultanément la similarité vectorielle et les filtres de métadonnées pour améliorer les performances.

Exemple : Recherche hybride de biens immobiliers

Prenons l'exemple d'une application immobilière dans laquelle les utilisateurs peuvent rechercher des maisons en fonction de leur style (par exemple, "style moderne du milieu du siècle avec lumière naturelle") tout en respectant scrupuleusement des contraintes strictes (par exemple, "3 chambres", "moins de 800 000 $", "dans l'académie scolaire A").

• Problème : une recherche vectorielle standard peut renvoyer une maison de style "milieu de siècle" qui coûte 2 millions de dollars ou qui se trouve dans la mauvaise académie. Une requête SQL standard peut filtrer par prix, mais ne peut pas comprendre l'expression "style milieu de siècle".
• Solution : le filtrage intégré d'AlloyDB analyse l'index vectoriel et vérifie les filtres de métadonnées SQL (prix, emplacement) simultanément en une seule passe.
• Résultat : l'application renvoie les maisons qui correspondent à l'esthétique et au budget en quelques millisecondes, sans la pénalité de performances liée au post-filtrage des résultats.

Google Cloud intègre des fonctionnalités de recherche vectorielle directement dans ses principaux services de base de données, ce qui vous aide à opérationnaliser l'IA générative à l'aide de vos données et workflows existants.

Spanner, la base de données de Google distribuée dans le monde entier, prend en charge la recherche vectorielle pour les applications transactionnelles. Elle peut fournir une recherche vectorielle hautement disponible et évolutive à l'aide d'algorithmes de recherche exacte et approximative du voisin le plus proche. Cela permet aux applications mondiales d'implémenter des fonctionnalités telles que les recommandations en temps réel ou la recherche sémantique tout en maintenant une cohérence et une fiabilité strictes.

Exemple : Recommandations en temps réel pour l'e-commerce

Une plate-forme d'e-commerce mondiale souhaite créer un moteur de recommandations capable de traiter des recherches utilisateur vagues, comme "meilleures chaussures de randonnée pour temps pluvieux", tout en garantissant la disponibilité immédiate des produits.

• Problématique : la correspondance traditionnelle par mots clés passe à côté des produits qui sont pertinents, mais dont la description ne contient pas les termes de recherche exacts (par exemple, une description indiquant "étanche" ne correspondra pas à une recherche sur le terme "pluie"). De plus, la vérification de la disponibilité des stocks dans une base de données vectorielle distincte crée une latence et des risques d'incohérence des données lors des événements à fort trafic.
• Solution : la plate-forme ajoute une colonne de vecteurs à sa table "Products" Spanner existante et génère des embeddings à l'aide de Vertex AI via SQL. Elle utilise la recherche vectorielle de Spanner pour exécuter une requête hybride qui trouve des produits sémantiquement similaires tout en appliquant simultanément une vérification stricte de l'inventaire ("InventoryCount" > 0).
• Résultat : les clients reçoivent des recommandations de produits précises et personnalisées, qui sont garantis en stock, avec la faible latence et la cohérence globale nécessaires pour une transaction en direct.

BigQuery vous permet d'effectuer des analyses vectorielles sur des ensembles de données volumineux, sans déplacer les données hors de votre entrepôt de données. La fonction VECTOR_SEARCH vous permet d'effectuer des recherches de similarité à l'aide du langage SQL standard. Cette approche est particulièrement utile pour les cas d'utilisation d'analyse, comme le clustering de clients en fonction de leur comportement ou l'identification de tendances de produits similaires sur des milliards de lignes de données.

Exemple : Détection des menaces de cybersécurité à grande échelle

Une équipe de sécurité doit analyser des pétaoctets de journaux de serveur pour identifier une activité malveillante. Les pirates informatiques modifient souvent légèrement leur code pour échapper aux recherches de mots clés exacts.

• Problème : les recherches de mots clés ne détectent pas les variations subtiles d'attaques connues (par exemple, le changement de nom d'une variable dans un script malveillant).
• Solution : l'équipe utilise BigQuery afin de générer des embeddings pour des milliards d'entrées de journal. Elle exécute ensuite une requête VECTOR_SEARCH pour trouver tous les journaux sémantiquement similaires à une signature d'exploitation connue, ce qui permet d'identifier de nouvelles variantes de l'attaque.
• Résultat : l'équipe peut détecter et regrouper les menaces zero-day sur des années de données historiques à l'aide de requêtes SQL simples, sans avoir à déplacer les données vers une base de données vectorielle spécialisée.