Classer les résultats de recherche

Cette page explique comment classer les résultats de recherche pour les recherches en texte intégral dans Spanner.

Spanner permet de calculer un score de pertinence, qui constitue un élément de base pour créer des fonctions de classement sophistiquées. Ces scores calculent la pertinence d'un résultat par rapport à une requête, en fonction de la fréquence des termes de la requête et d'autres options personnalisables.

L'exemple suivant montre une recherche classée:

SELECT AlbumId
FROM Albums
WHERE SEARCH(AlbumTitle_Tokens, "fifth symphony")
ORDER BY SCORE(AlbumTitle_Tokens, "fifth symphony") DESC

Évaluer les termes de requête avec la fonction SCORE

La fonction SCORE calcule un score pour chaque terme de requête, puis combine les scores. Le score par terme est basé approximativement sur la fréquence du terme – fréquence inverse des documents (TF/IDF). Le score est l'un des composants de l'ordre final d'un enregistrement. La requête le combine à d'autres signaux, tels que la fraîcheur qui module le score de pertinence.

Dans l'implémentation actuelle, la partie IDF de TF/IDF n'est disponible que lorsque enhance_query=>true est utilisé. Il calcule la fréquence relative des mots en fonction du corpus Web complet utilisé par la recherche Google, et non d'un indice de recherche spécifique. Si l'amélioration de la requête r n'est pas activée, le calcul du score n'utilise que la composante fréquence des termes (TF) (c'est-à-dire que le terme IDF est défini sur 1).

La fonction SCORE renvoie des valeurs qui servent de scores de pertinence que Spanner utilise pour établir un ordre de tri. Elles n'ont aucune signification autonome. Plus le score est élevé, plus la correspondance est bonne.

En règle générale, les arguments tels que query et enhance_query sont les mêmes pour les fonctions SEARCH et SCORE afin de garantir la cohérence de la récupération et du classement.

Nous vous recommandons d'utiliser ces arguments avec des paramètres de requête plutôt que des littéraux de chaîne, et de spécifier les mêmes paramètres de requête dans les fonctions SEARCH et SCORE.

Évaluer plusieurs colonnes

Spanner utilise la fonction SCORE pour évaluer chaque champ individuellement. La requête combine ensuite ces scores individuels. Pour ce faire, il est courant de additionner les scores individuels, puis de les renforcer en fonction des pondérations de champ fournies par l'utilisateur (qui sont fournies à l'aide de paramètres de requête SQL).

Par exemple, la requête suivante combine la sortie de deux fonctions SCORE:

SELECT AlbumId
FROM Albums
WHERE SEARCH(Title_Tokens, @p1) AND SEARCH(Studio_Tokens, @p2)
ORDER BY SCORE(Title_Tokens, @p1) * @titleweight + SCORE(Studio_Tokens, @p2) * @studioweight
LIMIT 25

L'exemple suivant ajoute deux paramètres de boost:

  • La fraîcheur (FreshnessBoost) augmente le score avec (1 + @freshnessweight * GREATEST(0, 30 - DaysOld) / 30)
  • Popularity(PopularityBoost) augmente le score en le multipliant par le facteur (1 + IF(HasGrammy, @grammyweight, 0).

Pour plus de lisibilité, la requête utilise l'opérateur WITH.

SELECT AlbumId
FROM Albums
WHERE SEARCH(Title_Tokens, @p1) AND SEARCH(Studio_Tokens, @p2)
ORDER BY WITH(
  TitleScore AS SCORE(Title_Tokens, @p1) * @titleweight,
  StudioScore AS SCORE(Studio_Tokens, @p2) * @studioweight,
  DaysOld AS (UNIX_MICROS(CURRENT_TIMESTAMP()) - ReleaseTimestamp) / 8.64e+10,
  FreshnessBoost AS (1 + @freshnessweight * GREATEST(0, 30 - DaysOld) / 30),
  PopularityBoost AS (1 + IF(HasGrammy, @grammyweight, 0)),
  (TitleScore + StudioScore) * FreshnessBoost * PopularityBoost)
LIMIT 25

TOKENLIST_CONCAT peut également être utilisé à la fois pour la recherche et l'évaluation afin de simplifier les requêtes lorsque cela est approprié:

SELECT AlbumId
FROM Albums
WHERE SEARCH(TOKENLIST_CONCAT([Title_Tokens, Studio_Tokens]), @p)
ORDER BY SCORE(TOKENLIST_CONCAT([Title_Tokens, Studio_Tokens]), @p)
LIMIT 25

Booster les correspondances d'ordre de requête

Vous pouvez appliquer un boost multiplicatif au score de pertinence pour les valeurs qui contiennent les termes de requête dans le même ordre qu'ils apparaissent dans la requête. Il existe deux versions de cette fonctionnalité: la correspondance partielle et la correspondance exacte. Un boost de correspondance partielle est appliqué lorsque:

  1. TOKENLIST contient tous les termes d'origine de la requête.
  2. Les jetons sont adjacents les uns aux autres et dans le même ordre qu'ils apparaissent dans la requête.

Il existe certaines règles spéciales pour les conjonctions, les négations et les expressions:

  • Une requête contenant une négation ne peut pas bénéficier d'un boost de correspondance partielle.
  • Une requête avec une conjonction reçoit un coup de pouce si une partie de la conjonction apparaît aux endroits appropriés.
  • Une requête contenant une expression est améliorée si l'expression apparaît dans TOKENLIST, et que le terme situé à gauche de l'expression dans la requête apparaît à gauche de l'expression dans TOKENLIST. Il en va de même pour le terme situé à droite de l'expression.

Spanner applique un boost de correspondance exacte lorsque toutes les règles précédentes sont vraies. Les premiers et derniers jetons de la requête sont les premiers et derniers jetons du document.

Exemple de document: Bridge Over Troubled Water

Requête Boost appliqué
Bridge Troubled aucun boost
Pont surplombant un autre cours d'eau aucune amélioration
Pont (sur ou en panne) sur l'eau aucune amélioration
Bridge Over amplification partielle
Pont (eau trouble ou en crue) amplification partielle
Bridge Over Troubled Water boost exact
Pont "Over Troubled" Water boost exact
Pont ("Over Troubled" OR missingterm) Eau boost exact

Limiter la profondeur de récupération

Les index de recherche contiennent souvent des millions de documents. Pour les requêtes dont les prédicats ont une faible sélectivité, il est peu pratique de classer tous les résultats. Les requêtes d'évaluation ont généralement deux limites:

  1. Limite de profondeur de récupération: nombre maximal de lignes à évaluer.
  2. Limite de taille du jeu de résultats: nombre maximal de lignes que la requête doit renvoyer (généralement la taille de la page).

Les requêtes peuvent limiter la profondeur de récupération à l'aide de sous-requêtes SQL:

SELECT *
FROM (
  SELECT AlbumId
  FROM Albums
  WHERE SEARCH(Title_Tokens, @p1)
  ORDER BY ReleaseTimestamp DESC
  LIMIT @retrieval_limit
)
ORDER BY SCORE(Title_Tokens, @p1)
LIMIT @page_size

Cette approche est particulièrement efficace si Spanner utilise le signal de classement le plus important pour trier l'index.

Étape suivante