Évaluer la qualité de la recherche

Dans le cadre de votre expérience de recherche avec Vertex AI Search, vous pouvez évaluer la qualité de vos résultats de recherche pour les applications de recherche génériques à l'aide d'exemples d'ensembles de requêtes.

Vous pouvez évaluer les performances des applications génériques sur le Réseau de Recherche qui contiennent des données structurées, non structurées et de sites Web. Vous ne pouvez pas évaluer les performances des applications avec plusieurs data stores.

Cette page explique pourquoi, quand et comment évaluer la qualité de la recherche à l'aide du et d'évaluation de l'infrastructure.

Présentation

Cette section explique pourquoi et quand effectuer une évaluation de la qualité de la recherche. Pour savoir comment évaluer la qualité des résultats de recherche, consultez la section Processus d'évaluation de la qualité des résultats de recherche.

Pourquoi effectuer une évaluation ?

L'évaluation de la qualité de vos recherches vous fournit des métriques qui vous aident à effectuer des tâches telles que les suivantes :

  • Évaluez les performances globales de votre moteur de recherche
  • Au niveau des requêtes, identifiez les tendances pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
  • Comparer les résultats d'évaluation passés pour comprendre l'impact des modifications apportées à votre configuration de recherche

Pour obtenir la liste des métriques, consultez Interpréter les résultats.

Quand effectuer une évaluation ?

Vertex AI Search étend plusieurs configurations de recherche pour améliorer votre expérience de recherche. Vous pouvez effectuer une évaluation de la qualité des résultats de recherche après avoir apporté les modifications suivantes :

Vous pouvez également exécuter des tests d'évaluation régulièrement, car le comportement de recherche régulièrement.

À propos des exemples d'ensembles de requêtes

Des exemples d'ensembles de requêtes sont utilisés pour l'évaluation de la qualité. L'exemple d'ensemble de requêtes doit respecter le format prescrit et contenir des entrées de requêtes comportant les champs imbriqués suivants :

  • Requêtes : requête dont les résultats de recherche sont utilisés pour générer les métriques d'évaluation et déterminer la qualité de la recherche. Google recommande d'utiliser Un ensemble varié de requêtes qui reflète les habitudes de recherche de l'utilisateur et comportemental.

  • Cibles : URI du document attendu comme résultat de recherche de l'exemple de requête. Pour comprendre la définition de document pour les applications de recherche structurée, non structurée et de site Web, consultez Documents.

    Lorsque les documents cibles sont comparés aux documents récupérés dans la réponse de recherche, des métriques de performances sont générées. Les métriques sont générées à l'aide de ces deux techniques:

    • Correspondance de documents: les URI des documents cibles sont comparés aux les URI des documents récupérés. Cela détermine si les documents attendus sont présents dans les résultats de recherche. Lors de la comparaison, l'API d'évaluation tente d'extraire les champs suivants dans l'ordre suivant et d'utiliser la première valeur disponible pour faire correspondre la cible au document récupéré :
    • Correspondance des pages : lorsque vous incluez des numéros de page dans vos cibles d'échantillon, l'API d'évaluation compare les résultats au niveau de la page. Ce paramètre détermine si les pages mentionnées dans les cibles sont également citées dans la réponse de recherche. Vous devez activer les réponses extractives pour activer la mise en correspondance au niveau de la page. L'API d'évaluation fait correspondre la page de la première une réponse extractive dans les résultats de recherche.

Objectif des exemples d'ensembles de requêtes

Utiliser le même exemple d'ensemble de requêtes pour toutes vos évaluations de la qualité de la recherche pour une permet d'obtenir un moyen fiable et cohérent d'évaluer la recherche des résultats de qualité. Cela permet également d'établir un système équitable et reproductible.

Les résultats de chaque évaluation sont comparés aux résultats cibles pour chaque requête échantillon afin de calculer différentes métriques, telles que le rappel, la précision et le gain cumulé normalisé (NDCG). Ces métriques quantitatives permettent de classer les résultats de différentes configurations de recherche.

Quotas et limites

La limite suivante s'applique aux exemples d'ensembles de requêtes :

  • Chaque ensemble d'exemples de requêtes peut contenir jusqu'à 20 000 requêtes.

Le quota suivant s'applique aux exemples d'ensembles de requêtes:

  • Vous pouvez créer au maximum 100 ensembles de requêtes par projet et 500 ensembles de requêtes par organisation.

Pour en savoir plus, consultez la page Quotas et limites.

Exemple de format d'ensemble de requêtes

L'ensemble de requêtes doit respecter le schéma suivant : construite au format JSON. L'ensemble de requêtes peut contenir plusieurs entrées de requêtes, avec une requête dans chaque entrée. Lorsqu'elles sont présentées au format JSON (NDJSON) délimité par une nouvelle ligne, chaque entrée de requête doit se trouver sur une nouvelle ligne.

Importer des données depuis BigQuery et Cloud Storage

La section suivante fournit des exemples de modèles d'ensembles de requêtes pour l'importation depuis depuis BigQuery et Cloud Storage.

Données non structurées

Utilisez le modèle suivant pour créer un exemple de fichier de requête au format JSON pour évaluer des données non structurées à l'aide de métadonnées.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
  • PATH/TO/CLOUD/STORAGE/LOCATION: chemin d'accès à l'emplacement Cloud Storage où se trouve le résultat attendu. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
  • PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page du fichier PDF où se trouve la réponse attendue pour la requête. Cela est utile lorsque le fichier comporte plusieurs pages.
  • CDOC_URL: champ facultatif permettant d'indiquer l'état champ ID de document cdoc_url dans les métadonnées du document dans Schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
  • CDOC_URL: champ obligatoire indiquant l'état personnalisé cdoc_url pour le champ de données structurées dans Schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer le contenu d'un site Web.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
  • WEBSITE_URL: site Web cible de la requête.

Voici un exemple d'ensemble de requêtes aux formats JSON et NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importer à partir d'un système de fichiers local

La section suivante fournit des exemples de modèles d'ensemble de requêtes à importer à partir du système de fichiers local.

Données non structurées

Utilisez le modèle suivant pour créer un exemple de fichier de requête au format JSON pour évaluer des données non structurées à l'aide de métadonnées.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
  • PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où se trouve le fichier de données non structurées à interroger. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
  • PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page où se trouve la réponse requise pour la requête dans le fichier PDF. Cette option est utile si le fichier comporte plusieurs pages.
  • CDOC_URL: champ facultatif permettant d'indiquer l'état champ ID de document cdoc_url dans les métadonnées du document dans Schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
  • CDOC_URL: champ obligatoire indiquant l'état personnalisé cdoc_url pour le champ de données structurées dans Schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer le contenu d'un site Web.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
  • WEBSITE_URL: site Web cible de la requête.

Voici un exemple d'ensemble de requêtes:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Processus d'évaluation de la qualité des résultats de recherche

Le processus d'évaluation de la qualité de la recherche se déroule comme suit:

  1. Créez un exemple d'ensemble de requêtes.
  2. Importez un exemple de requête conforme aux JSON.
  3. Exécutez une évaluation de la qualité de la recherche.
  4. Interprétez les résultats.

Les sections suivantes vous expliquent comment effectuer ces étapes à l'aide des méthodes de l'API REST.

Avant de commencer

  • La limite suivante s'applique :
    • Vous ne pouvez avoir qu'une seule évaluation active à la fois par projet.
  • Le quota suivant s'applique :
    • Vous pouvez lancer un maximum de cinq requêtes d'évaluation par jour et par projet. Pour en savoir plus, consultez la page Quotas et limites.
  • Pour obtenir des métriques au niveau de la page, vous devez activer les réponses extractives.

Créer un exemple d'ensemble de requêtes

Vous pouvez créer un exemple d'ensemble de requêtes et l'utiliser pour évaluer la qualité des réponses de recherche pour un entrepôt de données donné. Pour créer un exemple d'ensemble de requêtes, procédez comme suit :

REST

L'exemple suivant montre comment créer l'exemple d'ensemble de requêtes à l'aide de la méthode sampleQuerySets.create.

  1. Créez l'exemple d'ensemble de requêtes.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: un ID personnalisé pour votre ensemble d'exemples de requêtes.
    • SAMPLE_QUERY_SET_DISPLAY_NAME : nom personnalisé pour votre ensemble de requêtes d'exemple.

Importer des exemples de données de requête

Après avoir créé l'exemple d'ensemble de requêtes, importez les données de l'exemple de requête. Pour importer les données d'exemple de requête, vous pouvez effectuer l'une des opérations suivantes :

  • Importer depuis Cloud Storage: importez un fichier NDJSON à partir d'un emplacement Cloud Storage.
  • Importer depuis BigQuery : importez des données BigQuery à partir d'une table BigQuery. Pour créer la table BigQuery à partir de votre fichier NDJSON, consultez Charger des données JSON à partir de Cloud Storage.
  • Importer à partir de votre système de fichiers local: créez l'exemple d'ensemble de requêtes dans votre système de fichiers et de l'importer.

Cloud Storage

  1. Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement Cloud Storage à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé de votre ensemble d'exemples de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • INPUT_FILE_PATH : chemin d'accès à l'emplacement Cloud Storage de votre ensemble d'exemple de requêtes.
    • ERROR_DIRECTORY: champ facultatif à spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés des erreurs d'importation se produisent. Google recommande de laisser ce champ vide ou de supprimer le champ errorConfig afin que Vertex AI Search puisse créer automatiquement un emplacement temporaire.

  3. Obtenez l'état de l'opération de longue durée à l'aide de la méthode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement BigQuery à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé de votre ensemble d'exemples de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • DATASET_ID: ID de l'instance BigQuery ensemble de données contenant l'exemple d'ensemble de requêtes.
    • TABLE_ID : ID de votre table BigQuery contenant l'exemple d'ensemble de requêtes.
    • ERROR_DIRECTORY : champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés en cas d'erreur d'importation. Google recommande de laisser ce champ vide ou de supprimer champ "errorConfig" pour que Vertex AI Search puisse automatiquement créer un emplacement temporaire.

  3. Obtenez l'état de l'opération de longue durée à l'aide de la méthode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Système de fichiers local

  1. Créez des ensembles d'exemples de requêtes conformes au format d'ensemble de requêtes d'exemple.

  2. Importer le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un système de fichiers local à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID : ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • PATH/TO/LOCAL/FILE.json: chemin d'accès au fichier JSON contenant l'exemple d'ensemble de requêtes.

  3. Obtenez l'état de l'opération de longue durée à l'aide de la méthode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Exécuter une évaluation de la qualité des résultats de recherche

Après avoir importé les exemples de données de requête dans les ensembles d'exemples de requêtes, procédez comme suit : pour évaluer la qualité de la recherche.

REST

  1. Lancez une évaluation de la qualité de la recherche.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID : ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • APP_ID: ID du Application Vertex AI Search dont vous souhaitez connaître la qualité de recherche évaluer.

  2. Suivre l'avancement de l'évaluation.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • EVALUATION_ID : ID de votre tâche d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

  3. Récupérez les résultats agrégés.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • EVALUATION_ID : ID de votre tâche d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

  4. Récupérez les résultats au niveau de la requête.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • EVALUATION_ID : ID de votre tâche d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

Comprendre les résultats

Le tableau suivant décrit les métriques renvoyées dans le cadre de votre évaluation résultats.

Nom Description Conditions requises
docRecall

Rappel par document, à différents niveaux de seuil de top-k.

Le rappel est la fraction de documents pertinents récupérés parmi tous les documents pertinents. Par exemple, la valeur top5 signifie ce qui suit:

Pour une même requête, si trois documents pertinents sur cinq sont récupérés parmi les cinq premiers, la docRecall peut être calculée comme suit : 3/5 ou 0,6.

 L'exemple de requête doit contenir le champ URI.
pageRecall

Rappel par page, à différents niveaux de limite supérieure.

Le rappel est la fraction de pages pertinentes récupérées par rapport à l'ensemble des pages concernées. Par exemple, la valeur top5 signifie ce qui suit:

Pour une même requête, si trois pages pertinentes sur 5 sont récupérées parmi les cinq premières pages, la pageRecall peut être calculée comme suit : 3/5 = 0,6
  • L'exemple de requête doit contenir les champs "URI" et "Pages".
  • Les réponses extractives doivent être activées.
docNdcg

Bénéfice cumulé réduit normalisé (NDCG) par document, à différents niveaux de seuil k

Le NDCG mesure la qualité du classement, en donnant plus de pertinence aux résultats les plus pertinents. La valeur NDCG peut être calculée pour chaque requête en fonction de la CDG normalisée.

 L'exemple de requête doit contenir le champ "URI".
pageNdcg

Gains cumulés réduits normalisés (NDCG) par page, à différents niveaux limites supérieurs.

NDCG mesure la qualité du classement, ce qui améliore la pertinence des résultats. La valeur NDCG peut être calculée pour chaque requête selon le CDG normalisé.
  • L'exemple de requête doit contenir les champs URI et pages.
  • Les réponses extractives doivent être activées.
docPrecision

Précision par document, à différents niveaux de seuil de top-k.

La précision correspond à la fraction des documents récupérés qui sont pertinents. Par exemple, la valeur top3 signifie ce qui suit :

Pour une seule requête, si quatre documents récupérés sur cinq parmi les cinq premiers sont pertinents, la valeur docPrecision peut être calculée comme étant 4/5 ou 0,8.

 L'exemple de requête doit contenir le champ "URI".

En fonction des valeurs de ces métriques compatibles, vous pouvez effectuer les tâches suivantes :

  • Analysez les métriques agrégées:
    • Examinez les métriques globales telles que le rappel moyen, la précision et le bénéfice cumulé réduit normalisé (NDCG).
    • Ces métriques offrent une vue d'ensemble des performances de votre moteur de recherche.
  • Examinez les résultats au niveau de la requête :
    • Analysez les requêtes individuelles pour identifier les domaines spécifiques dans lesquels le moteur de recherche fonctionne bien ou mal.
    • Recherchez des tendances dans les résultats afin de comprendre les biais ou les lacunes potentiels des algorithmes de classement.
  • Comparez les résultats au fil du temps :
    • Effectuez des évaluations régulières pour suivre l'évolution de la qualité de la recherche au fil du temps.
    • Utilisez les données historiques pour identifier des tendances et évaluer l'impact des modifications que vous apportez à votre moteur de recherche.

Étape suivante