Évaluer la qualité de la recherche

Dans le cadre de votre expérience de recherche avec Vertex AI Search, vous pouvez évaluer la qualité de vos résultats de recherche pour les applications de recherche générique à l'aide d'exemples d'ensembles de requêtes.

Vous pouvez évaluer les performances des applications de recherche génériques qui contiennent des données structurées, non structurées et de site Web. Vous ne pouvez pas évaluer les performances des applications avec plusieurs data stores.

Cette page explique pourquoi, quand et comment évaluer la qualité de la recherche à l'aide de la méthode d'évaluation.

Présentation

Cette section explique pourquoi et quand effectuer une évaluation de la qualité des résultats de recherche. Pour savoir comment évaluer la qualité des résultats de recherche, consultez la section Processus d'évaluation de la qualité des résultats de recherche.

Pourquoi effectuer une évaluation ?

L'évaluation de la qualité de vos recherches vous fournit des métriques qui vous aident à effectuer des tâches telles que les suivantes:

  • Mesurez les performances globales de votre moteur de recherche
  • Au niveau des requêtes, identifiez les tendances pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
  • Comparer les résultats d'évaluation passés pour comprendre l'impact des modifications apportées à votre configuration de recherche

Pour obtenir la liste des métriques, consultez Interpréter les résultats.

Quand effectuer une évaluation ?

Vertex AI Search étend plusieurs configurations de recherche pour améliorer votre expérience de recherche. Vous pouvez effectuer une évaluation de la qualité des résultats de recherche après avoir apporté les modifications suivantes:

Vous pouvez également exécuter les tests d'évaluation régulièrement, car le comportement de recherche est mis à jour régulièrement.

À propos des exemples d'ensembles de requêtes

Les exemples d'ensembles de requêtes sont utilisés pour évaluer la qualité. L'exemple d'ensemble de requêtes doit respecter le format prescrit et contenir des entrées de requêtes comportant les champs imbriqués suivants:

  • Requêtes: requête dont les résultats de recherche sont utilisés pour générer les métriques d'évaluation et déterminer la qualité de la recherche. Google vous recommande d'utiliser un ensemble varié de requêtes qui reflètent le comportement et le modèle de recherche de vos utilisateurs.

  • Cibles: URI du document attendu comme résultat de recherche de l'exemple de requête. Pour comprendre la définition de document pour les applications de recherche structurée, non structurée et de site Web, consultez Documents.

    Lorsque les documents cibles sont comparés aux documents récupérés dans la réponse de recherche, des métriques de performances sont générées. Les métriques sont générées à l'aide de ces deux techniques:

    • Correspondance des documents: les URI des documents cibles sont comparés aux URI des documents récupérés. Cela détermine si les documents attendus sont présents dans les résultats de recherche. Lors de la comparaison, l'API d'évaluation tente d'extraire les champs suivants dans l'ordre suivant et d'utiliser la première valeur disponible pour faire correspondre la cible au document récupéré :
    • Correspondance des pages: lorsque vous incluez des numéros de page dans vos cibles d'échantillon, l'API d'évaluation compare les résultats au niveau de la page. Ce paramètre détermine si les pages mentionnées dans les cibles sont également citées dans la réponse de recherche. Vous devez activer les réponses extractives pour activer la mise en correspondance au niveau de la page. L'API d'évaluation fait correspondre la page de la première réponse extractive dans le résultat de recherche.

Objectif des exemples d'ensembles de requêtes

Utiliser le même ensemble d'exemples de requêtes pour toutes vos évaluations de la qualité de recherche pour un data store donné vous permet de mesurer les résultats de la qualité de recherche de manière cohérente et fiable. Cela permet également d'établir un système équitable et reproductible.

Les résultats de chaque évaluation sont comparés aux résultats cibles pour chaque requête échantillon afin de calculer différentes métriques, telles que le rappel, la précision et le gain cumulé normalisé (NDCG). Ces métriques quantitatives permettent de classer les résultats de différentes configurations de recherche.

Quotas et limites

La limite suivante s'applique aux exemples d'ensembles de requêtes:

  • Chaque ensemble d'exemples de requêtes peut contenir jusqu'à 20 000 requêtes.

Le quota suivant s'applique aux exemples d'ensembles de requêtes:

  • Vous pouvez créer au maximum 100 ensembles d'exemples de requêtes par projet et 500 ensembles d'exemples de requêtes par organisation.

Pour en savoir plus, consultez la page Quotas et limites.

Exemple de format d'ensemble de requêtes

L'ensemble de requêtes doit respecter le schéma suivant lorsqu'il est créé au format JSON. L'ensemble de requêtes peut contenir plusieurs entrées de requêtes, avec une requête dans chaque entrée. Lorsqu'elles sont présentées au format JSON (NDJSON) délimité par une nouvelle ligne, chaque entrée de requête doit se trouver sur une nouvelle ligne.

Importer des données depuis BigQuery et Cloud Storage

La section suivante fournit des exemples de modèles d'ensemble de requêtes à importer à partir de BigQuery et de Cloud Storage.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données non structurées avec des métadonnées.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour évaluer la qualité de la recherche
  • PATH/TO/CLOUD/STORAGE/LOCATION: chemin d'accès à l'emplacement Cloud Storage où se trouve le résultat attendu. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
  • PAGE_NUMBER_1: champ facultatif permettant d'indiquer les numéros de page du fichier PDF où se trouve la réponse attendue pour la requête. Cela est utile lorsque le fichier comporte plusieurs pages.
  • CDOC_URL: champ facultatif permettant d'indiquer le champ cdoc_url d'ID de document personnalisé dans les métadonnées du document dans le schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour évaluer la qualité de la recherche
  • CDOC_URL: champ obligatoire pour indiquer le champ cdoc_url personnalisé pour le champ de données structurées dans le schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer le contenu d'un site Web.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour évaluer la qualité de la recherche
  • WEBSITE_URL: site Web cible de la requête.

Voici un exemple d'ensemble de requêtes au format JSON et NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importer à partir d'un système de fichiers local

La section suivante fournit des exemples de modèles d'ensemble de requêtes à importer à partir du système de fichiers local.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données non structurées avec des métadonnées.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour évaluer la qualité de la recherche
  • PATH/TO/CLOUD/STORAGE/LOCATION: chemin d'accès à l'emplacement Cloud Storage où se trouve le fichier de données non structurées à interroger. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
  • PAGE_NUMBER_1: champ facultatif permettant d'indiquer les numéros de page où se trouve la réponse requise pour la requête dans le fichier PDF. Cette option est utile si le fichier comporte plusieurs pages.
  • CDOC_URL: champ facultatif permettant d'indiquer le champ cdoc_url d'ID de document personnalisé dans les métadonnées du document dans le schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour évaluer la qualité de la recherche
  • CDOC_URL: champ obligatoire pour indiquer le champ cdoc_url personnalisé pour le champ de données structurées dans le schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer le contenu d'un site Web.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY: requête utilisée pour évaluer la qualité de la recherche
  • WEBSITE_URL: site Web cible de la requête.

Voici un exemple d'ensemble de requêtes:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Processus d'évaluation de la qualité des résultats de recherche

Le processus d'évaluation de la qualité des résultats de recherche est le suivant:

  1. Créez un exemple d'ensemble de requêtes.
  2. Importez un exemple de requête conforme au format JSON prescrit.
  3. Exécutez l'évaluation de la qualité de la recherche.
  4. Interprétez les résultats.

Les sections suivantes vous expliquent comment effectuer ces étapes à l'aide des méthodes de l'API REST.

Avant de commencer

  • La limite suivante s'applique :
    • À un moment donné, vous ne pouvez avoir qu'une seule évaluation active par projet.
  • Le quota suivant s'applique :
    • Vous pouvez envoyer jusqu'à cinq demandes d'évaluation par jour et par projet. Pour en savoir plus, consultez la page Quotas et limites.
  • Pour obtenir des métriques au niveau de la page, vous devez activer les réponses extractives.

Créer un exemple d'ensemble de requêtes

Vous pouvez créer un exemple d'ensemble de requêtes et l'utiliser pour évaluer la qualité des réponses de recherche pour un data store donné. Pour créer un exemple d'ensemble de requêtes, procédez comme suit :

REST

L'exemple suivant montre comment créer l'exemple d'ensemble de requêtes à l'aide de la méthode sampleQuerySets.create.

  1. Créez l'exemple d'ensemble de requêtes.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé pour votre exemple d'ensemble de requêtes.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: nom personnalisé pour votre ensemble de requêtes d'exemple.

Importer des exemples de données de requête

Après avoir créé l'exemple d'ensemble de requêtes, importez les données de l'exemple de requête. Pour importer les exemples de données de requête, vous pouvez effectuer l'une des opérations suivantes:

  • Importer depuis Cloud Storage: importez un fichier NDJSON à partir d'un emplacement Cloud Storage.
  • Importer depuis BigQuery: importez des données BigQuery à partir d'une table BigQuery. Pour créer la table BigQuery à partir de votre fichier NDJSON, consultez Charger des données JSON à partir de Cloud Storage.
  • Importer à partir de votre système de fichiers local: créez l'exemple d'ensemble de requêtes dans votre système de fichiers local, puis importez-le.

Cloud Storage

  1. Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement Cloud Storage à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • INPUT_FILE_PATH: chemin d'accès à l'emplacement Cloud Storage de votre ensemble d'exemple de requêtes.
    • ERROR_DIRECTORY: champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés en cas d'erreur d'importation. Google recommande de laisser ce champ vide ou de supprimer le champ errorConfig afin que Vertex AI Search puisse créer automatiquement un emplacement temporaire.

  3. Obtenez l'état de l'opération de longue durée à l'aide de la méthode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement BigQuery à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • DATASET_ID: ID de l'ensemble de données BigQuery contenant l'exemple d'ensemble de requêtes.
    • TABLE_ID: ID de votre table BigQuery contenant l'exemple d'ensemble de requêtes.
    • ERROR_DIRECTORY: champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés en cas d'erreur d'importation. Google recommande de laisser ce champ vide ou de supprimer le champ "errorConfig" afin que Vertex AI Search puisse créer automatiquement un emplacement temporaire.

  3. Obtenez l'état de l'opération de longue durée à l'aide de la méthode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Système de fichiers local

  1. Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement de système de fichiers local à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • PATH/TO/LOCAL/FILE.json: chemin d'accès au fichier JSON contenant l'exemple d'ensemble de requêtes.

  3. Obtenez l'état de l'opération de longue durée à l'aide de la méthode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Exécuter une évaluation de la qualité des résultats de recherche

Après avoir importé les données d'exemple de requête dans les ensembles de requêtes d'exemple, procédez comme suit pour exécuter l'évaluation de la qualité de recherche.

REST

  1. Lancer une évaluation de la qualité de la recherche

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • SAMPLE_QUERY_SET_ID: ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
    • APP_ID: ID de l'application Vertex AI Search dont vous souhaitez évaluer la qualité de recherche.

  2. Surveillez la progression de l'évaluation.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • EVALUATION_ID: ID de votre tâche d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

  3. Récupérer les résultats agrégés

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • EVALUATION_ID: ID de votre tâche d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

  4. Récupérez les résultats au niveau de la requête.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre projet Google Cloud
    • EVALUATION_ID: ID de votre tâche d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

Comprendre les résultats

Le tableau suivant décrit les métriques renvoyées dans les résultats de votre évaluation.

Nom Description Conditions requises
docRecall

Rappel par document, à différents niveaux de seuil de top-k.

Le rappel est la fraction des documents pertinents récupérés parmi tous les documents pertinents. Par exemple, la valeur top5 signifie ce qui suit:

Pour une seule requête, si trois des cinq documents pertinents sont récupérés dans les cinq premiers résultats, docRecall peut être calculé comme 3/5 ou 0,6.

 L'exemple de requête doit contenir le champ URI.
pageRecall

Rappel par page, à différents niveaux de seuil de top-k.

Le rappel est la fraction des pages pertinentes récupérées parmi toutes les pages pertinentes. Par exemple, la valeur top5 signifie ce qui suit:

Pour une seule requête, si trois pages pertinentes sur cinq sont récupérées dans le top 5, pageRecall peut être calculé comme suit : 3/5 = 0,6.
  • L'exemple de requête doit contenir les champs URI et pages.
  • Les réponses extractives doivent être activées.
docNdcg

Bénéfice cumulé réduit normalisé (NDCG) par document, à différents niveaux de seuil k

Le NDCG mesure la qualité du classement, en donnant plus de pertinence aux résultats les plus pertinents. La valeur NDCG peut être calculée pour chaque requête selon le CDG normalisé.

 L'exemple de requête doit contenir le champ URI.
pageNdcg

Bénéfice cumulé réduit normalisé (NDCG) par page, à différents niveaux de seuil de sélection des k premières annonces.

Le NDCG mesure la qualité du classement, en donnant plus de pertinence aux résultats les plus pertinents. La valeur NDCG peut être calculée pour chaque requête selon le CDG normalisé.
  • L'exemple de requête doit contenir les champs URI et pages.
  • Les réponses extractives doivent être activées.
docPrecision

Précision par document, à différents niveaux de seuil de top-k.

La précision correspond à la fraction des documents récupérés qui sont pertinents. Par exemple, la valeur top3 signifie ce qui suit:

Pour une seule requête, si quatre des cinq documents récupérés dans le top 5 sont pertinents, la valeur docPrecision peut être calculée comme suit : 4/5 ou 0,8.

 L'exemple de requête doit contenir le champ URI.

En fonction des valeurs de ces métriques compatibles, vous pouvez effectuer les tâches suivantes:

  • Analyser les métriques agrégées :
    • Examinez les métriques globales telles que le rappel moyen, la précision et le bénéfice cumulé réduit normalisé (NDCG).
    • Ces métriques offrent une vue d'ensemble des performances de votre moteur de recherche.
  • Examinez les résultats au niveau de la requête :
    • Analysez les requêtes individuelles pour identifier les domaines spécifiques dans lesquels le moteur de recherche fonctionne bien ou mal.
    • Recherchez des tendances dans les résultats pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
  • Comparez les résultats au fil du temps :
    • Exécutez régulièrement des évaluations pour suivre l'évolution de la qualité de recherche au fil du temps.
    • Utilisez les données historiques pour identifier les tendances et évaluer l'impact des modifications que vous apportez à votre moteur de recherche.

Étape suivante