Cette page a été traduite par l'API Cloud Translation.

Évaluer la qualité de la recherche

Dans le cadre de votre expérience de recherche avec Vertex AI Search, vous pouvez évaluer la qualité de vos résultats de recherche pour les applications de recherche génériques à l'aide d'exemples d'ensembles de requêtes.

Vous pouvez évaluer les performances des applications de recherche génériques qui contiennent des données structurées, non structurées et de site Web. Vous ne pouvez pas évaluer les performances des applications avec plusieurs data stores.

Cette page explique pourquoi, quand et comment évaluer la qualité de la recherche à l'aide du et d'évaluation de l'infrastructure.

Présentation

Cette section explique pourquoi et quand effectuer une évaluation de la qualité des résultats de recherche. Pour savoir comment évaluer la qualité des résultats de recherche, consultez la section Processus d'évaluation de la qualité des résultats de recherche.

Raisons d'effectuer une évaluation

L'évaluation de la qualité de vos recherches vous fournit des métriques qui vous aident à effectuer des tâches telles que les suivantes :

Évaluez les performances globales de votre moteur de recherche
Au niveau des requêtes, identifiez les tendances pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
Comparer l'historique des résultats de l'évaluation pour comprendre l'impact des changements dans votre configuration de recherche

Pour obtenir la liste des métriques, consultez Interpréter les résultats.

Quand effectuer une évaluation ?

Vertex AI Search étend plusieurs configurations de recherche pour améliorer votre expérience de recherche. Vous pouvez effectuer l'évaluation de la qualité de la recherche après avoir apporté les modifications suivantes:

Vous pouvez également exécuter les tests d'évaluation régulièrement, car le comportement de recherche est mis à jour régulièrement.

À propos des exemples d'ensembles de requêtes

Des exemples d'ensembles de requêtes sont utilisés pour l'évaluation de la qualité. L'exemple d'ensemble de requêtes respecte le format prescrit et doit contenir les entrées de requête au format les champs imbriqués suivants:

Requêtes : requête dont les résultats de recherche sont utilisés pour générer les métriques d'évaluation et déterminer la qualité de la recherche. Google vous recommande d'utiliser un ensemble varié de requêtes qui reflètent le comportement et le modèle de recherche de vos utilisateurs.
Cibles: URI du document attendues en tant que résultat de recherche de la exemple de requête. Pour comprendre la définition de document pour les applications de recherche structurée, non structurée et de site Web, consultez Documents.

Lorsque les documents cibles sont comparés aux documents récupérés dans la réponse de recherche, des métriques de performances sont générées. Les métriques sont générées à l'aide de ces deux techniques :
- Correspondance de documents: les URI des documents cibles sont comparés aux les URI des documents récupérés. Cela permet de déterminer si les valeurs documents sont présents dans les résultats de recherche. Lors de la comparaison, l'API d'évaluation tente d'extraire les champs suivants dans l'ordre suivant et d'utiliser la première valeur disponible pour faire correspondre la cible au document récupéré :
  - cdoc_url dans le champ structData de la définition du document
  - uri dans le champ structData de la définition du document
  - link dans le champ derivedStructData de la définition du document
  - url dans le champ derivedStructData de la définition du document
- Correspondance des pages : lorsque vous incluez des numéros de page dans vos cibles d'échantillon, l'API d'évaluation compare les résultats au niveau de la page. Ce détermine si les pages mentionnées dans les cibles sont également citées dans la réponse de la recherche. Vous devez activer les réponses extractives pour pouvoir la correspondance au niveau de la page. L'API d'évaluation fait correspondre la page de la première une réponse extractive dans les résultats de recherche.

Objectif des exemples d'ensembles de requêtes

Utiliser le même ensemble d'exemples de requêtes pour toutes vos évaluations de la qualité de recherche pour un entrepôt de données donné vous permet de mesurer les résultats de la qualité de recherche de manière cohérente et fiable. Cela établit également un système équitable et reproductible.

Les résultats de chaque évaluation sont comparés aux résultats cibles pour chaque requête échantillon afin de calculer différentes métriques, telles que le rappel, la précision et le gain cumulé normalisé (NDCG). Ces métriques quantitatives permettent de classer les résultats de différentes configurations de recherche.

Quotas et limites

La limite suivante s'applique aux exemples d'ensembles de requêtes :

Chaque ensemble d'exemples de requêtes peut contenir jusqu'à 20 000 requêtes.

Le quota suivant s'applique aux exemples d'ensembles de requêtes :

Vous pouvez créer au maximum 100 ensembles de requêtes par projet et 500 ensembles de requêtes par organisation.

Pour en savoir plus, consultez la page Quotas et limites.

Exemple de format d'ensemble de requêtes

L'ensemble de requêtes doit respecter le schéma suivant lorsqu'il est créé au format JSON. L'ensemble de requêtes peut contenir plusieurs entrées de requête avec une requête par entrée. Lorsqu'elle est présentée au format JSON délimité par un retour à la ligne NDJSON), chaque entrée de requête doit se trouver sur une nouvelle ligne.

Importer des données depuis BigQuery et Cloud Storage

La section suivante fournit des exemples de modèles d'ensembles de requêtes pour l'importation depuis depuis BigQuery et Cloud Storage.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données non structurées avec des métadonnées.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où se trouve le résultat attendu. Il s'agit de la valeur du champ link dans derivedStructData de la définition de document.
PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page du fichier PDF où se trouve la réponse attendue pour la requête. Cela est utile lorsque le fichier comporte plusieurs pages.
CDOC_URL : champ facultatif permettant d'indiquer le champ cdoc_url d'ID de document personnalisé dans les métadonnées du document dans le schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour créer un exemple de fichier de requête au format JSON pour pour évaluer les données structurées de BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
CDOC_URL: champ obligatoire indiquant l'état personnalisé cdoc_url pour le champ de données structurées dans Schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour créer un exemple de fichier de requête au format JSON pour évaluer le contenu des sites Web.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
WEBSITE_URL: site Web cible de la requête.

Voici un exemple d'ensemble de requêtes aux formats JSON et NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importer à partir d'un système de fichiers local

La section suivante fournit des exemples de modèles d'ensemble de requêtes à importer à partir du système de fichiers local.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données non structurées avec des métadonnées.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY : requête utilisée pour évaluer la qualité de la recherche
PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où se trouve le fichier de données non structurées à interroger. Il s'agit de la valeur du champ link dans derivedStructData de la définition de document.
PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page où se trouve la réponse requise pour la requête dans le fichier PDF. Cette option est utile si le fichier comporte plusieurs pages.
CDOC_URL : champ facultatif permettant d'indiquer le champ cdoc_url d'ID de document personnalisé dans les métadonnées du document dans le schéma du data store Vertex AI Search.

Données structurées

Utilisez le modèle suivant pour créer un exemple de fichier de requête au format JSON pour pour évaluer les données structurées de BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
CDOC_URL: champ obligatoire indiquant l'état personnalisé cdoc_url pour le champ de données structurées dans Schéma du data store Vertex AI Search.

Données de site Web

Utilisez le modèle suivant pour créer un exemple de fichier de requête au format JSON pour évaluer le contenu des sites Web.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

SAMPLE_QUERY: requête utilisée pour tester l'évaluation de la qualité de la recherche
WEBSITE_URL : site Web cible de la requête.

Voici un exemple d'ensemble de requêtes:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Processus d'évaluation de la qualité des résultats de recherche

Le processus d'évaluation de la qualité de la recherche se déroule comme suit:

Créez un exemple d'ensemble de requêtes.
Importer un exemple de requête conforme aux JSON.
Exécutez une évaluation de la qualité de la recherche.
Interprétez les résultats.

Les sections suivantes vous expliquent comment effectuer ces étapes à l'aide des méthodes de l'API REST.

Avant de commencer

La limite suivante s'applique:
- À un moment donné, vous ne pouvez avoir qu'une seule évaluation active par projet.
Le quota suivant s'applique :
- Vous pouvez envoyer jusqu'à cinq demandes d'évaluation par jour et par projet. Pour en savoir plus, consultez la page Quotas et limites.
Pour obtenir des métriques au niveau de la page, vous devez activer les réponses extraites.

Créer un exemple d'ensemble de requêtes

Vous pouvez créer un exemple d'ensemble de requêtes et l'utiliser pour évaluer la qualité des réponses de recherche pour un entrepôt de données donné. Pour créer un exemple d'ensemble de requêtes, procédez comme suit :

REST

L'exemple suivant montre comment créer l'exemple d'ensemble de requêtes à l'aide de la méthode sampleQuerySets.create.

Créez l'exemple d'ensemble de requêtes.

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
SAMPLE_QUERY_SET_ID : ID personnalisé pour votre exemple d'ensemble de requêtes.
SAMPLE_QUERY_SET_DISPLAY_NAME: nom personnalisé pour votre exemple d'ensemble de requêtes.

Réponse

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
  "createTime": "CREATION_DATETIME"
}

Importer des exemples de données de requête

Après avoir créé l'exemple d'ensemble de requêtes, importez les données de l'exemple de requête. Pour importer les exemples de données de requête, vous pouvez effectuer l'une des opérations suivantes:

Importer depuis Cloud Storage : importez un fichier NDJSON à partir d'un emplacement Cloud Storage.
Importer depuis BigQuery: importez les données BigQuery à partir d'un table BigQuery. Pour créer la table BigQuery à partir de votre NDJSON, consultez la section Charger des données JSON à partir de Cloud Storage.
Importer à partir de votre système de fichiers local: créez l'exemple d'ensemble de requêtes dans votre système de fichiers et de l'importer.

Cloud Storage

Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.
Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement Cloud Storage à l'aide de la méthode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud
- SAMPLE_QUERY_SET_ID : ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
- INPUT_FILE_PATH: chemin d'accès à Cloud Storage pour votre exemple d'ensemble de requêtes.
- ERROR_DIRECTORY: champ facultatif à spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés des erreurs d'importation se produisent. Google recommande de laisser ce champ vide ou de supprimer errorConfig afin que Vertex AI Search puisse crée automatiquement un emplacement temporaire.
Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur sur OPERATION_ID. Vous en aurez besoin à l'étape suivante pour interroger l'état de cette opération de longue durée (LRO).
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Obtenez l'état de l'opération de longue durée (LRO) à l'aide de operations.get. .

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. En cas d'erreurs et d'échec de l'importation, la réponse affiche un champ failureCount pour indiquer le nombre d'exemples de requêtes qui n'ont pas pu être importés.

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

BigQuery

Créez des ensembles d'exemples de requêtes conformes au format d'ensemble de requêtes d'exemple.
Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement BigQuery à l'aide de la méthode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud
- SAMPLE_QUERY_SET_ID : ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
- DATASET_ID: ID de l'instance BigQuery ensemble de données contenant l'exemple d'ensemble de requêtes.
- TABLE_ID: ID de votre compte BigQuery table contenant l'exemple d'ensemble de requêtes.
- ERROR_DIRECTORY: champ facultatif à spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés des erreurs d'importation se produisent. Google recommande de laisser ce champ vide ou de supprimer le champ "errorConfig" afin que Vertex AI Search puisse créer automatiquement un emplacement temporaire.
Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur sur OPERATION_ID. Vous en aurez besoin à l'étape suivante pour interroger l'état de cette opération de longue durée (LRO).
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Obtenez l'état de l'opération de longue durée (LRO) à l'aide de operations.get. .

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Réponse

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Système de fichiers local

Créez des exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.
Importez le fichier JSON contenant l'exemple d'ensemble de requêtes à partir d'un emplacement de système de fichiers local à l'aide de la méthode sampleQueries.import.
```
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud
- SAMPLE_QUERY_SET_ID : ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
- PATH/TO/LOCAL/FILE.json : chemin d'accès au fichier JSON contenant l'exemple d'ensemble de requêtes.
Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur sur OPERATION_ID. Vous en aurez besoin à l'étape suivante pour interroger l'état de cette opération de longue durée (LRO).
```
{
  "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
  }
}
```

Obtenez l'état de l'opération de longue durée (LRO) à l'aide de operations.get. .

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Réponse

{
 "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
 "metadata": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
   "createTime": "CREATE_TIME",
   "updateTime": "UPDATE_TIME",
   "successCount": "SUCCESS_COUNT",
   "totalCount": "TOTAL_COUNT"
 },
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
   "errorConfig": {
     "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
   }
 }
}

Exécuter l'évaluation de la qualité de la recherche

Après avoir importé les exemples de données de requête dans les ensembles d'exemples de requêtes, procédez comme suit : pour évaluer la qualité de la recherche.

REST

Lancer une évaluation de la qualité de la recherche

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
SAMPLE_QUERY_SET_ID : ID personnalisé de l'exemple d'ensemble de requêtes que vous avez défini lors de la création de l'exemple d'ensemble de requêtes.
APP_ID : ID de l'application Vertex AI Search dont vous souhaitez évaluer la qualité de recherche.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. Notez la valeur de EVALUATION_ID. Vous en aurez besoin à l'étape suivante pour interroger l'état de l'évaluation, qui est une opération de longue durée (LRO).

{
 "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
 "done": true,
 "response": {
   "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
 }
}

Surveillez la progression de l'évaluation.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
EVALUATION_ID: ID de votre tâche d'évaluation qui a été renvoyé à l'étape précédente, lorsque vous avez lancé l'évaluation.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. L'état de l'évaluation est affichée comme PENDING jusqu'à ce qu'elle soit terminé.

{
"name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
"evaluationSpec": {
  "querySetSpec": {
    "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
  },
  "searchRequest": {
    "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
  }
},
"state": "PENDING"
"createTime": "CREATION_DATETIME"
}

Récupérez les résultats agrégés.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
EVALUATION_ID: ID de votre tâche d'évaluation qui a été renvoyé à l'étape précédente, lorsque vous avez lancé l'évaluation.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. L'état de l'évaluation est affichée comme PENDING jusqu'à ce qu'elle soit terminé.

{
 "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 },
 "qualityMetrics": {
   "docRecall": {
     "top1": DOC_RECALL_TOP_1,
     "top3": DOC_RECALL_TOP_3,
     "top5": DOC_RECALL_TOP_5,
     "top10": DOC_RECALL_TOP_10
   },
   "docPrecision": {
     "top1": DOC_PRECISION_TOP_1,
     "top3": DOC_PRECISION_TOP_3,
     "top5": DOC_PRECISION_TOP_5,
     "top10": DOC_PRECISION_TOP_10
   },
   "docNdcg": {
     "top1": DOC_NDCG_TOP_1,
     "top3": DOC_NDCG_TOP_3,
     "top5": DOC_NDCG_TOP_5,
     "top10": DOC_NDCG_TOP_10
   },
   "pageRecall": {
     "top1": PAGE_RECALL_TOP_1,
     "top3": PAGE_RECALL_TOP_3,
     "top5": PAGE_RECALL_TOP_5,
     "top10": PAGE_RECALL_TOP_10
   },
   "pageNdcg": {
     "top1": PAGE_NDCG_TOP_1,
     "top3": PAGE_NDCG_TOP_3,
     "top5": PAGE_NDCG_TOP_5,
     "top10": PAGE_NDCG_TOP_10
    }
  },
 "state": "SUCCEEDED",
 "error": {},
 "createTime": "CREATION_DATETIME",
 "endTime": "END_DATETIME"
}

Récupérez les résultats au niveau de la requête.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud
EVALUATION_ID: ID de votre tâche d'évaluation qui a été renvoyé à l'étape précédente, lorsque vous avez lancé l'évaluation.

Réponse

Vous devriez recevoir une réponse JSON semblable à la suivante. L'état de l'évaluation est PENDING jusqu'à ce qu'elle soit terminée.

{
 "evaluationResults": [
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
       "queryEntry": {
         "query": "SAMPLE_QUERY_1",
         "targets": [
           {
             "uri": "URI_1"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   },
   {
     "sampleQuery": {
       "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
       "queryEntry": {
         "query": "SAMPLE_QUERY_2",
         "targets": [
           {
             "uri": "URI_2"
           }
         ]
       }
     },
     "qualityMetrics": {
       "docRecall": {
         "top1": DOC_RECALL_TOP_1,
         "top3": DOC_RECALL_TOP_3,
         "top5": DOC_RECALL_TOP_5,
         "top10": DOC_RECALL_TOP_10
       },
       "docPrecision": {
         "top1": DOC_PRECISION_TOP_1,
         "top3": DOC_PRECISION_TOP_3,
         "top5": DOC_PRECISION_TOP_5,
         "top10": DOC_PRECISION_TOP_10
       },
       "docNdcg": {
         "top1": DOC_NDCG_TOP_1,
         "top3": DOC_NDCG_TOP_3,
         "top5": DOC_NDCG_TOP_5,
         "top10": DOC_NDCG_TOP_10
       },
       "pageRecall": {
         "top1": PAGE_RECALL_TOP_1,
         "top3": PAGE_RECALL_TOP_3,
         "top5": PAGE_RECALL_TOP_5,
         "top10": PAGE_RECALL_TOP_10
       },
       "pageNdcg": {
         "top1": PAGE_NDCG_TOP_1,
         "top3": PAGE_NDCG_TOP_3,
         "top5": PAGE_NDCG_TOP_5,
         "top10": PAGE_NDCG_TOP_10
        }
      }
   }
 ]
}

Comprendre les résultats

Le tableau suivant décrit les métriques renvoyées dans le cadre de votre évaluation résultats.

Nom	Description	Conditions requises
`docRecall`	Rappel par document, à différents niveaux de limite supérieure. Le rappel est la fraction des documents pertinents récupérés parmi tous les documents pertinents. Par exemple, la valeur `top5` signifie ce qui suit: Pour une même requête, si trois documents pertinents sur cinq sont récupérés parmi les cinq premiers, la `docRecall` peut être calculée comme suit : 3/5 ou 0,6.	L'exemple de requête doit contenir le champ "URI".
`pageRecall`	Rappel par page, à différents niveaux de limite supérieure. Le rappel est la fraction des pages pertinentes récupérées parmi toutes les pages pertinentes. Par exemple, la valeur `top5` signifie ce qui suit : Pour une seule requête, si trois pages pertinentes sur cinq sont récupérées dans le top 5, `pageRecall` peut être calculé comme suit : 3/5 = 0,6.	L'exemple de requête doit contenir les champs URI et pages. Les réponses extractives doivent être activées.
`docNdcg`	Gains cumulés réduits normalisés (NDCG) par document, à différents niveaux limites supérieurs. NDCG mesure la qualité du classement, ce qui améliore la pertinence des résultats. La valeur NDCG peut être calculée pour chaque requête selon le CDG normalisé.	L'exemple de requête doit contenir le champ "URI".
`pageNdcg`	Gains cumulés réduits normalisés (NDCG) par page, à différents niveaux limites supérieurs. Le NDCG mesure la qualité du classement, en donnant plus de pertinence aux résultats les plus pertinents. La valeur NDCG peut être calculée pour chaque requête en fonction de la CDG normalisée.	L'exemple de requête doit contenir les champs URI et pages. Les réponses extractives doivent être activées.
`docPrecision`	Précision par document, à différents niveaux de limite supérieure. La précision correspond à la fraction des documents récupérés qui sont pertinents. Par exemple, la valeur `top3` signifie ce qui suit : Pour une seule requête, si quatre des cinq documents récupérés dans le top 5 sont pertinents, la valeur `docPrecision` peut être calculée comme suit : 4/5 ou 0,8.	L'exemple de requête doit contenir le champ URI.

En fonction des valeurs de ces métriques compatibles, vous pouvez effectuer les tâches suivantes :

Analysez les métriques agrégées:
- Examinez des métriques globales telles que le rappel moyen, la précision et le gain cumulé normalisé (NDCG).
- Ces métriques vous offrent une vue d'ensemble des performances de votre moteur de recherche.
Examinez les résultats au niveau de la requête:
- Analysez les requêtes individuelles pour identifier les domaines spécifiques dans lesquels le moteur de recherche fonctionne bien ou mal.
- Recherchez des tendances dans les résultats pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
Comparez les résultats au fil du temps:
- Exécutez régulièrement des évaluations pour suivre l'évolution de la qualité de recherche au fil du temps.
- Utilisez les données historiques pour identifier les tendances et évaluer l'impact des modifications que vous apportez à votre moteur de recherche.

Étape suivante

Utilisez Cloud Scheduler pour configurer une évaluation de la qualité planifiée. Pour en savoir plus, consultez la section Utiliser l'authentification avec des cibles HTTP.