Evaluar la calidad de la búsqueda

Como parte de tu experiencia de búsqueda con Vertex AI Search, puedes evaluar la calidad de los resultados de búsqueda de aplicaciones de búsqueda personalizadas mediante conjuntos de consultas de muestra.

Puedes evaluar el rendimiento de las aplicaciones de búsqueda personalizadas que contengan datos estructurados, no estructurados y de sitios web. No puedes evaluar el rendimiento de las aplicaciones con varias tiendas de datos.

En esta página se explica por qué, cuándo y cómo evaluar la calidad de la búsqueda mediante el método de evaluación.

Información general

En esta sección se describe por qué y cuándo se debe realizar la evaluación de la calidad de la búsqueda. Para obtener información sobre cómo realizar una evaluación de la calidad de la búsqueda, consulta el artículo Proceso para evaluar la calidad de la búsqueda.

Motivos para realizar una evaluación

La evaluación de la calidad de tu búsqueda te proporciona métricas que te ayudan a realizar tareas como las siguientes:

  • Evaluar el rendimiento de tu buscador a nivel agregado
  • A nivel de consulta, localiza patrones para identificar posibles sesgos o deficiencias en los algoritmos de clasificación.
  • Comparar los resultados de evaluaciones anteriores para entender el impacto de los cambios en la configuración de búsqueda

Para ver una lista de métricas, consulte el artículo Interpretar los resultados.

Cuándo realizar la evaluación

Vertex AI Search amplía varias configuraciones de búsqueda para mejorar tu experiencia de búsqueda. Puedes realizar una evaluación de la calidad de la búsqueda después de hacer los siguientes cambios:

También puedes realizar las pruebas de evaluación con regularidad, ya que el comportamiento de búsqueda se actualiza periódicamente.

Acerca de los conjuntos de consultas de ejemplo

Se usan conjuntos de consultas de muestra para evaluar la calidad. El conjunto de consultas de ejemplo debe cumplir el formato prescrito y debe contener entradas de consulta que tengan los siguientes campos anidados:

  • Consultas: la consulta cuyos resultados de búsqueda se utilizan para generar las métricas de evaluación y determinar la calidad de la búsqueda. Google recomienda usar un conjunto diverso de consultas que refleje el patrón de búsqueda y el comportamiento de los usuarios.

  • Targets: el URI del documento que se espera como resultado de búsqueda de la consulta de ejemplo. Para saber qué se considera un documento en las aplicaciones de búsqueda de datos estructurados, no estructurados y de sitios web, consulta Documentos.

    Cuando los documentos de destino se comparan con los documentos recuperados en la respuesta de búsqueda, se generan métricas de rendimiento. Las métricas se generan con estas dos técnicas:

    • Coincidencia de documentos: las URIs de los documentos de destino se comparan con las URIs de los documentos recuperados. Determina si los documentos esperados están presentes en los resultados de búsqueda. Durante la comparación, la API Evaluation intenta extraer los siguientes campos en el orden que se indica y usa el primer valor disponible para asociar el objetivo con el documento obtenido:
    • Coincidencia de páginas: cuando incluyes números de página en tus objetivos de muestra, la API de evaluación compara los resultados a nivel de página. Determina si las páginas mencionadas en los destinos también se citan en la respuesta de búsqueda. Debes habilitar las respuestas extractivas para habilitar la coincidencia a nivel de página. La API de evaluación coincide con la página de la primera respuesta extractiva del resultado de búsqueda.

Objetivo de los conjuntos de consultas de ejemplo

Si usas el mismo conjunto de consultas de muestra en todas las evaluaciones de calidad de la búsqueda de un almacén de datos concreto, podrás medir los resultados de calidad de la búsqueda de forma coherente y fiable. De esta forma, se establece un sistema justo y repetible.

Los resultados de cada evaluación se comparan con los resultados objetivo de cada consulta de muestra para calcular diferentes métricas, como la recuperación, la precisión y la ganancia acumulada con descuento normalizada (NDCG). Estas métricas cuantitativas se usan para clasificar los resultados de diferentes configuraciones de búsqueda.

Cuotas y límites

Se aplica el siguiente límite a los conjuntos de consultas de ejemplo:

  • Cada conjunto de consultas de ejemplo puede contener un máximo de 20.000 consultas.

La siguiente cuota se aplica a los conjuntos de consultas de ejemplo:

  • Puede crear un máximo de 100 conjuntos de consultas de ejemplo por proyecto y 500 conjuntos de consultas de ejemplo por organización.

Para obtener más información, consulta Cuotas y límites.

Formato de conjunto de consultas de ejemplo

El conjunto de consultas debe ajustarse al siguiente esquema cuando se cree en formato JSON. El conjunto de consultas puede contener varias entradas de consulta, cada una con una consulta. Cuando se presenta en formato JSON delimitado por líneas nuevas (NDJSON), cada entrada de consulta debe estar en una línea nueva.

Importar desde BigQuery y Cloud Storage

En la siguiente sección se proporcionan las plantillas de conjunto de consultas de ejemplo para importar datos de BigQuery y Cloud Storage.

Datos sin estructurar

Usa la siguiente plantilla para crear un archivo de consulta de ejemplo en formato JSON para evaluar datos sin estructurar con metadatos.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Haz los cambios siguientes:

  • SAMPLE_QUERY: la consulta utilizada para evaluar la calidad de la búsqueda.
  • PATH/TO/CLOUD/STORAGE/LOCATION: la ruta a la ubicación de Cloud Storage donde se encuentra el resultado esperado. Este es el valor del campo link del campo derivedStructData de la definición del documento.
  • PAGE_NUMBER_1: campo opcional para indicar los números de página del archivo PDF en los que se encuentra la respuesta esperada a la consulta. Esto resulta útil cuando el archivo tiene varias páginas.
  • CDOC_URL: campo opcional para indicar el campo cdoc_url ID de documento personalizado en los metadatos del documento del esquema del almacén de datos de búsqueda de Vertex AI.

Datos estructurados

Usa la siguiente plantilla para crear un archivo de consulta de muestra en formato JSON para evaluar datos estructurados de BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Haz los cambios siguientes:

  • SAMPLE_QUERY: la consulta utilizada para evaluar la calidad de la búsqueda.
  • CDOC_URL: campo obligatorio para indicar el campo personalizado cdoc_url del campo de datos estructurados en el esquema del almacén de datos de búsqueda de Vertex AI.

Datos de sitios web

Usa la siguiente plantilla para crear un archivo de consulta de ejemplo en formato JSON para evaluar el contenido de un sitio web.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Haz los cambios siguientes:

  • SAMPLE_QUERY: la consulta utilizada para evaluar la calidad de la búsqueda.
  • WEBSITE_URL: el sitio web de destino de la consulta.

A continuación se muestra un ejemplo de un conjunto de consultas de ejemplo en formato JSON y NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importar desde el sistema de archivos local

En la siguiente sección se proporcionan las plantillas de conjunto de consultas de ejemplo para importar desde el sistema de archivos local.

Datos sin estructurar

Usa la siguiente plantilla para crear un archivo de consulta de ejemplo en formato JSON para evaluar datos sin estructurar con metadatos.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Haz los cambios siguientes:

  • SAMPLE_QUERY: la consulta utilizada para evaluar la calidad de la búsqueda.
  • PATH/TO/CLOUD/STORAGE/LOCATION: la ruta a la ubicación de Cloud Storage en la que se encuentra el archivo de datos sin estructurar que se va a consultar. Este es el valor del campo link del campo derivedStructData de la definición del documento.
  • PAGE_NUMBER_1: campo opcional para indicar los números de página en los que se puede encontrar la respuesta obligatoria a la consulta en el archivo PDF. Esto resulta útil si el archivo tiene varias páginas.
  • CDOC_URL: campo opcional para indicar el campo cdoc_url ID de documento personalizado en los metadatos del documento del esquema del almacén de datos de búsqueda de Vertex AI.

Datos estructurados

Usa la siguiente plantilla para crear un archivo de consulta de muestra en formato JSON para evaluar datos estructurados de BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Haz los cambios siguientes:

  • SAMPLE_QUERY: la consulta utilizada para evaluar la calidad de la búsqueda.
  • CDOC_URL: campo obligatorio para indicar el campo personalizado cdoc_url del campo de datos estructurados en el esquema del almacén de datos de búsqueda de Vertex AI.

Datos de sitios web

Usa la siguiente plantilla para crear un archivo de consulta de ejemplo en formato JSON para evaluar el contenido de un sitio web.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Haz los cambios siguientes:

  • SAMPLE_QUERY: la consulta utilizada para evaluar la calidad de la búsqueda.
  • WEBSITE_URL: el sitio web de destino de la consulta.

A continuación, se muestra un ejemplo de conjunto de consultas de ejemplo:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Proceso para evaluar la calidad de la búsqueda

El proceso de evaluación de la calidad de la búsqueda es el siguiente:

  1. Crea un conjunto de consultas de ejemplo.
  2. Importa una consulta de ejemplo que cumpla el formato JSON prescrito.
  3. Realizar una evaluación de la calidad de la búsqueda.
  4. Interpretar los resultados

En las siguientes secciones se indican las instrucciones para llevar a cabo estos pasos mediante métodos de la API REST.

Antes de empezar

  • Se aplica el siguiente límite:
    • En un momento dado, solo puedes tener una evaluación activa por proyecto.
  • Se aplica la siguiente cuota:
    • Puedes iniciar un máximo de cinco solicitudes de evaluación al día por proyecto. Para obtener más información, consulta Cuotas y límites.
  • Para obtener métricas a nivel de página, debe habilitar las respuestas extractivas.

Crear un conjunto de consultas de ejemplo

Puede crear un conjunto de consultas de ejemplo y usarlo para evaluar la calidad de las respuestas de búsqueda de un almacén de datos concreto. Para crear un conjunto de consultas de ejemplo, sigue estos pasos.

REST

En el siguiente ejemplo se muestra cómo crear el conjunto de consultas de ejemplo mediante el método sampleQuerySets.create.

  1. Crea el conjunto de consultas de ejemplo.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • SAMPLE_QUERY_SET_ID: un ID personalizado para tu conjunto de consultas de ejemplo.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: un nombre personalizado para tu conjunto de consultas de ejemplo.

Importar datos de consultas de muestra

Después de crear el conjunto de consultas de muestra, importa los datos de consulta de muestra. Para importar los datos de consulta de muestra, puede hacer lo siguiente:

  • Importar desde Cloud Storage: importa un archivo NDJSON desde una ubicación de Cloud Storage.
  • Importar de BigQuery: importa datos de BigQuery de una tabla de BigQuery. Para crear la tabla de BigQuery a partir de tu archivo NDJSON, consulta Cargar datos JSON desde Cloud Storage.
  • Importar desde el sistema de archivos local: crea el conjunto de consultas de ejemplo en tu sistema de archivos local e impórtalo.

Cloud Storage

  1. Crea los conjuntos de consultas de ejemplo que cumplan el formato de conjunto de consultas de ejemplo.

  2. Importa el archivo JSON que contiene el conjunto de consultas de ejemplo desde una ubicación de Cloud Storage mediante el método sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • SAMPLE_QUERY_SET_ID: el ID personalizado del conjunto de consultas de ejemplo que ha definido durante la creación del conjunto de consultas de ejemplo.
    • INPUT_FILE_PATH: la ruta a la ubicación de Cloud Storage de tu conjunto de consultas de ejemplo.
    • ERROR_DIRECTORY: campo opcional para especificar la ruta a la ubicación de Cloud Storage donde se registran los archivos de errores cuando se producen errores de importación. Google recomienda dejar este campo vacío o quitarlo para que Vertex AI Search pueda crear automáticamente una ubicación temporal.errorConfig

  3. Obtén el estado de la operación de larga duración (LRO) mediante el método operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Crea los conjuntos de consultas de ejemplo que cumplan el formato de conjunto de consultas de ejemplo.

  2. Importa el archivo JSON que contiene el conjunto de consultas de ejemplo desde una ubicación de BigQuery mediante el método sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • SAMPLE_QUERY_SET_ID: el ID personalizado del conjunto de consultas de ejemplo que ha definido durante la creación del conjunto de consultas de ejemplo.
    • DATASET_ID: el ID del conjunto de datos de BigQuery que contiene el conjunto de consultas de muestra.
    • TABLE_ID: el ID de la tabla de BigQuery que contiene el conjunto de consultas de muestra.
    • ERROR_DIRECTORY: campo opcional para especificar la ruta a la ubicación de Cloud Storage donde se registran los archivos de errores cuando se producen errores de importación. Google recomienda dejar este campo vacío o quitarlo para que Vertex AI Search pueda crear automáticamente una ubicación temporal.

  3. Obtén el estado de la operación de larga duración (LRO) mediante el método operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Sistema de archivos local

  1. Crea los conjuntos de consultas de ejemplo que cumplan el formato de conjunto de consultas de ejemplo.

  2. Importa el archivo JSON que contiene el conjunto de consultas de muestra desde una ubicación del sistema de archivos local mediante el método sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • SAMPLE_QUERY_SET_ID: el ID personalizado del conjunto de consultas de ejemplo que ha definido durante la creación del conjunto de consultas de ejemplo.
    • PATH/TO/LOCAL/FILE.json: la ruta al archivo JSON que contiene el conjunto de consultas de ejemplo.

  3. Obtén el estado de la operación de larga duración (LRO) mediante el método operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Realizar una evaluación de la calidad de la búsqueda

Después de importar los datos de consulta de muestra en los conjuntos de consultas de muestra, siga estos pasos para ejecutar la evaluación de la calidad de la búsqueda.

REST

  1. Inicia una evaluación de la calidad de la búsqueda.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • SAMPLE_QUERY_SET_ID: el ID personalizado del conjunto de consultas de ejemplo que ha definido durante la creación del conjunto de consultas de ejemplo.
    • APP_ID: el ID de la aplicación de Vertex AI Search cuya calidad de búsqueda quieras evaluar.

  2. Monitoriza el progreso de la evaluación.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • EVALUATION_ID: el ID de la tarea de evaluación que se devolvió en el paso anterior cuando iniciaste la evaluación.

  3. Recupera los resultados agregados.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • EVALUATION_ID: el ID de la tarea de evaluación que se devolvió en el paso anterior cuando iniciaste la evaluación.

  4. Recuperar resultados a nivel de consulta.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Haz los cambios siguientes:

    • PROJECT_ID: el ID de tu proyecto de Google Cloud .
    • EVALUATION_ID: el ID de la tarea de evaluación que se devolvió en el paso anterior cuando iniciaste la evaluación.

Interpretar los resultados

En la siguiente tabla se describen las métricas que se devuelven en los resultados de la evaluación.

Nombre Descripción Requisitos
docRecall

Recuperación por documento en varios niveles de umbral top-k.

La recuperación es la fracción de documentos relevantes recuperados de entre todos los documentos relevantes. Por ejemplo, el valor top5 significa lo siguiente:

En una sola consulta, si se recuperan 3 de los 5 documentos relevantes en los 5 primeros resultados, la docRecall se puede calcular como 3/5 o 0,6.

 La consulta de ejemplo debe contener el campo URI.
pageRecall

Recuerdo por página, en varios niveles de corte top-k.

La cobertura es la fracción de páginas relevantes que se han recuperado del total de páginas relevantes. Por ejemplo, el valor top5 significa lo siguiente:

En una sola consulta, si se recuperan 3 de 5 páginas relevantes entre los 5 primeros resultados, la pageRecall se puede calcular como 3/5 = 0,6.
  • La consulta de ejemplo debe contener los campos URI y pages.
  • Las respuestas extractivas deben estar habilitadas.
docNdcg

Ganancia acumulativa normalizada descontada (NDCG) por documento, en varios niveles de corte top-k.

El NDCG mide la calidad de la clasificación y da más relevancia a los resultados principales. El valor de NDCG se puede calcular para cada consulta según el CDG normalizado.

 La consulta de ejemplo debe contener el campo URI.
pageNdcg

Ganancia acumulativa normalizada descontada (NDCG) por página, en varios niveles de corte superior k.

El NDCG mide la calidad de la clasificación y da más relevancia a los resultados principales. El valor de NDCG se puede calcular para cada consulta según el CDG normalizado.
  • La consulta de ejemplo debe contener los campos URI y pages.
  • Las respuestas extractivas deben estar habilitadas.
docPrecision

Precisión por documento en varios niveles de corte top-k.

La precisión es la fracción de documentos recuperados que son relevantes. Por ejemplo, el valor top3 significa lo siguiente:

En una sola consulta, si 4 de los 5 documentos recuperados en las 5 primeras posiciones son relevantes, el valor de docPrecision se puede calcular como 4/5 o 0,8.

 La consulta de ejemplo debe contener el campo URI.

En función de los valores de estas métricas admitidas, puede hacer lo siguiente:

  • Analizar métricas agregadas:
    • Consulta métricas generales como la recuperación media, la precisión y la ganancia acumulativa normalizada descontada (NDCG).
    • Estas métricas ofrecen una visión general del rendimiento de tu buscador.
  • Revisar los resultados a nivel de consulta:
    • Desglosar consultas concretas para identificar áreas específicas en las que el buscador tiene un buen o mal rendimiento.
    • Busca patrones en los resultados para identificar posibles sesgos o deficiencias en los algoritmos de clasificación.
  • Comparar resultados a lo largo del tiempo:
    • Realiza evaluaciones periódicamente para monitorizar los cambios en la calidad de la búsqueda a lo largo del tiempo.
    • Usa el historial de datos para identificar tendencias y evaluar el impacto de los cambios que hagas en tu buscador.

Siguientes pasos