Avalie a qualidade da pesquisa

Como parte da sua experiência de pesquisa com o Vertex AI Search, pode avaliar a qualidade dos resultados da pesquisa para apps de pesquisa personalizada através de conjuntos de consultas de exemplo.

Pode avaliar o desempenho das apps de pesquisa personalizadas que contêm dados estruturados, não estruturados e de Websites. Não pode avaliar o desempenho de apps com várias lojas de dados.

Esta página explica porquê, quando e como avaliar a qualidade da pesquisa através do método de avaliação.

Vista geral

Esta secção descreve por que motivo e quando deve realizar a avaliação da qualidade da pesquisa. Para obter informações sobre como realizar a avaliação da qualidade da pesquisa, consulte o artigo Processo de avaliação da qualidade da pesquisa.

Motivos para realizar a avaliação

A avaliação da qualidade da pesquisa fornece-lhe métricas que ajudam a realizar tarefas, como as seguintes:

  • Avalie o desempenho do seu motor de pesquisa ao nível agregado
  • Ao nível da consulta, localize padrões para compreender potenciais parcialidades ou deficiências nos algoritmos de classificação
  • Compare os resultados da avaliação do histórico para compreender o impacto das alterações na configuração de pesquisa

Para ver uma lista de métricas, consulte o artigo Compreenda os resultados.

Quando realizar a avaliação

O Vertex AI Search expande várias configurações de pesquisa para melhorar a sua experiência de pesquisa. Pode fazer uma avaliação da qualidade da pesquisa depois de fazer as seguintes alterações:

Também pode executar os testes de avaliação regularmente, uma vez que o comportamento de pesquisa é atualizado periodicamente.

Acerca dos conjuntos de consultas de exemplo

Os conjuntos de consultas de exemplo são usados para a avaliação da qualidade. O conjunto de consultas de exemplo tem de respeitar o formato prescrito e tem de conter entradas de consultas com os seguintes campos aninhados:

  • Consultas: a consulta cujos resultados da pesquisa são usados para gerar as métricas de avaliação e determinar a qualidade da pesquisa. A Google recomenda a utilização de um conjunto diversificado de consultas que reflitam o padrão de pesquisa e o comportamento do utilizador.

  • Alvos: o URI do documento esperado como resultado da pesquisa da consulta de exemplo. Para compreender a definição de documento para apps de pesquisa estruturada, não estruturada e de Websites, consulte Documentos.

    Quando os documentos de destino são comparados com os documentos obtidos na resposta de pesquisa, são geradas métricas de desempenho. As métricas são geradas através destas duas técnicas:

    • Correspondência de documentos: os URIs dos documentos de destino são comparados com os URIs dos documentos obtidos. Isto determina se os documentos esperados estão presentes nos resultados da pesquisa. Durante a comparação, a API de avaliação tenta extrair os seguintes campos pela seguinte ordem e usar o primeiro valor disponível para fazer corresponder o destino ao documento obtido:
    • Correspondência de páginas: quando inclui números de páginas nos seus alvos de amostra, a API de avaliação compara os resultados ao nível da página. Isto determina se as páginas mencionadas nos alvos também são citadas na resposta de pesquisa. Tem de ativar as respostas extrativas para ativar a correspondência ao nível da página. A API de avaliação corresponde à página da primeira resposta extrativa no resultado da pesquisa.

Finalidade dos conjuntos de consultas de exemplo

A utilização do mesmo conjunto de consultas de amostra para todas as suas avaliações de qualidade da pesquisa para um determinado arquivo de dados garante uma forma consistente e fiável de medir os resultados da qualidade da pesquisa. Isto também estabelece um sistema justo e repetível.

Os resultados de cada avaliação são comparados com os resultados de destino de cada consulta de exemplo para calcular diferentes métricas, como a capacidade de memorização, a precisão e o ganho cumulativo descontado normalizado (NDCG). Estas métricas quantitativas são usadas para classificar os resultados de diferentes configurações de pesquisa.

Quotas e limites

O seguinte limite aplica-se aos conjuntos de consultas de exemplo:

  • Cada conjunto de consultas de exemplo pode conter um máximo de 20 000 consultas.

A seguinte quota aplica-se aos conjuntos de consultas de exemplo:

  • Pode criar um máximo de 100 conjuntos de consultas de exemplo por projeto e 500 conjuntos de consultas de exemplo por organização.

Para mais informações, consulte o artigo Quotas e limites.

Formato do conjunto de consultas de exemplo

O conjunto de consultas tem de estar em conformidade com o seguinte esquema quando construído no formato JSON. O conjunto de consultas pode conter várias entradas de consultas com uma consulta em cada entrada de consulta. Quando apresentada no formato JSON delimitado por newline (NDJSON), cada entrada de consulta tem de estar numa nova linha.

Importe do BigQuery e do Cloud Storage

A secção seguinte fornece os modelos de conjunto de consultas de exemplo para importação do BigQuery e do Cloud Storage.

Dados não estruturados

Use o seguinte modelo para criar um ficheiro de consulta de exemplo no formato JSON para avaliar dados não estruturados com metadados.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Substitua o seguinte:

  • SAMPLE_QUERY: a consulta usada para testar e avaliar a qualidade da pesquisa
  • PATH/TO/CLOUD/STORAGE/LOCATION: o caminho para a localização do Cloud Storage onde reside o resultado esperado. Este é o valor do campo link no campo derivedStructData da definição do documento.
  • PAGE_NUMBER_1: um campo opcional para indicar os números das páginas no ficheiro PDF onde se encontra a resposta esperada para a consulta. Isto é útil quando o ficheiro tem várias páginas.
  • CDOC_URL: um campo opcional para indicar o campo cdoc_urlID do documento personalizadocdoc_url nos metadados do documento no esquema do arquivo de dados do Vertex AI Search.

Dados estruturados

Use o seguinte modelo para criar um ficheiro de consulta de exemplo no formato JSON para validar dados estruturados do BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Substitua o seguinte:

  • SAMPLE_QUERY: a consulta usada para testar e avaliar a qualidade da pesquisa
  • CDOC_URL: um campo obrigatório para indicar o campo cdoc_url personalizado para o campo de dados estruturados no esquema do repositório de dados do Vertex AI Search.

Dados do Website

Use o seguinte modelo para criar um ficheiro de consulta de exemplo no formato JSON para avaliar o conteúdo do Website.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Substitua o seguinte:

  • SAMPLE_QUERY: a consulta usada para testar e avaliar a qualidade da pesquisa
  • WEBSITE_URL: o Website de destino da consulta.

Segue-se um exemplo de um conjunto de consultas de amostra nos formatos JSON e NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importe a partir do sistema de ficheiros local

A secção seguinte fornece os modelos de conjuntos de consultas de exemplo para importação do sistema de ficheiros local.

Dados não estruturados

Use o seguinte modelo para criar um ficheiro de consulta de exemplo no formato JSON para avaliar dados não estruturados com metadados.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Substitua o seguinte:

  • SAMPLE_QUERY: a consulta usada para testar e avaliar a qualidade da pesquisa
  • PATH/TO/CLOUD/STORAGE/LOCATION: o caminho para a localização do Cloud Storage onde reside o ficheiro de dados não estruturados a consultar. Este é o valor do campo link no campo derivedStructData da definição do documento.
  • PAGE_NUMBER_1: um campo opcional para indicar os números das páginas onde a resposta necessária para a consulta pode ser encontrada no ficheiro PDF. Isto é útil se o ficheiro tiver várias páginas.
  • CDOC_URL: um campo opcional para indicar o campo cdoc_urlID do documento personalizadocdoc_url nos metadados do documento no esquema do arquivo de dados do Vertex AI Search.

Dados estruturados

Use o seguinte modelo para criar um ficheiro de consulta de exemplo no formato JSON para validar dados estruturados do BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Substitua o seguinte:

  • SAMPLE_QUERY: a consulta usada para testar e avaliar a qualidade da pesquisa
  • CDOC_URL: um campo obrigatório para indicar o campo cdoc_url personalizado para o campo de dados estruturados no esquema do repositório de dados do Vertex AI Search.

Dados do Website

Use o seguinte modelo para criar um ficheiro de consulta de exemplo no formato JSON para avaliar o conteúdo do Website.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Substitua o seguinte:

  • SAMPLE_QUERY: a consulta usada para testar e avaliar a qualidade da pesquisa
  • WEBSITE_URL: o Website de destino da consulta.

Segue-se um exemplo de um conjunto de consultas de exemplo:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Processo de avaliação da qualidade da pesquisa

O processo de avaliação da qualidade da pesquisa é o seguinte:

  1. Crie um conjunto de consultas de exemplo.
  2. Importe uma consulta de exemplo que esteja em conformidade com o formato JSON prescrito.
  3. Execute a avaliação da qualidade da pesquisa.
  4. Compreenda os resultados.

As secções seguintes fornecem as instruções para realizar estes passos através de métodos da API REST.

Antes de começar

  • Aplica-se o seguinte limite:
    • Num determinado momento, só pode ter uma avaliação ativa por projeto.
  • Aplica-se a seguinte quota:
    • Pode iniciar um máximo de cinco pedidos de avaliação por dia por projeto. Para mais informações, consulte o artigo Quotas e limites.
  • Para receber métricas ao nível da página, tem de ativar as respostas extrativas.

Crie um conjunto de consultas de amostra

Pode criar um conjunto de consultas de exemplo e usá-lo para avaliar a qualidade das respostas de pesquisa para um determinado arquivo de dados. Para criar um conjunto de consultas de exemplo, faça o seguinte.

REST

O exemplo seguinte mostra como criar o conjunto de consultas de amostra através do método sampleQuerySets.create.

  1. Crie o conjunto de consultas de exemplo.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • SAMPLE_QUERY_SET_ID: um ID personalizado para o seu conjunto de consultas de amostra.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: um nome personalizado para o seu conjunto de consultas de amostra.

Importe dados de consultas de amostra

Depois de criar o conjunto de consultas de exemplo, importe os dados de consultas de exemplo. Para importar os dados de consulta de exemplo, pode fazer qualquer uma das seguintes ações:

  • Importar do Cloud Storage: importe um ficheiro NDJSON de uma localização do Cloud Storage.
  • Importar do BigQuery: importe dados do BigQuery de uma tabela do BigQuery. Para criar a tabela do BigQuery a partir do ficheiro NDJSON, consulte o artigo Carregar dados JSON do Cloud Storage.
  • Importar a partir do seu sistema de ficheiros local: crie o conjunto de consultas de exemplo no seu sistema de ficheiros local e importe-o.

Cloud Storage

  1. Crie os conjuntos de consultas de exemplo que estejam em conformidade com o formato de conjunto de consultas de exemplo.

  2. Importe o ficheiro JSON que contém o conjunto de consultas de exemplo de uma localização do Cloud Storage através do método sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • SAMPLE_QUERY_SET_ID: o ID personalizado do conjunto de consultas de exemplo que definiu durante a criação do conjunto de consultas de exemplo.
    • INPUT_FILE_PATH: o caminho para a localização do Cloud Storage do seu conjunto de consultas de amostra.
    • ERROR_DIRECTORY: um campo opcional para especificar o caminho para a localização do Cloud Storage onde os ficheiros de erro são registados quando ocorrem erros de importação. A Google recomenda que deixe este campo vazio ou remova o campo errorConfig para que a Pesquisa do Vertex AI possa criar automaticamente uma localização temporária.

  3. Obtenha o estado da operação de longa duração (LRO) através do método operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Crie os conjuntos de consultas de exemplo que estejam em conformidade com o formato de conjunto de consultas de exemplo.

  2. Importe o ficheiro JSON que contém o conjunto de consultas de exemplo de uma localização do BigQuery usando o método sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • SAMPLE_QUERY_SET_ID: o ID personalizado do conjunto de consultas de exemplo que definiu durante a criação do conjunto de consultas de exemplo.
    • DATASET_ID: o ID do conjunto de dados do BigQuery que contém o conjunto de consultas de exemplo.
    • TABLE_ID: o ID da sua tabela do BigQuery que contém o conjunto de consultas de exemplo.
    • ERROR_DIRECTORY: um campo opcional para especificar o caminho para a localização do Cloud Storage onde os ficheiros de erro são registados quando ocorrem erros de importação. A Google recomenda que deixe este campo vazio ou remova o campo `errorConfig` para que a Pesquisa Vertex AI possa criar automaticamente uma localização temporária.

  3. Obtenha o estado da operação de longa duração (LRO) através do método operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Sistema de ficheiros local

  1. Crie os conjuntos de consultas de exemplo que estejam em conformidade com o formato de conjunto de consultas de exemplo.

  2. Importe o ficheiro JSON que contém o conjunto de consultas de exemplo de uma localização do sistema de ficheiros local através do método sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • SAMPLE_QUERY_SET_ID: o ID personalizado do conjunto de consultas de exemplo que definiu durante a criação do conjunto de consultas de exemplo.
    • PATH/TO/LOCAL/FILE.json: o caminho para o ficheiro JSON que contém o conjunto de consultas de exemplo.

  3. Obtenha o estado da operação de longa duração (LRO) através do método operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Execute a avaliação da qualidade da pesquisa

Depois de importar os dados de consulta de exemplo para os conjuntos de consultas de exemplo, siga estes passos para executar a avaliação da qualidade da pesquisa.

REST

  1. Inicie uma avaliação da qualidade da pesquisa.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • SAMPLE_QUERY_SET_ID: o ID personalizado do conjunto de consultas de exemplo que definiu durante a criação do conjunto de consultas de exemplo.
    • APP_ID: o ID da app Vertex AI Search cuja qualidade de pesquisa quer avaliar.

  2. Monitorize o progresso da avaliação.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • EVALUATION_ID: o ID da tarefa de avaliação que foi devolvido no passo anterior quando iniciou a avaliação.

  3. Obter os resultados agregados.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • EVALUATION_ID: o ID da tarefa de avaliação que foi devolvido no passo anterior quando iniciou a avaliação.

  4. Obter resultados ao nível da consulta.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu projeto Google Cloud .
    • EVALUATION_ID: o ID da tarefa de avaliação que foi devolvido no passo anterior quando iniciou a avaliação.

Compreenda os resultados

A tabela seguinte descreve as métricas devolvidas nos resultados da avaliação.

Nome Descrição Requisitos
docRecall

Relembrar por documento, a vários níveis de limite superior k.

A capacidade de memorização é a fração de documentos relevantes obtidos em todos os documentos relevantes. Por exemplo, o valor top5 significa o seguinte:

Para uma única consulta, se 3 em 5 documentos relevantes forem obtidos nos 5 principais resultados, a docRecall pode ser calculada como 3/5 ou 0,6.

 A consulta de exemplo tem de conter o campo URI.
pageRecall

Recall por página, a vários níveis de limite superior k.

A capacidade de memorização é a fração de páginas relevantes obtidas em todas as páginas relevantes. Por exemplo, o valor top5 significa o seguinte:

Para uma única consulta, se 3 de 5 páginas relevantes forem obtidas nos 5 principais resultados, a pageRecall pode ser calculada como 3/5 = 0,6
  • A consulta de exemplo tem de conter os campos URI e páginas.
  • As respostas extrativas têm de estar ativadas.
docNdcg

Ganhos cumulativos com desconto normalizados (NDCG) por documento, a vários níveis de limite superior k.

O NDCG mede a qualidade da classificação, dando maior relevância aos resultados principais. O valor NDCG pode ser calculado para cada consulta de acordo com o CDG normalizado.

 A consulta de exemplo tem de conter o campo URI.
pageNdcg

Ganhos cumulativos com desconto normalizados (NDCG) por página, a vários níveis de limite superior k.

O NDCG mede a qualidade da classificação, dando maior relevância aos resultados principais. O valor NDCG pode ser calculado para cada consulta de acordo com o CDG normalizado.
  • A consulta de exemplo tem de conter os campos URI e páginas.
  • As respostas extrativas têm de estar ativadas.
docPrecision

Precisão por documento, a vários níveis de limite de top-k.

A precisão é a fração de documentos obtidos que são relevantes. Por exemplo, o valor top3 significa o seguinte:

Para uma única consulta, se 4 em 5 documentos obtidos nos 5 principais forem relevantes, o valor docPrecision pode ser calculado como 4/5 ou 0,8.

 A consulta de exemplo tem de conter o campo URI.

Com base nos valores destas métricas suportadas, pode realizar as seguintes tarefas:

  • Analise métricas agregadas:
    • Examine as métricas gerais, como a capacidade de memorização média, a precisão e o ganho cumulativo descontado normalizado (NDCG).
    • Estas métricas oferecem uma vista geral do desempenho do seu motor de pesquisa.
  • Reveja os resultados ao nível da consulta:
    • Analise detalhadamente as consultas individuais para identificar áreas específicas onde o motor de pesquisa tem um bom ou um mau desempenho.
    • Procure padrões nos resultados para compreender potenciais parcialidades ou deficiências nos algoritmos de classificação.
  • Compare os resultados ao longo do tempo:
    • Execute avaliações regularmente para acompanhar as alterações na qualidade da pesquisa ao longo do tempo.
    • Use dados do histórico para identificar tendências e avaliar o impacto de quaisquer alterações que faça ao seu motor de pesquisa.

O que se segue?