Valutare la qualità della ricerca

Nell'ambito della tua esperienza di ricerca con Vertex AI Search, puoi valutare Qualità dei risultati di ricerca per app di ricerca generica utilizzando set di query di esempio.

Puoi valutare il rendimento delle app di ricerca generiche che contengono contenuti strutturati, non strutturati e di siti web. Non puoi valutare il rendimento delle app con più datastore.

Questa pagina spiega perché, quando e come valutare la qualità della ricerca utilizzando il metodo di valutazione.

Panoramica

Questa sezione descrive perché e quando eseguire la valutazione della qualità della ricerca. Per informazioni su come eseguire la valutazione della qualità della ricerca, consulta Procedura per la valutazione della qualità della ricerca.

Motivi per eseguire la valutazione

La valutazione della qualità della ricerca ti fornisce metriche che ti aiutano a eseguire le attività ad esempio:

  • Valuta il rendimento del tuo motore di ricerca a livello aggregato
  • A livello di query, individua i pattern per comprendere i potenziali bias o carenze del ranking algoritmi
  • Confrontare i risultati delle valutazioni storiche per comprendere l'impatto delle modifiche alla configurazione della ricerca

Per un elenco di metriche, consulta Comprensione dei risultati.

Quando eseguire la valutazione

Vertex AI Search estende diverse configurazioni di ricerca per migliorare la tua esperienza di ricerca. Puoi eseguire valutazione della qualità della ricerca dopo aver apportato le seguenti modifiche:

Puoi anche eseguire regolarmente i test di valutazione perché il comportamento di ricerca viene aggiornato periodicamente.

Informazioni sugli insiemi di query di esempio

Gli insiemi di query di esempio vengono utilizzati per la valutazione della qualità. Il set di query di esempio deve rispetti il formato prescritto e deve contenere voci di query con seguenti campi nidificati:

  • Query: la query i cui risultati di ricerca vengono utilizzati per generare metriche di valutazione e determinare la qualità della ricerca. Google consiglia di utilizzare una serie diversificata di query che rifletta il comportamento e il pattern di ricerca degli utenti.

  • Target: l'URI del documento previsto come risultato di ricerca della query di esempio. Per comprendere la definizione di documento per le app di ricerca di siti web, strutturati e non strutturati, consulta Documenti.

    Quando i documenti di destinazione vengono confrontati con i documenti recuperati nella risposta della ricerca, vengono generate metriche sul rendimento. Le metriche vengono generate utilizzando queste due tecniche:

    • Corrispondenza dei documenti: gli URI dei documenti di destinazione vengono confrontati con gli URI dei documenti recuperati. Questo determina se i documenti previsti sono presenti nei risultati di ricerca. Durante il confronto, l'API di valutazione tenta di estrarre i seguenti campi nell'ordine seguente e utilizza il primo valore disponibile per abbinare il target al documento recuperato:
    • Corrispondenza delle pagine: quando includi i numeri di pagina nei target di esempio, l'API di valutazione confronta i risultati a livello di pagina. Questo determina se le pagine menzionate nei target sono citate anche la risposta della ricerca. Per attivare la corrispondenza a livello di pagina, devi attivare le risposte estrattive. L'API di valutazione corrisponde alla pagina della prima risposta esiva nel risultato di ricerca.

Scopo degli insiemi di query di esempio

Utilizzare lo stesso set di query di esempio per tutte le valutazioni della qualità di ricerca per una un determinato datastore garantisce un modo coerente e affidabile per misurare risultati di qualità. Inoltre, consente di stabilire un sistema equo e ripetibile.

I risultati di ogni valutazione vengono confrontati con i risultati target per ogni query di esempio per calcolare metriche diverse, come il richiamo, la precisione e il guadagno cumulativo scontato normalizzato (NDCG). Queste metriche quantitative vengono utilizzate per classificare i risultati di diverse configurazioni di ricerca.

Quote e limiti

Il seguente limite si applica ai set di query di esempio:

  • Ogni set di query di esempio può contenere un massimo di 20.000 query.

La seguente quota si applica agli insiemi di query di esempio:

  • Puoi creare un massimo di 100 set di query di esempio per progetto e 500 set di query di esempio per organizzazione.

Per saperne di più, consulta Quote e limiti.

Esempio di formato del set di query

Il set di query deve essere conforme allo schema seguente quando in formato JSON. Il set di query può contenere più voci di query con una query per ogni voce di query. Quando presentato in formato JSON delimitato da nuova riga (NDJSON), ogni voce di query deve essere su una nuova riga.

Importa da BigQuery e Cloud Storage

La sezione seguente fornisce i modelli di set di query di esempio per l'importazione da da BigQuery e Cloud Storage.

Dati non strutturati

Utilizza il seguente modello per creare la bozza di un file di query di esempio in formato JSON per valutare i dati non strutturati con metadati.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Sostituisci quanto segue:

  • SAMPLE_QUERY: la query utilizzata per valutare la qualità della ricerca
  • PATH/TO/CLOUD/STORAGE/LOCATION: il percorso della posizione Cloud Storage in cui si trova il risultato previsto. Questo è il valore del campo link nel Campo derivedStructData della definizione del documento.
  • PAGE_NUMBER_1: un campo facoltativo per indicare i numeri di pagina nel file PDF in cui la risposta prevista per la query è individuarlo. Questo è utile quando il file ha più pagine.
  • CDOC_URL: un campo facoltativo per indicare il campo ID documento personalizzato cdoc_url nei metadati del documento nello schema dell'archivio dati di Vertex AI Search.

Dati strutturati

Utilizza il seguente modello per creare la bozza di un file di query di esempio in formato JSON per valutare i dati strutturati di BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Sostituisci quanto segue:

  • SAMPLE_QUERY: la query utilizzata per verificare la valutazione della qualità della ricerca
  • CDOC_URL: un campo obbligatorio per indicare la dimensione personalizzata cdoc_url per il campo dei dati strutturati nella Schema del datastore di Vertex AI Search.

Dati sui siti web

Utilizza il seguente modello per creare la bozza di un file di query di esempio in formato JSON per valutare i contenuti del sito web.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Sostituisci quanto segue:

  • SAMPLE_QUERY: la query utilizzata per verificare la valutazione della qualità della ricerca
  • WEBSITE_URL: il sito web di destinazione per la query.

Ecco un esempio di un set di query di esempio nei formati JSON e NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importa da file system locale

La sezione seguente fornisce i modelli di set di query di esempio per l'importazione dal file system locale.

Dati non strutturati

Utilizza il seguente modello per creare la bozza di un file di query di esempio in formato JSON per valutare i dati non strutturati con metadati.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Sostituisci quanto segue:

  • SAMPLE_QUERY: la query utilizzata per verificare la valutazione della qualità della ricerca
  • PATH/TO/CLOUD/STORAGE/LOCATION: il percorso verso il percorso di Cloud Storage in cui posizionare il file di dati non strutturati sottoposti a query. Si tratta del valore del campo link nel campo derivedStructData della definizione del documento.
  • PAGE_NUMBER_1: un campo facoltativo per indicare i numeri di pagina in cui è possibile trovare la risposta richiesta per la query nel file PDF. Questa opzione è utile se il file ha più pagine.
  • CDOC_URL: un campo facoltativo per indicare il campo ID documento personalizzato cdoc_url nei metadati del documento nello schema dell'archivio dati di Vertex AI Search.

Dati strutturati

Utilizza il seguente modello per creare la bozza di un file di query di esempio in formato JSON per valutare i dati strutturati di BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Sostituisci quanto segue:

  • SAMPLE_QUERY: la query utilizzata per verificare la valutazione della qualità della ricerca
  • CDOC_URL: un campo obbligatorio per indicare la dimensione personalizzata cdoc_url per il campo dei dati strutturati nella Schema del datastore di Vertex AI Search.

Dati sui siti web

Utilizza il seguente modello per creare la bozza di un file di query di esempio in formato JSON per valutare i contenuti del sito web.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Sostituisci quanto segue:

  • SAMPLE_QUERY: la query utilizzata per verificare la valutazione della qualità della ricerca
  • WEBSITE_URL: il sito web di destinazione per la query.

Di seguito è riportato un esempio di un insieme di query di esempio:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Procedura per la valutazione della qualità della Ricerca

Il processo di valutazione della qualità della ricerca è il seguente:

  1. Crea un insieme di query di esempio.
  2. Importa una query di esempio conforme al formato JSON prescritto.
  3. Esegui la valutazione della qualità della ricerca.
  4. Interpreta i risultati.

Le sezioni seguenti forniscono le istruzioni per eseguire questi passaggi utilizzando i metodi dell'API REST.

Prima di iniziare

  • Si applica il seguente limite:
    • Puoi avere una sola valutazione attiva alla volta per progetto.
  • Si applica la seguente quota:
    • Puoi avviare un massimo di cinque richieste di valutazione al giorno per progetto. Per ulteriori informazioni, consulta Quote e limiti.
  • Per ottenere le metriche a livello di pagina, devi attivare le risposte strategiche.

Crea un set di query di esempio

Puoi creare un set di query di esempio e utilizzarlo per valutare la qualità delle risposte di ricerca per un determinato data store. Per creare un insieme di query di esempio:

REST

L'esempio seguente mostra come creare l'insieme di query di esempio utilizzando il metodo sampleQuerySets.create.

  1. Crea l'insieme di query di esempio.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • SAMPLE_QUERY_SET_ID: un ID personalizzato per il set di query di esempio.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: un nome personalizzato per il set di query di esempio.

Importa dati di query di esempio

Dopo aver creato il set di query di esempio, importa i dati della query di esempio. Per importare i dati delle query di esempio, puoi eseguire una delle seguenti operazioni:

  • Importa da Cloud Storage: importa un file NDJSON da una posizione Cloud Storage.
  • Importa da BigQuery: importa i dati di BigQuery da una tabella BigQuery. Per creare la tabella BigQuery dal file NDJSON, consulta Caricare i dati JSON da Cloud Storage.
  • Importa dal file system locale: crea l'insieme di query di esempio nel file system locale e importalo.

Cloud Storage

  1. Crea i set di query di esempio conformi al formato dei set di query di esempio.

  2. Importa il file JSON contenente l'insieme di query di esempio da una posizione Cloud Storage utilizzando il metodo sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • SAMPLE_QUERY_SET_ID: l'ID personalizzato per il set di query di esempio che hai definito durante la creazione del set di query di esempio.
    • INPUT_FILE_PATH: il percorso della posizione Cloud Storage per il set di query di esempio.
    • ERROR_DIRECTORY: un campo facoltativo da specificare il percorso della posizione di Cloud Storage in cui vengono registrati i file di errore si verificano errori di importazione. Google consiglia di lasciare vuoto questo campo o di rimuoverlo errorConfig in modo che Vertex AI Search possa creare automaticamente una posizione temporanea.

  3. Recupera lo stato dell'operazione a lunga esecuzione (LRO) utilizzando il metodo operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Crea gli insiemi di query di esempio conformi al formato dell'insieme di query di esempio.

  2. Importa il file JSON contenente il set di query di esempio da BigQuery posizione usando il metodo sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • SAMPLE_QUERY_SET_ID: l'ID personalizzato per il set di query di esempio che hai definito durante la creazione del set di query di esempio.
    • DATASET_ID: l'ID dell'elemento BigQuery che contiene il set di query di esempio.
    • TABLE_ID: l'ID del tuo file BigQuery contenente il set di query di esempio.
    • ERROR_DIRECTORY: un campo facoltativo da specificare il percorso della posizione di Cloud Storage in cui vengono registrati i file di errore si verificano errori di importazione. Google consiglia di lasciare vuoto questo campo o di rimuovere il campo "errorConfig" in modo che Vertex AI Search possa eseguire automaticamente creare una località temporanea.

  3. Recupera lo stato dell'operazione a lunga esecuzione (LRO) utilizzando il metodo operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

File system locale

  1. Crea gli insiemi di query di esempio conformi al formato dell'insieme di query di esempio.

  2. Importa il file JSON contenente il set di query di esempio da un file system locale posizione usando il metodo sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • SAMPLE_QUERY_SET_ID: l'ID personalizzato del tuo un set di query di esempio che hai definito durante la creazione di un set di query di esempio.
    • PATH/TO/LOCAL/FILE.json: il percorso del file JSON contenente il set di query di esempio.

  3. Recupera lo stato dell'operazione a lunga esecuzione (LRO) utilizzando il metodo operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Esegui la valutazione della qualità della ricerca

Dopo aver importato i dati delle query di esempio nei set di query di esempio, segui questi passaggi per eseguire la valutazione della qualità della ricerca.

REST

  1. Avvia una valutazione della qualità della ricerca.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • SAMPLE_QUERY_SET_ID: l'ID personalizzato per il set di query di esempio che hai definito durante la creazione del set di query di esempio.
    • APP_ID: l'ID del App Vertex AI Search di cui vuoi ottenere la qualità di ricerca valutare.

  2. Monitora l'avanzamento della valutazione.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • EVALUATION_ID: l'ID del job di valutazione che è stato restituito nel passaggio precedente quando hai avviato la valutazione.

  3. Recupera i risultati aggregati.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • EVALUATION_ID: l'ID del job di valutazione che è stato restituito nel passaggio precedente quando hai avviato la valutazione.

  4. Recuperare i risultati a livello di query.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del tuo progetto Google Cloud.
    • EVALUATION_ID: l'ID del job di valutazione che è stato restituito nel passaggio precedente quando hai avviato la valutazione.

Come capire i risultati

La tabella seguente descrive le metriche restituite nella valutazione che consentono di analizzare i dati e visualizzare i risultati.

Nome Descrizione Requisiti
docRecall

Recall per documento, a vari livelli di taglio top-k.

Il richiamo è la frazione di documenti pertinenti recuperati rispetto a tutti i documenti pertinenti. Ad esempio, il valore top5 indica quanto segue:

Per una singola query, se 3 documenti pertinenti su 5 vengono recuperati tra i primi 5, il valore docRecall può essere calcolato come 3/5 o 0,6.

 La query di esempio deve contenere il campo URI.
pageRecall

Recall per pagina, a vari livelli di taglio top-k.

Il richiamo è la frazione di pagine pertinenti recuperate rispetto a tutte le pagine pertinenti. Ad esempio, il valore top5 indica quanto segue:

Per una singola query, se 3 pagine pertinenti su 5 vengono recuperate tra le prime 5, il valore pageRecall può essere calcolato come 3/5 = 0,6
  • La query di esempio deve contenere l'URI e i campi delle pagine.
  • Le risposte estrattive devono essere attivate.
docNdcg

Guadagno cumulativo scontato normalizzato (NDCG) per documento, a vari livelli limite top-k.

NDCG misura la qualità del ranking, dando una maggiore pertinenza ai risultati migliori. Il valore NDCG può essere calcolato per ogni query in base alla CDG normalizzata.

 La query di esempio deve contenere il campo URI.
pageNdcg

Guadagno cumulativo scontato normalizzato per pagina, a vari livelli limite top-k.

NDCG misura la qualità del ranking, dando una maggiore pertinenza ai risultati migliori. Il valore NDCG può essere calcolato per ogni query in base al CDG normalizzato.
  • La query di esempio deve contenere l'URI e i campi delle pagine.
  • Le risposte estrattive devono essere attivate.
docPrecision

Precisione per documento, a vari livelli di taglio top-k.

La precisione è la frazione di documenti recuperati pertinenti. Ad esempio, il valore top3 indica quanto segue:

Per una singola query, se 4 documenti recuperati su 5 tra i primi 5 sono pertinenti, il valore docPrecision può essere calcolato come 4/5 o 0,8.

 La query di esempio deve contenere il campo URI.

In base ai valori di queste metriche supportate, puoi eseguire le seguenti operazioni: attività:

  • Analizza le metriche aggregate:
    • Esamina le metriche generali come il richiamo medio, la precisione e il guadagno cumulativo scontato normalizzato (NDCG).
    • Queste metriche forniscono una visione generale del rendimento del tuo motore di ricerca.
  • Rivedi i risultati a livello di query:
    • Analizza in dettaglio le singole query per identificare aree specifiche in cui il motore di ricerca ha un buon rendimento o meno.
    • Cerca schemi ripetuti nei risultati per comprendere potenziali pregiudizi o carenze negli algoritmi di ranking.
  • Confronta i risultati nel tempo:
    • Esegui regolarmente le valutazioni per monitorare le variazioni della qualità della ricerca nel tempo.
    • Utilizza i dati storici per identificare le tendenze e valutare l'impatto di eventuali modifiche apportate al tuo motore di ricerca.

Passaggi successivi