Mengevaluasi kualitas penelusuran

Sebagai bagian dari pengalaman penelusuran dengan Vertex AI Search, Anda dapat mengevaluasi kualitas hasil penelusuran untuk aplikasi penelusuran umum menggunakan kumpulan kueri contoh.

Anda dapat mengevaluasi performa aplikasi penelusuran umum yang berisi data terstruktur, tidak terstruktur, dan situs. Anda tidak dapat mengevaluasi performa aplikasi dengan beberapa penyimpanan data.

Halaman ini menjelaskan alasan, waktu, dan cara mengevaluasi kualitas penelusuran menggunakan metode evaluasi.

Ringkasan

Bagian ini menjelaskan alasan dan waktu untuk melakukan evaluasi kualitas penelusuran. Untuk mengetahui informasi tentang cara melakukan evaluasi kualitas penelusuran, lihat Proses untuk mengevaluasi kualitas penelusuran.

Alasan untuk melakukan evaluasi

Penilaian kualitas penelusuran memberikan metrik yang membantu melakukan tugas seperti berikut:

  • Di tingkat gabungan, ukur performa mesin telusur Anda
  • Pada tingkat kueri, temukan pola untuk memahami potensi bias atau kekurangan dalam algoritma penentuan peringkat
  • Membandingkan hasil evaluasi historis untuk memahami dampak perubahan pada konfigurasi penelusuran Anda

Untuk mengetahui daftar metrik, lihat Memahami hasil.

Kapan harus melakukan evaluasi

Vertex AI Search memperluas beberapa konfigurasi penelusuran untuk meningkatkan pengalaman penelusuran Anda. Anda dapat melakukan evaluasi kualitas penelusuran setelah melakukan perubahan berikut:

Anda juga dapat menjalankan pengujian evaluasi secara rutin karena perilaku penelusuran diperbarui secara berkala.

Tentang set kueri contoh

Contoh set kueri digunakan untuk evaluasi kualitas. Set kueri contoh harus mematuhi format yang ditentukan, dan harus berisi entri kueri yang memiliki kolom bertingkat berikut:

  • Kueri: kueri yang hasil penelusurannya digunakan untuk menghasilkan metrik evaluasi dan menentukan kualitas penelusuran. Google merekomendasikan penggunaan berbagai kumpulan kueri yang mencerminkan pola dan perilaku penelusuran pengguna Anda.

  • Target: URI dokumen yang diharapkan sebagai hasil penelusuran dari kueri contoh. Untuk memahami definisi dokumen untuk aplikasi penelusuran terstruktur, tidak terstruktur, dan situs, lihat Dokumen.

    Saat dokumen target dibandingkan dengan dokumen yang diambil dalam respons penelusuran, metrik performa akan dihasilkan. Metrik dihasilkan menggunakan dua teknik ini:

    • Pencocokan dokumen: URI dokumen target dibandingkan dengan URI dokumen yang diambil. Hal ini menentukan apakah dokumen yang diharapkan ada di hasil penelusuran. Selama perbandingan, API evaluasi mencoba mengekstrak kolom berikut dalam urutan berikut, dan menggunakan nilai pertama yang tersedia untuk mencocokkan target dengan dokumen yang diambil:
    • Pencocokan halaman: saat Anda menyertakan nomor halaman dalam target contoh, API evaluasi akan membandingkan hasilnya di tingkat halaman. Hal ini menentukan apakah halaman yang disebutkan dalam target juga dikutip dalam respons penelusuran. Anda harus mengaktifkan jawaban ekstrak untuk mengaktifkan pencocokan tingkat halaman. API evaluasi mencocokkan halaman dari jawaban ekstraktif pertama dalam hasil penelusuran.

Tujuan set kueri contoh

Menggunakan set kueri sampel yang sama untuk semua evaluasi kualitas penelusuran Anda untuk penyimpanan data tertentu akan memastikan cara yang konsisten dan andal untuk mengukur hasil kualitas penelusuran. Hal ini juga akan membangun sistem yang adil dan dapat diulang.

Hasil dari setiap evaluasi dibandingkan dengan hasil target untuk setiap kueri contoh guna menghitung berbagai metrik, seperti recall, presisi, dan normalized discounted cumulative gain (NDCG). Metrik kuantitatif ini digunakan untuk menentukan peringkat hasil dari berbagai konfigurasi penelusuran.

Kuota dan batas

Batas berikut berlaku untuk set kueri sampel:

  • Setiap set kueri sampel dapat berisi maksimum 20.000 kueri.

Kuota berikut berlaku untuk set kueri sampel:

  • Anda dapat membuat maksimal 100 set kueri contoh per project dan 500 set kueri contoh per organisasi.

Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.

Contoh format set kueri

Kumpulan kueri harus sesuai dengan skema berikut saat dibuat dalam format JSON. Kumpulan kueri dapat berisi beberapa entri kueri dengan satu kueri di setiap entri kueri. Jika ditampilkan dalam format JSON (NDJSON) yang dipisahkan baris baru, setiap entri kueri harus berada di baris baru.

Mengimpor dari BigQuery dan Cloud Storage

Bagian berikut memberikan contoh template set kueri untuk diimpor dari BigQuery dan Cloud Storage.

Data tidak terstruktur

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data tidak terstruktur dengan metadata.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ganti kode berikut:

  • SAMPLE_QUERY: kueri yang digunakan untuk menguji evaluasi kualitas penelusuran
  • PATH/TO/CLOUD/STORAGE/LOCATION: jalur ke lokasi Cloud Storage tempat hasil yang diharapkan berada. Ini adalah nilai kolom link di kolom derivedStructData definisi dokumen.
  • PAGE_NUMBER_1: kolom opsional untuk menunjukkan nomor halaman dalam file PDF tempat respons yang diharapkan untuk kueri berada. Hal ini berguna jika file memiliki beberapa halaman.
  • CDOC_URL: kolom opsional untuk menunjukkan kolom ID dokumen kustom cdoc_url dalam metadata dokumen di skema penyimpanan data Vertex AI Search.

Data terstruktur

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data terstruktur dari BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ganti kode berikut:

  • SAMPLE_QUERY: kueri yang digunakan untuk menguji evaluasi kualitas penelusuran
  • CDOC_URL: kolom wajib untuk menunjukkan kolom cdoc_url kustom untuk kolom data terstruktur dalam skema penyimpanan data Vertex AI Search.

Data situs

Gunakan template berikut untuk membuat draf contoh file kueri dalam format JSON untuk mengevaluasi konten situs.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Ganti kode berikut:

  • SAMPLE_QUERY: kueri yang digunakan untuk menguji evaluasi kualitas penelusuran
  • WEBSITE_URL: situs target untuk kueri.

Berikut adalah contoh contoh kueri yang ditetapkan dalam format JSON dan NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Mengimpor dari sistem file lokal

Bagian berikut memberikan contoh template kumpulan kueri untuk diimpor dari sistem file lokal.

Data tidak terstruktur

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data tidak terstruktur dengan metadata.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ganti kode berikut:

  • SAMPLE_QUERY: kueri yang digunakan untuk menguji evaluasi kualitas penelusuran
  • PATH/TO/CLOUD/STORAGE/LOCATION: jalur ke lokasi Cloud Storage tempat file data tidak terstruktur yang akan dibuat kueri berada. Ini adalah nilai kolom link di kolom derivedStructData definisi dokumen.
  • PAGE_NUMBER_1: kolom opsional untuk menunjukkan nomor halaman tempat respons yang diperlukan untuk kueri dapat ditemukan dalam file PDF. Hal ini berguna jika file memiliki beberapa halaman.
  • CDOC_URL: kolom opsional untuk menunjukkan kolom ID dokumen kustom cdoc_url dalam metadata dokumen di skema penyimpanan data Vertex AI Search.

Data terstruktur

Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data terstruktur dari BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ganti kode berikut:

  • SAMPLE_QUERY: kueri yang digunakan untuk menguji evaluasi kualitas penelusuran
  • CDOC_URL: kolom wajib untuk menunjukkan kolom cdoc_url kustom untuk kolom data terstruktur dalam skema penyimpanan data Vertex AI Search.

Data situs

Gunakan template berikut untuk membuat draf contoh file kueri dalam format JSON untuk mengevaluasi konten situs.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Ganti kode berikut:

  • SAMPLE_QUERY: kueri yang digunakan untuk menguji evaluasi kualitas penelusuran
  • WEBSITE_URL: situs target untuk kueri.

Berikut adalah contoh kumpulan kueri sampel:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Proses untuk mengevaluasi kualitas penelusuran

Proses evaluasi kualitas penelusuran adalah sebagai berikut:

  1. Buat set kueri contoh.
  2. Impor contoh kueri yang sesuai dengan format JSON yang ditentukan.
  3. Jalankan evaluasi kualitas penelusuran.
  4. Memahami hasilnya.

Bagian berikut memberikan petunjuk untuk melakukan langkah-langkah ini menggunakan metode REST API.

Sebelum memulai

  • Batas berikut berlaku:
    • Pada waktu tertentu, Anda hanya dapat memiliki satu evaluasi aktif per project.
  • Kuota berikut berlaku:
    • Anda dapat memulai maksimal lima permintaan evaluasi per hari per project. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.
  • Untuk mendapatkan metrik tingkat halaman, Anda harus mengaktifkan jawaban ekstrak.

Membuat contoh set kueri

Anda dapat membuat kumpulan kueri contoh dan menggunakannya untuk mengevaluasi kualitas respons penelusuran untuk penyimpanan data tertentu. Untuk membuat set kueri contoh, lakukan hal berikut.

REST

Contoh berikut menunjukkan cara membuat set kueri contoh menggunakan metode sampleQuerySets.create.

  1. Buat set kueri contoh.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • SAMPLE_QUERY_SET_ID: ID kustom untuk set kueri contoh Anda.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: nama kustom untuk set kueri contoh Anda.

Mengimpor contoh data kueri

Setelah membuat set kueri contoh, impor data kueri contoh. Untuk mengimpor data kueri contoh, Anda dapat melakukan salah satu hal berikut:

  • Mengimpor dari Cloud Storage: mengimpor file NDJSON dari lokasi Cloud Storage.
  • Impor dari BigQuery: mengimpor data BigQuery dari tabel BigQuery. Untuk membuat tabel BigQuery dari file NDJSON, lihat Memuat data JSON dari Cloud Storage.
  • Mengimpor dari sistem file lokal: buat set kueri sampel di sistem file lokal Anda dan impor.

Cloud Storage

  1. Buat set kueri contoh yang sesuai dengan format set kueri contoh.

  2. Impor file JSON yang berisi kumpulan kueri contoh dari lokasi Cloud Storage menggunakan metode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • SAMPLE_QUERY_SET_ID: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.
    • INPUT_FILE_PATH: jalur ke lokasi Cloud Storage untuk set kueri contoh Anda.
    • ERROR_DIRECTORY: kolom opsional untuk menentukan jalur ke lokasi Cloud Storage tempat file error dicatat ke dalam log saat terjadi error impor. Google merekomendasikan untuk mengosongkan kolom ini atau menghapus kolom errorConfig sehingga Vertex AI Search dapat membuat lokasi sementara secara otomatis.

  3. Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Buat set kueri contoh yang sesuai dengan format set kueri contoh.

  2. Impor file JSON yang berisi set kueri sampel dari lokasi BigQuery menggunakan metode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • SAMPLE_QUERY_SET_ID: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.
    • DATASET_ID: ID set data BigQuery yang berisi set kueri sampel.
    • TABLE_ID: ID tabel BigQuery Anda yang berisi kumpulan kueri sampel.
    • ERROR_DIRECTORY: kolom opsional untuk menentukan jalur ke lokasi Cloud Storage tempat file error dicatat ke dalam log saat terjadi error impor. Google merekomendasikan untuk membiarkan kolom ini kosong atau menghapus kolom `errorConfig` sehingga Vertex AI Search dapat otomatis membuat lokasi sementara.

  3. Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Sistem file lokal

  1. Buat set kueri contoh yang sesuai dengan format set kueri contoh.

  2. Impor file JSON yang berisi kumpulan kueri contoh dari lokasi sistem file lokal menggunakan metode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • SAMPLE_QUERY_SET_ID: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.
    • PATH/TO/LOCAL/FILE.json: jalur ke file JSON yang berisi kumpulan kueri contoh.

  3. Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode operations.get. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Menjalankan evaluasi kualitas penelusuran

Setelah mengimpor data kueri sampel ke dalam set kueri sampel, ikuti langkah-langkah berikut untuk menjalankan evaluasi kualitas penelusuran.

REST

  1. Memulai evaluasi kualitas penelusuran.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • SAMPLE_QUERY_SET_ID: ID kustom untuk set kueri contoh yang Anda tentukan selama pembuatan set kueri contoh.
    • APP_ID: ID aplikasi Vertex AI Search yang kualitas penelusurannya ingin Anda evaluasi.

  2. Memantau progres evaluasi.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • EVALUATION_ID: ID untuk tugas evaluasi Anda yang ditampilkan di langkah sebelumnya saat Anda memulai evaluasi.

  3. Ambil hasil gabungan.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • EVALUATION_ID: ID untuk tugas evaluasi Anda yang ditampilkan di langkah sebelumnya saat Anda memulai evaluasi.

  4. Mengambil hasil tingkat kueri.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda.
    • EVALUATION_ID: ID untuk tugas evaluasi Anda yang ditampilkan di langkah sebelumnya saat Anda memulai evaluasi.

Memahami hasil

Tabel berikut menjelaskan metrik yang ditampilkan dalam hasil penilaian Anda.

Nama Deskripsi Persyaratan
docRecall

Recall per dokumen, pada berbagai tingkat batas top-k.

Perolehan adalah fraksi dokumen relevan yang diambil dari semua dokumen relevan. Misalnya, nilai top5 menunjukkan hal berikut:

Untuk satu kueri, jika 3 dari 5 dokumen yang relevan diambil di 5 teratas, docRecall dapat dihitung sebagai 3/5 atau 0,6.

 Contoh kueri harus berisi kolom URI.
pageRecall

Recall per halaman, pada berbagai tingkat batas top-k.

Perolehan adalah pecahan halaman relevan yang diambil dari semua halaman relevan. Misalnya, nilai top5 menunjukkan hal berikut:

Untuk satu kueri, jika 3 dari 5 halaman yang relevan diambil di 5 teratas, pageRecall dapat dihitung sebagai 3/5 = 0,6
  • Contoh kueri harus berisi kolom URI dan halaman.
  • Jawaban ekstraktif harus diaktifkan.
docNdcg

Perolehan kumulatif setelah diskon yang dinormalisasi (NDCG) per dokumen, pada berbagai tingkat batas top-k.

NDCG mengukur kualitas peringkat, sehingga memberikan relevansi yang lebih tinggi untuk hasil teratas. Nilai NDCG dapat dihitung untuk setiap kueri sesuai dengan CDG yang Dinormalisasi.

 Contoh kueri harus berisi kolom URI.
pageNdcg

Perolehan kumulatif setelah diskon yang dinormalisasi (NDCG) per halaman, pada berbagai tingkat batas top-k.

NDCG mengukur kualitas peringkat, sehingga memberikan relevansi yang lebih tinggi untuk hasil teratas. Nilai NDCG dapat dihitung untuk setiap kueri sesuai dengan CDG Ternormalisasi.
  • Contoh kueri harus berisi kolom URI dan halaman.
  • Jawaban ekstraktif harus diaktifkan.
docPrecision

Presisi per dokumen, pada berbagai tingkat pemangkasan top-k.

Presisi adalah fraksi dokumen yang diambil dan relevan. Misalnya, nilai top3 menunjukkan hal berikut:

Untuk satu kueri, jika 4 dari 5 dokumen yang diambil dalam 5 teratas relevan, nilai docPrecision dapat dihitung sebagai 4/5 atau 0,8.

 Contoh kueri harus berisi kolom URI.

Berdasarkan nilai metrik yang didukung ini, Anda dapat melakukan tugas berikut:

  • Menganalisis metrik gabungan:
    • Periksa metrik keseluruhan seperti perolehan kumulatif setelah diskon yang dinormalisasi (NDCG), presisi, dan recall rata-rata.
    • Metrik ini memberikan gambaran umum tentang performa mesin telusur Anda.
  • Tinjau hasil tingkat kueri:
    • Pelajari setiap kueri untuk mengidentifikasi area tertentu tempat mesin telusur berperforma baik atau buruk.
    • Cari pola dalam hasil untuk memahami potensi bias atau kekurangan dalam algoritma peringkat.
  • Bandingkan hasil dari waktu ke waktu:
    • Jalankan evaluasi secara rutin untuk melacak perubahan kualitas penelusuran dari waktu ke waktu.
    • Gunakan data historis untuk mengidentifikasi tren dan menilai dampak dari setiap perubahan yang Anda buat pada mesin telusur.

Langkah selanjutnya