Sebagai bagian dari pengalaman penelusuran dengan Vertex AI Search, Anda dapat mengevaluasi kualitas hasil penelusuran untuk aplikasi penelusuran umum menggunakan kumpulan kueri contoh.
Anda dapat mengevaluasi performa aplikasi penelusuran umum yang berisi data terstruktur, tidak terstruktur, dan situs. Anda tidak dapat mengevaluasi performa aplikasi dengan beberapa penyimpanan data.
Halaman ini menjelaskan alasan, waktu, dan cara mengevaluasi kualitas penelusuran menggunakan metode evaluasi.
Ringkasan
Bagian ini menjelaskan alasan dan waktu untuk melakukan evaluasi kualitas penelusuran. Untuk mengetahui informasi tentang cara melakukan evaluasi kualitas penelusuran, lihat Proses untuk mengevaluasi kualitas penelusuran.
Alasan untuk melakukan evaluasi
Penilaian kualitas penelusuran memberikan metrik yang membantu melakukan tugas seperti berikut:
- Di tingkat gabungan, ukur performa mesin telusur Anda
- Pada tingkat kueri, temukan pola untuk memahami potensi bias atau kekurangan dalam algoritma penentuan peringkat
- Membandingkan hasil evaluasi historis untuk memahami dampak perubahan pada konfigurasi penelusuran Anda
Untuk mengetahui daftar metrik, lihat Memahami hasil.
Kapan harus melakukan evaluasi
Vertex AI Search memperluas beberapa konfigurasi penelusuran untuk meningkatkan pengalaman penelusuran Anda. Anda dapat melakukan evaluasi kualitas penelusuran setelah melakukan perubahan berikut:
- Mengonfigurasi kontrol penayangan untuk penelusuran
- Menyesuaikan hasil penelusuran
- Menggunakan penyematan kustom
- Memfilter hasil penelusuran
- Meningkatkan hasil penelusuran
Anda juga dapat menjalankan pengujian evaluasi secara rutin karena perilaku penelusuran diperbarui secara berkala.
Tentang set kueri contoh
Contoh set kueri digunakan untuk evaluasi kualitas. Set kueri contoh harus mematuhi format yang ditentukan, dan harus berisi entri kueri yang memiliki kolom bertingkat berikut:
- Kueri: kueri yang hasil penelusurannya digunakan untuk menghasilkan metrik evaluasi dan menentukan kualitas penelusuran. Google merekomendasikan penggunaan berbagai kumpulan kueri yang mencerminkan pola dan perilaku penelusuran pengguna Anda.
Target: URI dokumen yang diharapkan sebagai hasil penelusuran dari kueri contoh. Untuk memahami definisi dokumen untuk aplikasi penelusuran terstruktur, tidak terstruktur, dan situs, lihat Dokumen.
Saat dokumen target dibandingkan dengan dokumen yang diambil dalam respons penelusuran, metrik performa akan dihasilkan. Metrik dihasilkan menggunakan dua teknik ini:
- Pencocokan dokumen: URI dokumen target dibandingkan dengan
URI dokumen yang diambil. Hal ini menentukan apakah dokumen yang diharapkan ada di hasil penelusuran. Selama perbandingan, API evaluasi mencoba mengekstrak kolom berikut dalam urutan
berikut, dan menggunakan nilai pertama yang tersedia untuk mencocokkan target dengan
dokumen yang diambil:
cdoc_url
di kolomstructData
definisi dokumenuri
di kolomstructData
definisi dokumenlink
di kolomderivedStructData
definisi dokumenurl
di kolomderivedStructData
definisi dokumen
- Pencocokan halaman: saat Anda menyertakan nomor halaman dalam target contoh, API evaluasi akan membandingkan hasilnya di tingkat halaman. Hal ini menentukan apakah halaman yang disebutkan dalam target juga dikutip dalam respons penelusuran. Anda harus mengaktifkan jawaban ekstrak untuk mengaktifkan pencocokan tingkat halaman. API evaluasi mencocokkan halaman dari jawaban ekstraktif pertama dalam hasil penelusuran.
- Pencocokan dokumen: URI dokumen target dibandingkan dengan
URI dokumen yang diambil. Hal ini menentukan apakah dokumen yang diharapkan ada di hasil penelusuran. Selama perbandingan, API evaluasi mencoba mengekstrak kolom berikut dalam urutan
berikut, dan menggunakan nilai pertama yang tersedia untuk mencocokkan target dengan
dokumen yang diambil:
Tujuan set kueri contoh
Menggunakan set kueri sampel yang sama untuk semua evaluasi kualitas penelusuran Anda untuk penyimpanan data tertentu akan memastikan cara yang konsisten dan andal untuk mengukur hasil kualitas penelusuran. Hal ini juga akan membangun sistem yang adil dan dapat diulang.
Hasil dari setiap evaluasi dibandingkan dengan hasil target untuk setiap kueri contoh guna menghitung berbagai metrik, seperti recall, presisi, dan normalized discounted cumulative gain (NDCG). Metrik kuantitatif ini digunakan untuk menentukan peringkat hasil dari berbagai konfigurasi penelusuran.
Kuota dan batas
Batas berikut berlaku untuk set kueri sampel:
- Setiap set kueri sampel dapat berisi maksimum 20.000 kueri.
Kuota berikut berlaku untuk set kueri sampel:
- Anda dapat membuat maksimal 100 set kueri contoh per project dan 500 set kueri contoh per organisasi.
Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.
Contoh format set kueri
Kumpulan kueri harus sesuai dengan skema berikut saat dibuat dalam format JSON. Kumpulan kueri dapat berisi beberapa entri kueri dengan satu kueri di setiap entri kueri. Jika ditampilkan dalam format JSON (NDJSON) yang dipisahkan baris baru, setiap entri kueri harus berada di baris baru.
Mengimpor dari BigQuery dan Cloud Storage
Bagian berikut memberikan contoh template set kueri untuk diimpor dari BigQuery dan Cloud Storage.
Data tidak terstruktur
Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data tidak terstruktur dengan metadata.
{
"queryEntry": {
"query": "SAMPLE_QUERY",
"targets": [
{
"uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
},
{
"uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
"pageNumbers": [
PAGE_NUMBER_1,
PAGE_NUMBER_2
]
},
{
"uri": "CDOC_URL"
}
]
}
}
Ganti kode berikut:
SAMPLE_QUERY
: kueri yang digunakan untuk menguji evaluasi kualitas penelusuranPATH/TO/CLOUD/STORAGE/LOCATION
: jalur ke lokasi Cloud Storage tempat hasil yang diharapkan berada. Ini adalah nilai kolomlink
di kolomderivedStructData
definisi dokumen.PAGE_NUMBER_1
: kolom opsional untuk menunjukkan nomor halaman dalam file PDF tempat respons yang diharapkan untuk kueri berada. Hal ini berguna jika file memiliki beberapa halaman.CDOC_URL
: kolom opsional untuk menunjukkan kolom ID dokumen kustomcdoc_url
dalam metadata dokumen di skema penyimpanan data Vertex AI Search.
Data terstruktur
Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data terstruktur dari BigQuery.
{
"queryEntry": {
"query": "SAMPLE_QUERY",
"targets": [
{
"uri": "CDOC_URL"
}
]
}
}
Ganti kode berikut:
SAMPLE_QUERY
: kueri yang digunakan untuk menguji evaluasi kualitas penelusuranCDOC_URL
: kolom wajib untuk menunjukkan kolomcdoc_url
kustom untuk kolom data terstruktur dalam skema penyimpanan data Vertex AI Search.
Data situs
Gunakan template berikut untuk membuat draf contoh file kueri dalam format JSON untuk mengevaluasi konten situs.
{
"queryEntry": {
"query": "SAMPLE_QUERY",
"targets": [
{
"uri": "WEBSITE_URL"
}
]
}
}
Ganti kode berikut:
SAMPLE_QUERY
: kueri yang digunakan untuk menguji evaluasi kualitas penelusuranWEBSITE_URL
: situs target untuk kueri.
Berikut adalah contoh contoh kueri yang ditetapkan dalam format JSON dan NDJSON:
JSON
[
{
"queryEntry": {
"query": "2018 Q4 Google revenue",
"targets": [
{
"uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
},
{
"uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
}
]
}
},
{
"queryEntry": {
"query": "2019 Q4 Google revenue",
"targets": [
{
"uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
}
]
}
}
]
NDJSON
{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}
Mengimpor dari sistem file lokal
Bagian berikut memberikan contoh template kumpulan kueri untuk diimpor dari sistem file lokal.
Data tidak terstruktur
Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data tidak terstruktur dengan metadata.
{
"inlineSource": {
"sampleQueries": [
{
"queryEntry": {
"query": "SAMPLE_QUERY",
"targets": [
{
"uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
},
{
"uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
"pageNumbers": [
PAGE_NUMBER_1,
PAGE_NUMBER_2
]
},
{
"uri": "CDOC_URL"
}
]
}
}
]
}
}
Ganti kode berikut:
SAMPLE_QUERY
: kueri yang digunakan untuk menguji evaluasi kualitas penelusuranPATH/TO/CLOUD/STORAGE/LOCATION
: jalur ke lokasi Cloud Storage tempat file data tidak terstruktur yang akan dibuat kueri berada. Ini adalah nilai kolomlink
di kolomderivedStructData
definisi dokumen.PAGE_NUMBER_1
: kolom opsional untuk menunjukkan nomor halaman tempat respons yang diperlukan untuk kueri dapat ditemukan dalam file PDF. Hal ini berguna jika file memiliki beberapa halaman.CDOC_URL
: kolom opsional untuk menunjukkan kolom ID dokumen kustomcdoc_url
dalam metadata dokumen di skema penyimpanan data Vertex AI Search.
Data terstruktur
Gunakan template berikut untuk membuat draf file kueri contoh dalam format JSON untuk mengevaluasi data terstruktur dari BigQuery.
{
"inlineSource": {
"sampleQueries": [
{
"queryEntry": {
"query": "SAMPLE_QUERY",
"targets": [
{
"uri": "CDOC_URL"
}
]
}
}
]
}
}
Ganti kode berikut:
SAMPLE_QUERY
: kueri yang digunakan untuk menguji evaluasi kualitas penelusuranCDOC_URL
: kolom wajib untuk menunjukkan kolomcdoc_url
kustom untuk kolom data terstruktur dalam skema penyimpanan data Vertex AI Search.
Data situs
Gunakan template berikut untuk membuat draf contoh file kueri dalam format JSON untuk mengevaluasi konten situs.
{
"inlineSource": {
"sampleQueries": [
{
"queryEntry": {
"query": "SAMPLE_QUERY",
"targets": [
{
"uri": "WEBSITE_URL"
}
]
}
}
]
}
}
Ganti kode berikut:
SAMPLE_QUERY
: kueri yang digunakan untuk menguji evaluasi kualitas penelusuranWEBSITE_URL
: situs target untuk kueri.
Berikut adalah contoh kumpulan kueri sampel:
JSON
{
"inlineSource": {
"sampleQueries": [
{
"queryEntry": {
"query": "2018 Q4 Google revenue",
"targets": [
{
"uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
},
{
"uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
}
]
}
},
{
"queryEntry": {
"query": "2019 Q4 Google revenue",
"targets": [
{
"uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
}
]
}
}
]
}
}
Proses untuk mengevaluasi kualitas penelusuran
Proses evaluasi kualitas penelusuran adalah sebagai berikut:
- Buat set kueri contoh.
- Impor contoh kueri yang sesuai dengan format JSON yang ditentukan.
- Jalankan evaluasi kualitas penelusuran.
- Memahami hasilnya.
Bagian berikut memberikan petunjuk untuk melakukan langkah-langkah ini menggunakan metode REST API.
Sebelum memulai
- Batas berikut berlaku:
- Pada waktu tertentu, Anda hanya dapat memiliki satu evaluasi aktif per project.
- Kuota berikut berlaku:
- Anda dapat memulai maksimal lima permintaan evaluasi per hari per project. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas.
- Untuk mendapatkan metrik tingkat halaman, Anda harus mengaktifkan jawaban ekstrak.
Membuat contoh set kueri
Anda dapat membuat kumpulan kueri contoh dan menggunakannya untuk mengevaluasi kualitas respons penelusuran untuk penyimpanan data tertentu. Untuk membuat set kueri contoh, lakukan hal berikut.
REST
Contoh berikut menunjukkan cara membuat set kueri contoh menggunakan
metode sampleQuerySets.create
.
Buat set kueri contoh.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \ -d '{ "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME" }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.SAMPLE_QUERY_SET_ID
: ID kustom untuk kumpulan kueri contoh Anda.SAMPLE_QUERY_SET_DISPLAY_NAME
: nama kustom untuk set kueri contoh Anda.
Mengimpor contoh data kueri
Setelah membuat set kueri contoh, impor data kueri contoh. Untuk mengimpor data kueri contoh, Anda dapat melakukan salah satu hal berikut:
- Mengimpor dari Cloud Storage: mengimpor file NDJSON dari lokasi Cloud Storage.
- Impor dari BigQuery: mengimpor data BigQuery dari tabel BigQuery. Untuk membuat tabel BigQuery dari file NDJSON, lihat Memuat data JSON dari Cloud Storage.
- Impor dari sistem file lokal: buat set kueri sampel di sistem file lokal dan impor.
Cloud Storage
Buat set kueri contoh yang sesuai dengan format set kueri contoh.
Impor file JSON yang berisi kumpulan kueri contoh dari lokasi Cloud Storage menggunakan metode
sampleQueries.import
.curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \ -d '{ "gcsSource": { "inputUris": ["INPUT_FILE_PATH"], }, "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.SAMPLE_QUERY_SET_ID
: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.INPUT_FILE_PATH
: jalur ke lokasi Cloud Storage untuk set kueri contoh Anda.ERROR_DIRECTORY
: kolom opsional untuk menentukan jalur ke lokasi Cloud Storage tempat file error dicatat ke dalam log saat terjadi error impor. Google merekomendasikan untuk mengosongkan kolom ini atau menghapus kolomerrorConfig
sehingga Vertex AI Search dapat membuat lokasi sementara secara otomatis.
Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode
operations.get
.curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
BigQuery
Buat set kueri contoh yang sesuai dengan format set kueri contoh.
Impor file JSON yang berisi set kueri sampel dari lokasi BigQuery menggunakan metode
sampleQueries.import
.curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \ -d '{ "bigquerySource": { "projectId": "PROJECT_ID", "datasetId":"DATASET_ID", "tableId": "TABLE_ID" }, "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.SAMPLE_QUERY_SET_ID
: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.DATASET_ID
: ID set data BigQuery yang berisi set kueri sampel.TABLE_ID
: ID tabel BigQuery Anda yang berisi kumpulan kueri contoh.ERROR_DIRECTORY
: kolom opsional untuk menentukan jalur ke lokasi Cloud Storage tempat file error dicatat ke dalam log saat terjadi error impor. Google merekomendasikan untuk membiarkan kolom ini kosong atau menghapus kolom `errorConfig` sehingga Vertex AI Search dapat otomatis membuat lokasi sementara.
Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode
operations.get
.curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
Sistem file lokal
Buat set kueri contoh yang sesuai dengan format set kueri contoh.
Impor file JSON yang berisi kumpulan kueri contoh dari lokasi sistem file lokal menggunakan metode
sampleQueries.import
.curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \ --data @PATH/TO/LOCAL/FILE.json
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.SAMPLE_QUERY_SET_ID
: ID kustom untuk set kueri sampel yang Anda tentukan selama pembuatan set kueri sampel.PATH/TO/LOCAL/FILE.json
: jalur ke file JSON yang berisi kumpulan kueri contoh.
Dapatkan status operasi yang berjalan lama (LRO) menggunakan metode
operations.get
.curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
Menjalankan evaluasi kualitas penelusuran
Setelah mengimpor data kueri sampel ke dalam set kueri sampel, ikuti langkah-langkah berikut untuk menjalankan evaluasi kualitas penelusuran.
REST
Memulai evaluasi kualitas penelusuran.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \ -d '{ "evaluationSpec": { "querySetSpec": { "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID" }, "searchRequest": { "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search" } } }'
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.SAMPLE_QUERY_SET_ID
: ID kustom untuk set kueri contoh yang Anda tentukan selama pembuatan set kueri contoh.APP_ID
: ID aplikasi Vertex AI Search yang kualitas penelusurannya ingin Anda evaluasi.
Memantau progres evaluasi.
curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.EVALUATION_ID
: ID untuk tugas evaluasi Anda yang ditampilkan di langkah sebelumnya saat Anda memulai evaluasi.
Ambil hasil gabungan.
curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.EVALUATION_ID
: ID untuk tugas evaluasi Anda yang ditampilkan di langkah sebelumnya saat Anda memulai evaluasi.
Mengambil hasil tingkat kueri.
curl -X GET \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"
Ganti kode berikut:
PROJECT_ID
: ID project Google Cloud Anda.EVALUATION_ID
: ID untuk tugas evaluasi Anda yang ditampilkan di langkah sebelumnya saat Anda memulai evaluasi.
Memahami hasil
Tabel berikut menjelaskan metrik yang ditampilkan dalam hasil penilaian Anda.
Nama | Deskripsi | Persyaratan |
---|---|---|
docRecall |
Recall per dokumen, pada berbagai tingkat batas top-k. Perolehan adalah fraksi dokumen relevan yang diambil dari semua dokumen relevan.
Misalnya, nilai Untuk satu kueri, jika 3 dari 5 dokumen yang relevan diambil dalam 5 teratas, |
Kueri contoh harus berisi kolom URI. |
pageRecall |
Recall per halaman, pada berbagai tingkat batas top-k. Perolehan adalah pecahan halaman relevan yang diambil dari semua halaman relevan.
Misalnya, nilai Untuk satu kueri, jika 3 dari 5 halaman yang relevan diambil di 5 teratas, |
|
docNdcg |
Perolehan kumulatif setelah diskon yang dinormalisasi (NDCG) per dokumen, pada berbagai tingkat batas top-k. NDCG mengukur kualitas peringkat, sehingga memberikan relevansi yang lebih tinggi untuk hasil teratas. Nilai NDCG dapat dihitung untuk setiap kueri sesuai dengan CDG Ternormalisasi. |
Kueri contoh harus berisi kolom URI. |
pageNdcg |
Perolehan kumulatif setelah diskon yang dinormalisasi (NDCG) per halaman, pada berbagai tingkat batas top-k. NDCG mengukur kualitas peringkat, sehingga memberikan relevansi yang lebih tinggi untuk hasil teratas. Nilai NDCG dapat dihitung untuk setiap kueri sesuai dengan CDG Ternormalisasi. |
|
docPrecision |
Presisi per dokumen, pada berbagai tingkat pemangkasan top-k. Presisi adalah fraksi dokumen yang diambil dan relevan.
Misalnya, nilai Untuk satu kueri, jika 4 dari 5 dokumen yang diambil dalam 5 teratas relevan, nilai |
Kueri contoh harus berisi kolom URI. |
Berdasarkan nilai metrik yang didukung ini, Anda dapat melakukan tugas berikut:
- Menganalisis metrik gabungan:
- Periksa metrik keseluruhan seperti perolehan kumulatif setelah diskon yang dinormalisasi (NDCG), presisi, dan recall rata-rata.
- Metrik ini memberikan gambaran umum tentang performa mesin telusur Anda.
- Tinjau hasil tingkat kueri:
- Melihat perincian setiap kueri untuk mengidentifikasi area tertentu tempat mesin telusur berperforma baik atau buruk.
- Cari pola dalam hasil untuk memahami potensi bias atau kekurangan dalam algoritma peringkat.
- Bandingkan hasil dari waktu ke waktu:
- Jalankan evaluasi secara rutin untuk melacak perubahan kualitas penelusuran dari waktu ke waktu.
- Gunakan data historis untuk mengidentifikasi tren dan menilai dampak dari setiap perubahan yang Anda buat pada mesin telusur.
Langkah selanjutnya
- Gunakan Cloud Scheduler untuk menyiapkan evaluasi kualitas terjadwal. Untuk informasi selengkapnya, lihat Menggunakan autentikasi dengan target HTTP.