Anda dapat mengevaluasi performa model dasar dan model AI generatif yang telah disesuaikan di Vertex AI. Model dievaluasi menggunakan kumpulan metrik terhadap set data evaluasi yang Anda berikan. Halaman ini menjelaskan cara kerja evaluasi model berbasis komputasi melalui layanan pipeline evaluasi, cara membuat dan memformat set data evaluasi, serta cara melakukan evaluasi menggunakan Konsol Google Cloud, Vertex AI API, atau Vertex AI SDK untuk Python.
Cara kerja evaluasi model berbasis komputasi
Untuk mengevaluasi performa model, pertama-tama Anda membuat set data evaluasi yang berisi pasangan perintah dan kebenaran dasar. Untuk setiap pasangan, prompt adalah input yang ingin Anda evaluasi, dan kebenaran dasar adalah respons ideal untuk prompt tersebut. Selama evaluasi, perintah di setiap pasangan set data evaluasi diteruskan ke model untuk menghasilkan output. Output yang dihasilkan oleh model dan kebenaran nyata dari set data evaluasi digunakan untuk mengomputasi metrik evaluasi.
Jenis metrik yang digunakan untuk evaluasi bergantung pada tugas yang Anda evaluasi. Tabel berikut menampilkan tugas yang didukung dan metrik yang digunakan untuk mengevaluasi setiap tugas:
Tugas | Metrik |
---|---|
Klasifikasi | Mikro-F1, Makro-F1, Per class F1 |
Perangkuman | ROUGE-L |
Proses menjawab pertanyaan | Pencocokan Persis |
Pembuatan teks | BLEU, ROUGE-L |
Model yang didukung
Evaluasi model didukung untuk versi dasar dan text-bison
yang telah disesuaikan.
Menyiapkan set data evaluasi
Set data evaluasi yang digunakan untuk evaluasi model mencakup pasangan perintah dan kebenaran dasar yang selaras dengan tugas yang ingin Anda evaluasi. Set data Anda harus menyertakan minimal 1 pasangan prompt dan kebenaran dasar, serta minimal 10 pasangan untuk metrik yang bermakna. Semakin banyak contoh yang Anda berikan, semakin bermakna hasilnya.
Format set data
Set data evaluasi harus dalam format Garis JSON (JSONL),
yang setiap barisnya berisi satu pasangan perintah dan kebenaran dasar yang ditentukan
di kolom input_text
dan output_text
. Kolom input_text
berisi perintah yang ingin Anda evaluasi, dan kolom output_text
berisi respons ideal untuk dialog tersebut.
Panjang token maksimum untuk input_text
adalah 8.192, dan panjang token maksimum
untuk output_text
adalah 1.024.
Mengupload set data evaluasi ke Cloud Storage
Anda dapat membuat bucket Cloud Storage baru atau menggunakan bucket yang sudah ada untuk menyimpan file set data. Bucket harus berada di region yang sama dengan model.
Setelah bucket siap, upload file set data Anda ke bucket.
Melakukan evaluasi model
Anda dapat mengevaluasi model menggunakan REST API atau Konsol Google Cloud.
REST
Untuk membuat tugas evaluasi model, kirim permintaan POST
menggunakan metode pipelineJobs.
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- PROJECT_ID: Project Google Cloud yang menjalankan komponen pipeline.
- PIPELINEJOB_DISPLAYNAME: Nama tampilan untuk pipelineJob.
- LOCATION: Region untuk menjalankan komponen pipeline.
Saat ini, hanya
us-central1
yang didukung. - DATASET_URI: Cloud Storage URI dari set data referensi Anda. Anda dapat menentukan satu atau beberapa URI. Parameter ini mendukung karakter pengganti. Untuk mempelajari parameter ini lebih lanjut, lihat InputConfig.
- OUTPUT_DIR: URI Cloud Storage untuk menyimpan output evaluasi.
- MODEL_NAME: Tentukan model penayang atau resource model
yang disesuaikan seperti berikut:
- Model penayang:
publishers/google/models/MODEL@MODEL_VERSION
Contoh:
publishers/google/models/text-bison@001
- Model yang disesuaikan:
projects/PROJECT_NUMBER/locations/LOCATION/models/ENDPOINT_ID
Contoh:
projects/123456789012/locations/us-central1/models/1234567890123456789
Tugas evaluasi tidak memengaruhi deployment model atau resource yang ada.
- Model penayang:
- EVALUATION_TASK: Tugas yang ingin Anda gunakan untuk
mengevaluasi model. Tugas evaluasi mengomputasi kumpulan metrik yang relevan dengan tugas
spesifik tersebut. Nilai yang dapat diterima mencakup hal berikut:
summarization
question-answering
text-generation
classification
- INSTANCES_FORMAT: Format set data Anda.
Saat ini, hanya
jsonl
yang didukung. Untuk mempelajari parameter ini lebih lanjut, lihat InputConfig. - PREDICTIONS_FORMAT: Format
output evaluasi. Saat ini, hanya
jsonl
yang didukung. Untuk mempelajari parameter ini lebih lanjut, lihat InputConfig. - MACHINE_TYPE: (Opsional) Jenis mesin untuk
menjalankan tugas evaluasi. Nilai defaultnya adalah
e2-highmem-16
. Untuk mengetahui daftar jenis mesin yang didukung, lihat Jenis mesin. - SERVICE_ACCOUNT: (Opsional) Akun layanan yang akan digunakan untuk menjalankan tugas evaluasi. Untuk mempelajari cara membuat akun layanan kustom, lihat Mengonfigurasi akun layanan dengan izin terperinci. Jika tidak ditentukan, Agen Layanan Kode Kustom Vertex AI akan digunakan.
- NETWORK: (Opsional) Nama jaringan Compute Engine
yang sepenuhnya memenuhi syarat untuk di-peering dengan tugas evaluasi. Format nama jaringannya adalah
projects/PROJECT_NUMBER/global/networks/NETWORK_NAME
. Jika menentukan kolom ini, Anda harus memiliki Peering Jaringan VPC untuk Vertex AI. Jika tidak ditentukan, tugas evaluasi tidak di-peering dengan jaringan apa pun. - KEY_NAME: (Opsional) Nama kunci enkripsi
yang dikelola pelanggan (CMEK). Jika dikonfigurasi, resource yang dibuat oleh tugas evaluasi akan dienkripsi menggunakan
kunci enkripsi yang disediakan. Format nama kunci adalah
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING/cryptoKeys/KEY
. Kunci tersebut harus berada di region yang sama dengan tugas evaluasi.
Metode HTTP dan URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs
Isi JSON permintaan:
{ "displayName": "PIPELINEJOB_DISPLAYNAME", "runtimeConfig": { "gcsOutputDirectory": "gs://OUTPUT_DIR", "parameterValues": { "project": "PROJECT_ID", "location": "LOCATION", "batch_predict_gcs_source_uris": ["gs://DATASET_URI"], "batch_predict_gcs_destination_output_uri": "gs://OUTPUT_DIR", "model_name": "MODEL_NAME", "evaluation_task": "EVALUATION_TASK", "batch_predict_instances_format": "INSTANCES_FORMAT", "batch_predict_predictions_format: "PREDICTIONS_FORMAT", "machine_type": "MACHINE_TYPE", "service_account": "SERVICE_ACCOUNT", "network": "NETWORK", "encryption_spec_key_name": "KEY_NAME" } }, "templateUri": "https://us-kfp.pkg.dev/vertex-evaluation/pipeline-templates/evaluation-llm-text-generation-pipeline/1.0.1" }
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs"
PowerShell
Simpan isi permintaan dalam file bernama request.json
,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs" | Select-Object -Expand Content
Anda akan menerima respons JSON yang mirip dengan yang berikut ini: Perhatikan bahwa pipelineSpec
telah dipotong untuk menghemat ruang penyimpanan.
Contoh perintah curl
PROJECT_ID=myproject
REGION=us-central1
MODEL_NAME=publishers/google/models/text-bison@001
TEST_DATASET_URI=gs://my-gcs-bucket-uri/dataset.jsonl
OUTPUT_DIR=gs://my-gcs-bucket-uri/output
curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
"https://${REGION}-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${REGION}/pipelineJobs" -d \
$'{
"displayName": "evaluation-llm-text-generation-pipeline",
"runtimeConfig": {
"gcsOutputDirectory": "'${OUTPUT_DIR}'",
"parameterValues": {
"project": "'${PROJECT_ID}'",
"location": "'${REGION}'",
"batch_predict_gcs_source_uris": ["'${TEST_DATASET_URI}'"],
"batch_predict_gcs_destination_output_uri": "'${OUTPUT_DIR}'",
"model_name": "'${MODEL_NAME}'",
}
},
"templateUri": "https://us-kfp.pkg.dev/vertex-evaluation/pipeline-templates/evaluation-llm-text-generation-pipeline/1.0.1"
}'
Python
Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API.
Konsol
Untuk membuat tugas evaluasi model menggunakan konsol Google Cloud, lakukan langkah-langkah berikut:
- Di konsol Google Cloud, buka halaman Vertex AI Model Registry.
- Klik nama model yang ingin dievaluasi.
- Di tab Evaluasi, klik Buat evaluasi dan konfigurasikan sebagai berikut:
- Tujuan: Pilih tugas yang ingin Anda evaluasi.
- Kolom atau kolom target: (Khusus klasifikasi) Masukkan kolom target untuk prediksi. Contoh:
ground_truth
. - Source path: Masukkan atau pilih URI set data evaluasi Anda.
- Format output: Masukkan format output evaluasi.
Saat ini, hanya
jsonl
yang didukung. - Cloud Storage path: Masukkan atau pilih URI untuk menyimpan output evaluasi.
- Class names: (Khusus klasifikasi) Masukkan daftar nama class yang dimungkinkan.
- Jumlah node komputasi: Masukkan jumlah node komputasi untuk menjalankan tugas evaluasi.
- Machine type: Pilih jenis mesin yang akan digunakan untuk menjalankan tugas evaluasi.
- Klik Mulai evaluasi
Lihat hasil evaluasi
Anda dapat menemukan hasil evaluasi di direktori output Cloud Storage yang Anda tentukan saat membuat tugas evaluasi. Nama filenya adalah
evaluation_metrics.json
.
Untuk model yang disesuaikan, Anda juga dapat melihat hasil evaluasi di Konsol Google Cloud:
Di bagian Vertex AI pada Konsol Google Cloud, buka halaman Vertex AI Model Registry.
Klik nama model untuk melihat metrik evaluasinya.
Di tab Evaluate, klik nama evaluasi yang ingin Anda lihat.
Langkah selanjutnya
- Pelajari cara mulai mengevaluasi model dengan cepat.
- Pelajari evaluasi AI generatif.
- Pelajari evaluasi online dengan evaluasi cepat.
- Pelajari evaluasi berpasangan berbasis model dengan pipeline AutoSxS.
- Pelajari cara menyesuaikan model dasar.