Mengevaluasi model perkiraan AutoML

Halaman ini menunjukkan cara mengevaluasi model perkiraan AutoML Anda menggunakan metrik evaluasi model. Metrik ini menyediakan pengukuran kuantitatif terkait performa model Anda pada set pengujian. Cara Anda menafsirkan dan menggunakan metrik tersebut bergantung pada kebutuhan bisnis Anda dan masalah yang biasa dipecahkan oleh model Anda dalam pelatihan. Misalnya, Anda mungkin memiliki toleransi yang lebih rendah untuk positif palsu daripada negatif palsu, atau sebaliknya. Pertanyaan-pertanyaan semacam ini perlu dipertimbangkan untuk menentukan metrik mana yang akan menjadi fokus Anda.

Sebelum memulai

Sebelum mengevaluasi model, Anda harus melatihnya dan menunggu hingga pelatihan selesai.

Gunakan konsol atau API untuk memeriksa status tugas pelatihan Anda.

Konsol Google Cloud

1. Di konsol Google Cloud, di bagian Vertex AI, buka halaman Pelatihan.

   Buka halaman Pelatihan

2. Jika status tugas pelatihan Anda adalah "Pelatihan", Anda harus terus menunggu tugas pelatihan selesai. Jika status tugas pelatihan Anda "Selesai", Anda siap untuk memulai evaluasi model.

API

Pilih tab yang sesuai dengan bahasa atau lingkungan Anda:

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• LOCATION: Region tempat model Anda disimpan.
• PROJECT: Project ID Anda.
• TRAINING_PIPELINE_ID: ID pipeline pelatihan.

Metode HTTP dan URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke CLI gcloud dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke CLI gcloud. Anda dapat memeriksa akun yang aktif saat ini dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke CLI gcloud dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang aktif saat ini dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip dengan yang berikut ini:

Respons

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

Mendapatkan metrik evaluasi

Anda dapat memperoleh serangkaian metrik evaluasi agregat untuk model Anda. Konten berikut menjelaskan cara mendapatkan metrik ini menggunakan konsol Google Cloud atau API.

Konsol Google Cloud

1. Di konsol Google Cloud, di bagian Vertex AI, buka halaman Model.

   Buka halaman Model

2. Di drop-down Region, pilih region tempat model Anda berada.

3. Dari daftar model, pilih model Anda.

4. Pilih nomor versi model Anda.

5. Di tab Evaluasi, Anda dapat melihat metrik evaluasi agregat model Anda.

API

Untuk melihat metrik evaluasi model agregat, gunakan metode projects.locations.models.evaluations.get.

Pilih tab yang sesuai dengan bahasa atau lingkungan Anda:

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• LOCATION: Region tempat model Anda disimpan.
• PROJECT: Project ID Anda.
• MODEL_ID: ID resource model. MODEL_ID muncul dalam pipeline pelatihan setelah pelatihan model berhasil diselesaikan. Lihat bagian Sebelum memulai untuk mendapatkan MODEL_ID.

Metode HTTP dan URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke CLI gcloud dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke CLI gcloud. Anda dapat memeriksa akun yang aktif saat ini dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke CLI gcloud dengan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang aktif saat ini dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Anda akan menerima respons JSON yang mirip dengan yang berikut ini:

Respons

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

Metrik evaluasi model

File skema menentukan metrik evaluasi mana yang disediakan Vertex AI untuk setiap objektif.

Anda dapat melihat dan mendownload file skema dari lokasi Cloud Storage berikut:
gs://google-cloud-aiplatform/schema/modelevaluation/

Metrik evaluasi untuk model perkiraan adalah:

• MAE: Rataan galat mutlak (MAE) adalah selisih rata-rata mutlak antara nilai target dan nilai yang diprediksi. Metrik ini memiliki rentang dari nol hingga tidak terbatas, dengan nilai yang lebih rendah menunjukkan model yang berkualitas lebih tinggi.
• MAPE: Rataan galat persentase mutlak (MAPE) adalah selisih rata-rata persentase mutlak antara nilai label dan nilai yang diprediksi. Metrik ini memiliki rentang antara nol dan tidak terbatas, dengan nilai yang lebih rendah menunjukkan model yang berkualitas lebih tinggi.
  MAPE tidak ditampilkan jika kolom target berisi nilai 0. Dalam hal ini, MAPE tidak terdefinisi.
• RMSE: Galat akar rataan kuadrat adalah akar kuadrat dari rata-rata selisih kuadrat antara nilai target dan nilai yang diprediksi. RMSE lebih sensitif terhadap pencilan dibandingkan MAE. Jadi, jika Anda khawatir dengan galat yang besar, RMSE dapat menjadi metrik yang lebih berguna untuk dievaluasi. Serupa dengan MAE, nilai yang lebih kecil menunjukkan model yang berkualitas lebih tinggi (0 merepresentasikan prediktor sempurna).
• RMSLE: Metrik galat logaritmik akar rataan kuadrat mirip dengan RMSE, tetapi metrik ini menggunakan logaritma natural dari nilai yang diprediksi dan nilai sebenarnya ditambah 1. RMSLE menindak prediksi yang kurang dengan lebih tegas daripada prediksi yang berlebihan. RMSLE juga dapat menjadi metrik yang sesuai jika Anda tidak ingin menindak selisih untuk nilai prediksi yang besar dengan lebih tegas daripada nilai prediksi yang kecil. Metrik ini memiliki rentang dari 0 hingga tidak terbatas, dengan nilai yang lebih rendah menunjukkan model yang berkualitas lebih tinggi. Metrik evaluasi RMSLE hanya ditampilkan jika semua label dan nilai yang diprediksi tidak negatif.
• r^2: r kuadrat (r^2) adalah kuadrat dari koefisien korelasi Pearson antara label dan nilai yang diprediksi. Metrik ini memiliki rentang antara 0 dan 1. Nilai yang lebih tinggi menunjukkan kecocokan yang lebih dekat dengan garis regresi.
• Kuantil: Kuantil persen, yang menunjukkan probabilitas bahwa nilai teramati akan lebih rendah dari nilai yang diprediksi. Misalnya, pada kuantil 0,2, nilai teramati diharapkan lebih rendah dari nilai yang diprediksi 20% dari waktu tersebut. Vertex AI menyediakan metrik ini jika Anda menentukan minimize-quantile-loss untuk tujuan pengoptimalan.
• Kuantil teramati: Menampilkan persentase nilai sebenarnya yang lebih kecil dari nilai yang diprediksi untuk kuantil tertentu. Vertex AI menyediakan metrik ini jika Anda menentukan minimize-quantile-loss untuk tujuan pengoptimalan.
• Kerugian pinball dalam skala besar: Kerugian pinball yang diskalakan pada kuantil tertentu. Nilai yang lebih rendah menunjukkan model dengan kualitas lebih tinggi pada kuantil tertentu. Vertex AI menyediakan metrik ini jika Anda menentukan minimize-quantile-loss untuk tujuan pengoptimalan.
• Atribusi fitur model: Vertex AI menunjukkan dampak setiap fitur terhadap model. Nilai diberikan dalam bentuk persentase untuk setiap fitur: makin tinggi persentasenya, makin besar dampak fitur tersebut terhadap pelatihan model. Tinjau informasi ini untuk memastikan semua fitur yang paling penting telah sesuai untuk data dan masalah bisnis Anda. Untuk mempelajari lebih lanjut, lihat Atribusi fitur untuk perkiraan.

Langkah selanjutnya

• Mendapatkan prediksi dari model perkiraan Anda.