Pengantar evaluasi model demi keadilan

Alur kerja machine learning dapat mencakup mengevaluasi keadilan pada model Anda. Model yang tidak adil menampilkan bias sistemik yang dapat menyebabkan bahaya, terutama bagi kelompok yang secara tradisional kurang terwakili. Model yang tidak adil dapat berperforma lebih buruk untuk subset atau slice tertentu dari set data.

Anda dapat mendeteksi bias selama pengumpulan data atau proses evaluasi pascapelatihan. Vertex AI menyediakan metrik evaluasi model berikut untuk membantu Anda mengevaluasi bias pada model:

  • Metrik bias data: Sebelum Anda melatih dan membuat model, metrik ini mendeteksi apakah data mentah Anda mengandung bias. Misalnya, set data deteksi senyum mungkin berisi lansia yang jauh lebih sedikit daripada yang lebih muda. Beberapa metrik ini didasarkan pada pengukuran jarak antara distribusi label untuk berbagai grup data:

    • Perbedaan Ukuran Populasi.

    • Perbedaan Proporsi Positif dalam Label Benar.

  • Metrik bias model: Setelah Anda melatih model, metrik ini mendeteksi apakah prediksi model Anda menyertakan bias. Misalnya, model mungkin lebih akurat untuk satu subset data daripada data lainnya:

    • Perbedaan Akurasi.

    • Perbedaan Proporsi Positif dalam Label yang Diprediksi.

    • Perbedaan Perolehan.

    • Perbedaan Kekhususan.

    • Perbedaan Rasio Jenis Error.

Untuk mempelajari cara menyertakan komponen pipeline bias evaluasi model dalam pipeline yang Anda jalankan, lihat Komponen evaluasi model.

Contoh ringkasan set data

Untuk semua contoh yang terkait dengan metrik keadilan, kami menggunakan set data penerimaan perguruan tinggi hipotetis dengan fitur seperti nilai SMA, negara bagian, dan identitas gender pemohon. Kita ingin mengukur apakah perguruan tinggi tersebut memiliki bias terhadap pelamar di California atau Florida.

Label target, atau semua kemungkinan hasil, adalah:

  • Terima pemohon dengan beasiswa (p).

  • Terima pemohon tanpa beasiswa (q)

  • Tolak pemohon (r).

Kita dapat berasumsi bahwa para ahli penerimaan memberikan label ini sebagai kebenaran dasar. Perhatikan bahwa label para ahli ini mungkin saja bias, karena diberikan oleh manusia.

Untuk membuat contoh klasifikasi biner, kita dapat mengelompokkan label bersama untuk membuat dua kemungkinan hasil:

  • Hasil positif, dinotasikan sebagai 1. Kita dapat mengelompokkan p dan q ke dalam hasil positif "{p,q} diterima".

  • Hasil negatif, dinotasikan sebagai 0. Ini bisa berupa kumpulan setiap hasil lain selain dari hasil positif. Dalam contoh permohonan perguruan tinggi, hasil negatifnya adalah "ditolak {r}".

Untuk mengukur bias antara pelamar di California dan Florida, kami memisahkan dua irisan dari kumpulan data lainnya:

  • Potongan 1 set data yang biasnya sedang diukur. Dalam contoh pendaftaran perguruan tinggi, kami mengukur bias pelamar dari California.

  • Bagian 2 dari set data yang biasnya sedang diukur. Slice 2 dapat menyertakan "semuanya tidak dalam slice 1" secara default, tetapi untuk contoh pendaftaran perguruan tinggi, kita menetapkan slice 2 sebagai pelamar Florida.

Dalam set data lamaran ke perguruan tinggi fiktif kita, ada 200 pelamar dari California di slice 1 dan 100 pelamar dari Florida di slice 2. Setelah melatih model, kita mendapatkan matriks konfusi berikut:

Pelamar California Penerimaan (prediksi) Penolakan (prediksi)
Penerimaan (kebenaran nyata) 50 (positif benar) 10 (negatif palsu)
Penolakan (kebenaran nyata) 20 (positif palsu) 120 (negatif benar)
Pelamar Florida Penerimaan (prediksi) Penolakan (prediksi)
Penerimaan (kebenaran nyata) 20 (positif benar) 0 (negatif palsu)
Penolakan (kebenaran nyata) 30 (positif palsu) 50 (negatif benar)

Dengan membandingkan metrik antara dua matriks konfusi, kita dapat mengukur bias dengan menjawab pertanyaan seperti "apakah model memiliki daya ingat yang lebih baik untuk satu slice dibandingkan slice lainnya?"

Kami juga menggunakan singkatan berikut untuk merepresentasikan data kebenaran dasar berlabel, dengan i mewakili nomor slice (1 atau 2):

\( l^0_i = tn_i + fp_i \)
Untuk slice i, jumlah hasil negatif berlabel = negatif benar + positif palsu.

\( l^1_i = fn_i + tp_i \)
Untuk slice i, jumlah hasil positif berlabel = negatif palsu + positif benar.

Perhatikan hal-hal berikut tentang contoh set data pendaftaran perguruan tinggi:

  • Beberapa metrik keadilan juga dapat digeneralisasi untuk beberapa hasil, tetapi kami menggunakan klasifikasi biner agar lebih sederhana.

  • Contoh ini berfokus pada tugas klasifikasi, tetapi beberapa metrik keadilan digeneralisasi ke masalah lain seperti regresi.

  • Untuk contoh ini, kita asumsikan bahwa data pelatihan dan data pengujian adalah sama.

Langkah selanjutnya