Panduan ML inklusif - AutoML
Google sangat memikirkan berbagai prinsip yang memotivasi dan membimbing pekerjaan kami di bidang kecerdasan buatan (AI). Kami berkomitmen pada pendekatan yang berpusat pada manusia dan mengedepankan praktik responsible AI serta produk AI yang berfungsi baik untuk semua orang dan konteks. Nilai-nilai responsible AI dan AI inklusif ini menjadi inti dari rangkaian produk machine learning AutoML dan diwujudkan dalam cara-cara berikut.
AutoML memperluas jenis organisasi dan individu yang dapat memanfaatkan AI dengan menawarkan pengalaman pengguna yang mudah digunakan dan tanpa kode, yang tidak memerlukan pengalaman sebelumnya di bidang machine learning.
Dengan menggunakan teknik algoritma seperti pemelajaran transfer dan Learning to Learn, AutoML memudahkan organisasi dengan memungkinkan mereka membuat model kustom dengan set data yang lebih kecil daripada yang biasanya diperlukan.
AutoML memberi Anda kemampuan untuk dengan mudah menghasilkan sistem ML yang bermakna dan relevan secara kontekstual. Misalnya, jika Anda melihat bahwa model generik kami tidak mengenali slang atau bahasa di domain Anda, Anda dapat membuat model kustom yang menyertakan fitur linguistik yang Anda perlukan. Jika Anda mendapati bahwa model klasifikasi pakaian umum tidak sesuai dengan pakaian yang dikenakan oleh komunitas Anda, Anda dapat melatih model yang bisa berfungsi lebih baik.
Sebagai bagian dari misi kami untuk membawa manfaat machine learning kepada semua orang, kami sangat peduli untuk mengurangi bias yang sudah ada terkait kategori sosial yang membentuk dan memengaruhi semua kehidupan kita. Di Google, bidang penelitian ini disebut Machine Learning Fairness. Di halaman ini, kami akan membagikan pemikiran kami saat ini mengenai topik ini dan rekomendasi kami tentang cara menerapkan AutoML pada percakapan yang berkaitan dengan keadilan dalam machine learning.
Apa itu keadilan dalam machine learning?
Keadilan dalam machine learning adalah bidang penelitian dan diskusi yang menarik dan ramai dibahas di kalangan akademisi, praktisi, dan masyarakat luas. Tujuannya adalah memahami dan mencegah perlakuan tidak adil atau merugikan terhadap orang lain sehubungan dengan ras, tingkat pendapatan, orientasi seksual, agama, gender, dan karakteristik lain yang secara historis terkait dengan diskriminasi dan marginalisasi, ketika dan pada waktu hal tersebut mewujud dalam sistem algoritmik atau pengambilan keputusan dengan bantuan algoritma.
Tantangan algoritmik ini muncul dalam berbagai cara, termasuk bias masyarakat yang tertanam dalam set data pelatihan, keputusan yang dibuat selama pengembangan sistem ML, dan melalui feedback loop kompleks yang muncul ketika sistem ML digunakan di dunia nyata.
Saat mengupayakan keadilan dalam machine learning, kami mempertimbangkan keberagaman perspektif dan tujuan yang valid. Sebagai contoh, kami mungkin melatih pengklasifikasi ML untuk melakukan prediksi di semua kelompok sosial dengan sama baiknya. Atau, berdasarkan penelitian tentang dampak ketidaksetaraan historis, kami dapat merancang sistem ML yang mencoba memperbaiki atau mengurangi hasil merugikan di masa mendatang. Beberapa hal ini dan banyak pendekatan lain merupakan hal penting dan sering kali saling terkait.
Untuk mengetahui informasi lebih lanjut, baca artikel Praktik Responsible AI dan Praktik Keadilan yang Direkomendasikan, Video Google tentang machine learning dan bias manusia, serta “Tutorial Keadilan dalam ML” dari Moritz Hardt dan Solon Barocas
Keadilan dalam ML & AutoML
Berkaitan dengan AutoML, kita memiliki kesempatan untuk mempromosikan inklusivitas dan keadilan melalui berbagai cara. Seperti disebutkan sebelumnya, jika model machine learning yang ada saat ini tidak sepenuhnya memenuhi kebutuhan komunitas atau pengguna Anda, karena secara historis belum ada atau akibat misrepresentasi data, Anda dapat membuat model kustom yang dapat berfungsi lebih baik. Dalam model kustom apa pun yang Anda buat menggunakan AutoML, Anda dapat mengupayakan sasaran yang adil dengan menyertakan data yang membantu model memprediksi semua kategori yang relevan dengan kasus penggunaan Anda dengan sama baiknya. Tindakan terkait keadilan ini dapat membantu mengurangi risiko berupa konsekuensi negatif di bawah ini yang terkait dengan beberapa sistem ML.
Kerugian representatif
Jenis kerugian ini terjadi ketika sistem ML menguatkan atau mencerminkan stereotipe negatif tentang kelompok tertentu. Misalnya, model ML yang mengeluarkan hasil penelusuran gambar atau saran teks otomatis biasanya dilatih berdasarkan perilaku pengguna sebelumnya (misalnya istilah penelusuran atau komentar yang umum) yang dapat mengarah pada hasil penelusuran yang menyinggung. Selain menyinggung pengguna individu pada saat itu, kerugian representatif semacam ini juga memiliki efek sosial jangka panjang yang menyebar pada kelompok besar orang.
Penolakan kesempatan
Machine learning semakin banyak digunakan untuk membuat prediksi dan keputusan yang memiliki konsekuensi nyata dan dampak jangka panjang pada akses seseorang terhadap kesempatan, sumber daya, dan kualitas hidup secara keseluruhan.
Kegagalan produk yang tidak proporsional
Dalam beberapa kasus, ketidakadilan adalah masalah kegunaan dan akses mendasar. Sebagai contoh, beberapa dispenser sabun yang digunakan di toilet umum terbukti memiliki tingkat kegagalan yang tinggi secara tidak proporsional untuk individu berkulit gelap.
Sekarang mari kita bahas langkah-langkah yang dapat Anda lakukan untuk meningkatkan keadilan saat Anda membangun model kustom di AutoML dan menggunakannya dalam sistem ML Anda. Kita akan berfokus pada upaya mengurangi bias dalam set data pelatihan, mengevaluasi model kustom Anda untuk mendeteksi kesenjangan performa, dan hal-hal yang perlu dipertimbangkan saat menggunakan model kustom Anda.
Apa saja langkah awal dalam menilai kasus penggunaan Anda terkait keadilan dalam machine learning?
Pertimbangkan konteks dan penggunaan produk Anda.
Dalam beberapa kasus, seperti dijelaskan di atas, keadilan adalah soal kegunaan dan akses dasar.
Pada kasus lain, keadilan bersinggungan dengan hukum dan peraturan yang membatasi penggunaan data yang secara langsung mengidentifikasi atau sangat berkorelasi dengan karakteristik sensitif, sekalipun data tersebut relevan secara statistik. Dalam beberapa konteks, orang-orang dengan karakteristik tersebut mungkin memiliki perlindungan hukum terhadap diskriminasi (misalnya "kelompok yang dilindungi").
Dalam kasus lain, ketidakadilan tidak akan langsung terlihat jelas, tetapi mengharuskan Anda mengajukan pertanyaan-pertanyaan bernuansa sosial, politik, dan etis tentang kemungkinan cara penggunaan sistem ML Anda dalam praktiknya atau kemungkinan sistem ini membiarkan timbulnya bias dari waktu ke waktu. Misalnya, jika Anda menggunakan AI untuk menghasilkan teks atau terjemahan otomatis, sebaiknya pertimbangkan jenis bias atau stereotipe yang mungkin dapat mengakibatkan masalah etis (misalnya, mengaitkan gender dengan jenis pekerjaan, atau agama dengan pandangan politik)
Ketika Anda mulai membangun sistem ML Anda sendiri, tinjau peraturan terkait diskriminasi di region Anda maupun lokasi yang akan dilayani oleh aplikasi Anda, serta riset atau informasi produk yang sudah ada di domain Anda untuk mempelajari masalah keadilan yang umum.
Pertimbangkan pertanyaan kunci berikut.
Berikut ini beberapa pertanyaan kunci lain yang perlu diajukan. Jika Anda menjawab "ya" untuk salah satu dari pertanyaan tersebut, sebaiknya pertimbangkan untuk melakukan analisis yang lebih menyeluruh terhadap kasus penggunaan Anda untuk mengetahui potensi masalah terkait bias.
Apakah kasus penggunaan atau produk Anda secara spesifik menggunakan data berikut: biometrik, ras, warna kulit, agama, orientasi seksual, status sosial ekonomi, pendapatan, negara, lokasi, kesehatan, bahasa, atau dialek?
Apakah kasus penggunaan atau produk Anda menggunakan data yang cenderung sangat berkorelasi dengan salah satu karakteristik pribadi yang tercantum di atas (misalnya, kode pos dan data geospasial lainnya sering berkorelasi dengan status sosial ekonomi dan/atau pendapatan, demikian pula, data gambar/video dapat mengungkapkan informasi tentang ras, gender, dan usia)?
Dapatkah kasus penggunaan atau produk Anda berdampak negatif pada kesempatan ekonomi seseorang atau peluang penting lain dalam hidupnya?
Sekarang mari kita lihat cara-cara yang dapat Anda lakukan untuk meningkatkan keadilan dalam machine learning saat Anda menjalani berbagai langkah dalam alur kerja AutoML.
Panduan Data
Mari kita mulai dengan langkah pertama dalam AutoML: mengumpulkan data pelatihan. Meskipun tidak ada data pelatihan yang sepenuhnya "tidak bias", Anda dapat meningkatkan peluang untuk membuat produk yang lebih baik dan lebih inklusif jika Anda mempertimbangkan dengan cermat sumber-sumber bias yang potensial dalam data Anda dan mengambil langkah-langkah untuk mengatasinya.
Bias seperti apa yang ada dalam data?
Distribusi data yang bias
Hal ini terjadi ketika data pelatihan Anda tidak benar-benar mewakili populasi yang ingin dilayani produk Anda. Pertimbangkan dengan cermat cara pengumpulan data Anda. Misalnya, jika Anda memiliki set data berupa foto kiriman pengguna dan Anda memfilternya untuk mendapatkan gambar yang lebih jelas, hal ini dapat membuat data Anda tidak terdistribusi secara merata karena cenderung mewakili pengguna yang memiliki kamera mahal. Secara umum, pertimbangkan bagaimana data Anda didistribusikan dalam kaitannya dengan kelompok pengguna yang akan dilayani produk Anda. Apakah Anda memiliki data yang cukup untuk setiap grup yang terkait? Sering kali ada alasan sistemik yang tidak begitu kentara yang menyebabkan set data Anda tidak dapat menangkap keberagaman kasus penggunaan secara penuh di dunia nyata.
Untuk mengurangi hal ini, Anda dapat mencoba memperoleh data dari berbagai sumber, atau memfilter data dengan hati-hati untuk memastikan Anda hanya mengambil contoh yang paling berguna dari grup yang terlalu banyak diwakili.
Representasi data yang bias
Mungkin saja Anda memiliki jumlah data yang sesuai untuk setiap kelompok demografis yang terpikirkan oleh Anda, tetapi ada beberapa kelompok yang direpresentasikan secara kurang positif dibandingkan kelompok yang lain. Bayangkan set data postingan mikroblog tentang artis. Mungkin Anda telah melakukan hal yang benar dengan membagi artis laki-laki dan perempuan dalam proporsi 50-50, tetapi ketika Anda mendalami kontennya, postingan tentang artis perempuan cenderung lebih negatif daripada postingan tentang artis laki-laki. Hal ini bisa membuat model Anda mempelajari suatu jenis bias gender.
Untuk sebagian aplikasi, representasi yang berbeda di antara kelompok mungkin tidak akan menjadi masalah. Dalam klasifikasi medis, misalnya, penting untuk menangkap perbedaan demografis halus untuk membuat diagnosis yang lebih akurat. Namun untuk aplikasi lain, asosiasi negatif yang bias mungkin memiliki dampak finansial atau pendidikan, membatasi peluang ekonomi, serta menyebabkan penderitaan emosional dan mental.
Coba lihat data Anda secara manual untuk mendeteksi asosiasi negatif ini jika memungkinkan, atau terapkan filter berbasis aturan untuk menghilangkan representasi negatif jika menurut Anda langkah tersebut relevan untuk aplikasi Anda.
Variabel proxy
Sangat mudah untuk berpikir bahwa setelah Anda menghapus variabel yang mengenkode informasi demografis yang dilindungi, model Anda akan bebas dari bias. Namun, banyak variabel yang berkorelasi kuat dengan demografi, di antaranya adalah lokasi, tingkat pendidikan, dan pendapatan. Jika Anda memiliki akses ke informasi demografis terkait data Anda, sebaiknya analisis hasil Anda berdasarkan informasi tersebut untuk memastikan model yang digunakan memperlakukan kelompok-kelompok yang berbeda secara adil.
Label yang bias
Salah satu langkah penting dalam membuat data pelatihan untuk AutoML adalah melabeli data Anda dengan kategori yang relevan. Meminimalkan bias dalam label ini sama pentingnya dengan memastikan data Anda representatif. Ketahui siapa pemberi label Anda. Di mana mereka berada? Apa bahasa asli yang mereka gunakan? Berapa umur dan gender mereka? Kumpulan pemberi label yang homogen dapat menghasilkan label yang salah atau condong ke arah tertentu yang mungkin tidak segera tampak.
Idealnya, pastikan pemberi label Anda mengenal baik domain Anda atau berikan instruksi untuk melatih mereka terkait berbagai aspek yang relevan, dan terapkan proses peninjauan sekunder untuk memeriksa kualitas label. Semakin rumit data yang harus dilabeli, semakin keras Anda harus bekerja untuk memastikan pemberi label memahami pekerjaan mereka. Menggambar kotak pembatas dan memberi label pada entity teks mungkin tidak mudah bagi semua orang, jadi pastikan untuk memerinci setiap tugas dan mengantisipasi pertanyaan umum. Cobalah lebih mengoptimalkan objektivitas dibanding subjektivitas dalam pengambilan keputusan. Melatih pemberi label tentang "bias alam bawah sadar" juga terbukti membantu meningkatkan kualitas label dalam kaitannya dengan tujuan keberagaman. Selain itu, mengizinkan pemberi label untuk melaporkan sendiri masalah dan mengajukan pertanyaan klarifikasi terkait instruksi juga dapat membantu meminimalkan bias dalam proses pelabelan.
Tips: Jika Anda menggunakan layanan pemberian label oleh manusia dalam AutoML, pertimbangkan pedoman berikut saat menulis instruksi.
Pastikan instruksi pelabelan dan materi pelatihan Anda menyertakan konteks yang mendetail serta spesifik mengenai kasus penggunaan, deskripsi pengguna akhir, dan contoh ilustratif yang membantu pemberi label untuk selalu mempertimbangkan keberagaman basis pengguna Anda.
Tinjau setiap komentar yang Anda terima dari pelabel untuk mengidentifikasi hal-hal yang membingungkan, dan perhatikan dengan cermat setiap kategori sensitif saat Anda melihat, menyetujui, dan menolak label data yang Anda terima kembali.
Setelah set data Anda siap, pertimbangkan untuk menentukan pemisahan pengujian/pelatihan
Dalam panduan Pemula AutoML Vertex AI dan Translation, kami membahas cara pembagian set data Anda dalam proses machine learning. Sebagaimana telah disebutkan, dalam AutoML, Anda dapat meminta Google membagi set data Anda secara otomatis atau menentukan pemisahan pengujian/pelatihan secara manual. Jika cocok untuk kasus penggunaan Anda, sebaiknya pertimbangkan opsi kedua.
Saat Anda memisahkan data secara manual, pertimbangkan panduan yang telah kita bahas sejauh ini untuk membuat set pengujian yang beragam dan inklusif. Jika Anda menggunakan semua data inklusif terbaik untuk pelatihan, Anda dapat menerima hasil yang tidak sesuai saat pengujian karena Anda mendapatkan gambaran yang terlalu bagus terkait performa model untuk subkelompok yang kurang terwakili. Jika data subkelompok tertentu kurang banyak, melakukan pemisahan pelatihan/pengujian sendiri akan membantu memastikan data Anda tersebar secara representatif di antara set pelatihan dan pengujian. Pada beberapa produk AutoML, seperti AutoML Tables, Anda juga dapat menentukan bobot khusus untuk jenis data yang jarang ditemukan agar dapat diberi bobot yang lebih penting dalam proses pelatihan.
Tinjau data pelatihan Anda
Evaluasi: Menilai performa model Anda
Untuk mengevaluasi keadilan model, diperlukan pemikiran mendalam terkait kasus penggunaan tertentu yang Anda miliki, dan dampak yang bisa ditimbulkan oleh model Anda terhadap pengguna akhir jika terjadi kesalahan. Hal ini berarti memahami dampak berbagai jenis error terhadap berbagai kelompok pengguna. Di sinilah pentingnya memikirkan potensi masalah keadilan. Misalnya, apakah error model memengaruhi semua pengguna secara merata atau lebih merugikan bagi kelompok pengguna tertentu?
Setelah Anda memikirkan masalah ini, Anda akan lebih mampu memutuskan metrik performa apa yang masuk akal untuk dioptimalkan (misalnya, presisi vs. perolehan), mengevaluasi trade-off di antara keduanya, dan memeriksa contoh-contoh error untuk memeriksa apakah ada bias atau tidak.
Kasus penggunaan: Evaluasi foto paspor
Misalkan Anda ingin membuat fitur untuk membantu orang mengedit dan mencetak foto paspor. Setiap negara memiliki aturan berbeda tentang dimensi foto, bingkai, warna latar belakang yang diperbolehkan, ekspresi wajah yang diperbolehkan, dan hal-hal lain yang mungkin ada atau tidak ada dalam gambar. Anda ingin memberi tahu orang-orang sebelum mereka mengirim permohonan paspor bahwa foto mereka mungkin tidak dapat diterima.
Positif palsu:
Positif palsu dalam kasus ini adalah ketika sistem menandai foto sebagai tidak dapat diterima padahal sebenarnya otoritas paspor negara tersebut bisa menerimanya. Bukan masalah besar karena foto yang diambil ulang lebih mungkin untuk digunakan.
Negatif palsu:
Negatif palsu dalam kasus ini adalah kegagalan untuk mendeteksi gambar yang tidak dapat digunakan. Pelanggan harus bersusah payah mencetak foto dan mengirimkan permohonan, hanya untuk mendapatkan penolakan. Kasus terburuk, mereka melewatkan perjalanan yang sudah direncanakan karena tidak bisa mendapatkan paspor tepat pada waktunya.
Pertimbangan keadilan: Dalam hal ini, penting untuk memeriksa apakah model Anda lebih sering menghasilkan negatif palsu untuk sekelompok orang tertentu, misalnya berdasarkan ras atau gender. Anda dapat melakukannya di AutoML dengan memeriksa masing-masing negatif palsu untuk memeriksa pola yang bermasalah.
Pengoptimalan: Dalam hal ini, kemungkinan Anda perlu mengoptimalkan Perolehan. Tujuannya untuk mengurangi jumlah negatif palsu, yang dalam skenario ini adalah error yang lebih bermasalah.
Kasus penggunaan: filter konten anak-anak
Misalkan Anda sedang membuat aplikasi membaca untuk anak-anak dan ingin menyertakan perpustakaan digital berisi buku-buku yang sesuai dengan usia mereka. Anda ingin merancang pengklasifikasi teks yang memilih buku anak-anak dari database buku dewasa dan anak-anak berdasarkan judul dan deskripsi setiap buku.
Positif palsu:
Positif palsu dalam kasus ini adalah buku dewasa yang diklasifikasikan secara salah sebagai buku anak-anak dan karenanya ditambahkan ke aplikasi membaca anak-anak, sehingga berpotensi membuat anak-anak terpapar konten yang tidak sesuai usia. Orang tua akan sangat kecewa dan kemungkinan besar akan menghapus aplikasi Anda.
Negatif palsu:
Negatif palsu dalam kasus ini adalah buku anak-anak yang salah ditandai sebagai buku dewasa dan karenanya dikecualikan dari perpustakaan dalam aplikasi. Bergantung pada bukunya, hal ini bisa dianggap masalah kecil (misalnya tidak menyertakan sekuel yang tidak jelas dari sebuah serial tidak populer) atau sebaliknya, sesuatu yang lebih serius, misalnya, jika buku anak-anak mengandung konten yang oleh sebagian orang dianggap kontroversial tapi secara umum diterima sebagai sesuatu yang bernilai edukatif atau sosial.
Pertimbangan keadilan: Walaupun sekilas tampak seperti kasus sederhana, hal ini menyoroti beberapa kerumitan dari proses mengevaluasi kasus penggunaan untuk menentukan keadilan. Di satu sisi, ada kebutuhan nyata untuk menghindari positif palsu (meminimalkan kemungkinan anak-anak terpapar pada konten yang tidak sesuai usia). Di sisi lain, negatif palsu juga bisa berbahaya. Misalnya, jika pengklasifikasi teks cenderung menandai buku anak-anak dengan tema LGBTQ (misalnya, cerita tentang anak-anak dengan kedua orang tua berjenis kelamin sama) sebagai tidak pantas, hal ini bermasalah. Demikian pula, jika buku tentang budaya atau lokasi tertentu lebih sering dikecualikan dibandingkan yang lain, hal ini juga perlu diwaspadai.
Pengoptimalan: Dalam kasus ini, kemungkinan Anda perlu mengoptimalkan Presisi. Aplikasi Anda hanya akan menampilkan sebagian kecil dari semua buku anak-anak di dunia, sehingga Anda bisa memilih buku yang akan direkomendasikan kepada pengguna. Namun, Anda juga perlu mempertimbangkan solusi UX terkait cara memunculkan buku yang mungkin memerlukan masukan orang tua. Misalnya, Anda dapat menambahkan fitur yang merekomendasikan agar orang tua membaca buku bersama anak-anak, sehingga mereka dapat menjelaskan isu-isu yang diangkat oleh buku tersebut.
Kasus penggunaan: Distribusi survei
Misalkan Anda sedang mendistribusikan survei dan ingin membuat model untuk memilih peserta yang kemungkinan besar akan memberikan jawaban. Anda tidak diizinkan untuk mempertimbangkan pendapatan sebagai faktor pemilihan peserta, tetapi data Anda mengandung kolom "Pendapatan". Di AutoML Tables, Anda menghapus kolom "Pendapatan" dari pelatihan. Namun, ketika Anda menganalisis data berdasarkan pendapatan untuk memeriksa apakah hal tersebut tidak memengaruhi hasil, Anda menemukan bahwa model Anda tidak melakukan pemilihan secara merata di seluruh kelompok pendapatan. Apa penyebabnya?
Variabel proxy: Meskipun Anda telah menghapus kolom "Pendapatan" agar tidak dipertimbangkan, data Anda mungkin masih menyertakan banyak variabel lain yang memberikan petunjuk tentang pendapatan individu dalam set data Anda. Apakah Anda memiliki kode pos, tingkat pendidikan, atau bahkan usia mereka? Variabel-variabel ini dapat terkorelasi dengan pendapatan. Jika Anda ingin memastikan model Anda memilih sampel secara merata di semua kelompok demografis, perhatikan dengan saksama tab "Analyze" pada AutoML Tables untuk memeriksa korelasi. Dan pastikan Anda mengevaluasi model secara cermat untuk mengetahui apakah ada bias atau tidak sebelum menggunakan model tersebut dalam produksi.
Prediksi: Uji model Anda
Setelah mengevaluasi performa model Anda dalam hal keadilan menggunakan metrik machine learning di AutoML, Anda dapat menguji coba model kustom Anda dengan konten baru di tab Predict. Saat melakukannya, pertimbangkan rekomendasi keadilan berikut:
Pikirkan baik-baik domain masalah Anda dan potensi ketidakadilan dan biasnya. Andalah yang paling mengerti bidang Anda. Apakah pengklasifikasi gambar atau video Anda mungkin terpengaruh oleh ras atau gender orang dalam konten? Apakah pengklasifikasi teks Anda cenderung sensitif terhadap istilah yang merujuk ke kelompok demografis tertentu? Apakah pasangan bahasa yang Anda gunakan dalam model penerjemah memiliki perbedaan budaya yang mungkin disorot, atau ketidaksesuaian kata ganti yang mungkin berujung dengan munculnya bias yang melekat dalam masyarakat? Munculkan kasus yang akan berdampak buruk bagi pengguna Anda jika ditemukan dalam produksi, dan uji kasus tersebut pada halaman Predict atau pada pengujian unit Anda sendiri.
Ingatlah bahwa pengguna Anda dapat terkena dampak negatif bukan hanya karena prediksi yang menyinggung atau tidak adil, tetapi juga karena tidak adanya prediksi yang jelas (negatif palsu). Jika Anda menemukan bahwa hasil Anda tidak selaras dengan pengalaman yang ingin Anda ciptakan untuk semua pengguna akhir, Anda dapat menghilangkan bias dari set data lebih lanjut dengan menambahkan lebih banyak data ke kelas-kelas yang relevan, atau menggunakan model dengan cara mengoreksi setiap masalah yang Anda temukan.
Gunakan: Model Anda dalam produksi
Terapkan perbaikan sederhana. Jika model Anda tidak sempurna, melatih ulang model dengan data baru bukanlah satu-satunya solusi. Terkadang langkah pra- atau pasca-pemrosesan sederhana untuk menghapus kata atau jenis gambar tertentu dapat menjadi solusi yang efektif.
Sesuaikan batas skor model Anda untuk menemukan keseimbangan yang dapat diterima antara presisi dan perolehan, berdasarkan pemahaman Anda tentang bagaimana berbagai jenis error memengaruhi pengguna Anda.
Setelah model dibuat dan menyajikan prediksi, distribusi data Anda dapat berubah halus dari waktu ke waktu, dan model Anda mungkin tidak lagi mencerminkan konteks yang relevan dari aplikasi Anda. Pastikan untuk memantau performa model dari waktu ke waktu untuk memastikan model tersebut bekerja sebaik yang Anda harapkan, dan kumpulkan masukan dari pengguna untuk mengidentifikasi potensi masalah yang mungkin memerlukan data baru dan pelatihan ulang.
Terkadang ada kasus tak terduga yang terpikirkan oleh Anda. Buatlah rencana respons insiden jika Anda khawatir model Anda mungkin berperilaku tidak baik yang dapat berdampak buruk bagi pengguna dan bisnis Anda.
Masukan
Dokumen ini akan terus berkembang dan kami akan terus belajar. Kami sangat mengharapkan masukan Anda terkait panduan yang kami berikan di sini. Kirim email ke inclusive-ml-feedback@google.com untuk menceritakan pengalaman Anda dalam membuat model kustom, apa yang berhasil, dan apa yang tidak. Kami menantikan masukan Anda.