Kapsayıcı ML kılavuzu - AutoML

Google olarak yapay zeka (AI) alanındaki çalışmalarımızı motive eden ve şekillendiren ilkeler konusunda yoğun bir şekilde düşünüyoruz. Herkes için her bağlamda iyi çalışan sorumlu AI uygulamalarını ve ürünleri ön plana çıkaran insan odaklı yaklaşımı kararlılıkla sürdürüyoruz. Bu sorumlu ve kapsayıcı AI değerleri, AutoML makine öğrenimi ürünleri paketinin temelini oluşturur ve kendilerini aşağıdaki şekillerde gösterir.

Hızla Çalışmaya Başlayın

AutoML, önceden makine öğrenimi deneyimine sahip olmayı gerektirmeyen kolay kullanımlı ve kodsuz bir kullanıcı deneyimi sunarak kuruluşlar ve bu kuruluşlar için AI işi yapabilecek olan kişilerin çeşitliliğini artırır.

Potansiyel AutoML Müşterisi

AutoML, aktarım öğrenimi ve Öğrenmek için Öğrenme gibi algoritma teknikleri kullanarak kuruluşların tipik olarak gerekenden daha küçük veri kümeleriyle özel modeller derlemesine olanak tanır. Böylece, giriş için aşılması gereken sınırı düşürür.

Kıyafet

AutoML sayesinde, anlamlı ve bağlamsal açıdan alakalı olan ML sistemlerini kolayca üretebilirsiniz. Örneğin, jenerik modelimizin kendi alanınızdaki jargonu veya dili karşılayamadığını görürseniz sizi ilgilendiren dil özelliklerini içeren bir özel model oluşturabilirsiniz. Jenerik kıyafet sınıflandırma modellerinin sizin toplumunuzda giyilen kıyafetler için uygun olmadığını anlarsanız bu işi daha iyi yapacak bir model eğitebilirsiniz.

ML'de Adalet

Makine öğreniminin faydalarını herkese ulaştırma misyonumuzun parçası olarak, hepimizin yaşamlarını yapılandıran ve etkileyen toplumsal kategorilerin çevresindeki önceden var olan ön yargıların etkisini azaltmayı derin bir şekilde önemsiyoruz. Google'da bu araştırma alanını Makine Öğreniminde Adalet olarak adlandırıyoruz. Bu sayfada bu konudaki mevcut görüşlerimizi ve makine öğreniminde adaletle ilgili olarak AutoML'in konuşmalara nasıl uygulanması gerektiğine dair önerilerimizi paylaşıyoruz.

Dünyanın Dört Bir Yanında Adalet

Makine öğreniminde adalet nedir?

Makine öğreniminde adalet, hem akademisyenler ve uygulayıcılar arasında hem de kamuoyunda heyecan verici ve canlı bir araştırma ve tartışma alanıdır. Hedef; algoritmik sistemlerde veya algoritmik destekli karar alma süreçlerinde kendilerini gösterdikleri zaman ve durumlarda insanlara ırk, gelir, cinsel yönelim, din, cinsiyet ve tarihsel olarak ayrımcılık ve ötekileştirmeyle ilişkilendirilmiş olan diğer özelliklerle bağlantılı olarak haksız veya ön yargılı şekilde muamele edilmesini anlamak ve önlemektir.

Bu algoritmik zorluklar eğitim veri kümelerine yerleştirilmiş toplumsal ön yargılar, ML sistemi geliştirilirken alınan kararlar ve ML sistemi gerçek dünyaya dağıtıldığında baş gösteren karmaşık geri bildirim döngüleri gibi çeşitli yollarla ortaya çıkmaktadır.

Makine öğreniminde adalet sağlamaya çalışırken çeşitli geçerli bakış açıları ve hedeflerle karşılaşıyoruz. Örneğin, tüm sosyal gruplar çapında eşit ölçüde iyi tahminde bulunabilmek için ML sınıflandırıcıları eğitebiliriz. Veya araştırmalar tarafından tarihsel eşitsizliklerin etkisi konusunda bilgilendirildiğimizden gelecekte olumsuz sonuçları düzeltmeye veya bunların etkisini hafifletmeye çalışan ML sistemleri tasarlamayı hedefleyebiliriz. Bunlar ve pek çok başka yaklaşım önemli ve sıklıkla birbiriyle ilişkilidir.

Daha fazla bilgi için Google'ın Sorumlu AI Uygulamaları, Önerilen Adalet Uygulamaları, Makine öğrenimi ve insan ön yargısı ile ilgili Google videosu ve Moritz Hardt ile Solon Barocas'ın hazırladığı "ML'de Adalet Eğiticisi" kaynaklarını inceleyin.

Ayakkabılar

ML ve AutoML'de Adalet

AutoML'de kapsayıcılık ve adaleti farklı şekillerde destekleme fırsatına sahibiz. Daha önce belirtildiği gibi, bugün erişiminiz olan makine öğrenimi modelleri tarihsel eksiklikler veya verilerin hatalı sunulması nedeniyle topluluğunuz veya kullanıcılarınızın ihtiyaçlarını tam olarak karşılamıyorsa daha iyi çalışan özel modeller oluşturabilirsiniz. AutoML kullanarak oluşturduğunuz tüm özel modellerde, modelin kullanım alanınız açısından ilgili tüm kategorilerde eşit ölçüde iyi tahminde bulunmasına yardımcı olan verileri ekleyerek adalet hedeflerine ulaşmaya çalışabilirsiniz. Adaletle ilgili bu eylemler bazı ML sistemleriyle ilişkili olan aşağıdaki olumsuz sonuç türlerinin riskini hafifletmeye yardımcı olabilir.

Anten

Temsili zarar

Bu tür zarar, ML sistemi belirli gruplar hakkındaki olumsuz klişeleri pekiştirdiğinde veya yansıttığında meydana gelir. Örneğin, görüntü araması sonuçları veya otomatik metin önerileri üreten ML modelleri genellikle önceki kullanıcı davranışlarına (ör: yaygın arama terimleri ya da yorumlar) göre eğitilir ve bu durum rahatsız edici sonuçlar alınmasına yol açabilir. Ayrıca, karşılaşıldığı anda bireysel kullanıcıları rahatsız etmenin yanı sıra bu tür temsili zararların, büyük insan grupları üzerinde yaygın ve uzun vadeli toplumsal etkileri de vardır.

Cüppe

Fırsat tanımama

Makine öğrenimi sistemleri gitgide artan şekilde gerçek hayatta sonuçları ve bireylerin fırsatlar ve kaynaklara erişimi ile genel yaşam kalitesi üzerinde kalıcı etkileri olan tahminlerde bulunmak ve kararlar almak için kullanılmaktadır.

Ünlem işareti

Orantısız ürün hatası

Bazı durumlarda, adaletsizlik bir temel kullanılabilirlik ve erişim meselesidir. Örneğin, umumi tuvaletlerde kullanılan bazı sabunlukların, daha koyu ten rengine sahip kişiler için orantısız derecede yüksek başarısızlık oranlarına sahip olduğu görülmüştür.

Şimdi AutoML'de özel modellerinizi derler ve bunları ML sistemlerinizde kullanırken adaleti teşvik etmek için uygulayabileceğiniz bazı adımlara değinelim. Eğitim veri kümelerinde ön yargının etkisini hafifletmeye, özel modellerinizi performans uyumsuzlukları açısından değerlendirmeye ve özel modelinizi kullanırken dikkate almanız gerekenlere odaklanacağız.

Makine öğreniminde adalet için kullanım alanınızı değerlendirmeye yönelik ilk adımlardan bazıları nelerdir?

Ürününüzün bağlamını ve kullanımını düşünün.

Kullanılabilirlik

Yukarıda belirtilen şekilde bazı durumlarda, adalet bir temel kullanılabilirlik ve erişim meselesidir.

Yasalar

Başka durumlarda adalet, hassas özellikleri doğrudan tanımlayan veya bunlarla yüksek düzeyde ilişkili olan verilerin kullanımını kısıtlayan yasalar ve düzenlemelerle kesişir. Bu durum, ilgili veriler istatistiksel açıdan anlamlı olsa bile geçerlidir. Bu özelliklerden bazılarını taşıyan insanlar bazı bağlamlarda ayrımcılığa karşı yasalarla da korunuyor olabilir (ör: "korunan sınıflar").

Baloncuklar

Daha başka durumlarda ise adaletsizlik kolayca fark edilemeyebilir ve ML sisteminizin pratikte nasıl kullanılabileceği veya ön yargının zamanla içine sızmasına nasıl izin verebileceği ile ilgili incelikli sosyal, politik ve etik sorular sorulmasını gerektirebilir. Örneğin, otomatik metin veya çeviriler üretmek için AI kullanıyorsanız ne tür ön yargı ya da klişelerin etik açıdan sorunlu olabileceğini (ör: cinsiyetleri iş türleriyle veya dinleri politik görüşlerle ilişkilendirmek) değerlendirmek önemlidir

Kendi ML sisteminizi oluşturmaya başlarken yaygın adalet sorunları hakkında bilgi edinmek için hem bölgenizdeki hem de uygulamanızın hizmet sunacağı yerlerdeki ayrımcılıkla ilgili düzenlemeleri ve alanınızdaki mevcut araştırmaları veya ürün bilgilerini inceleyin.

Aşağıdaki kilit soruları düşünün.

İşte sormaya değer birkaç kilit soru daha. Bunlardan herhangi birine yanıtınız "evet" ise, ön yargıyla ilişkili potansiyel sorunlar için kullanım alanınız hakkında daha ayrıntılı bir analiz yapmayı düşünmek isteyebilirsiniz.

Kullanım alanınız veya ürününüz özellikle şu verilerden birini kullanıyor mu: biyometri, ırk, ten rengi, din, cinsel yönelim, sosyoekonomik durum, gelir, ülke, konum, sağlık, dil veya lehçe?

Kullanım alanınız veya ürün kullanım verilerinizin yukarıda belirtilen kişisel özelliklerden herhangi biriyle yüksek düzeyde ilişkili olması olası mı (örneğin, posta kodu veya diğer coğrafi veriler genellikle sosyoekonomik durum ve/veya gelirle ilişkilidir; benzer şekilde görüntü/video verileri ırk, cinsiyet ve yaşla ilgili bilgiler verebilir)?

Kullanım alanınız veya ürününüz bireylerin ekonomik ya da diğer önemli yaşam fırsatlarını olumsuz etkileyebilir mi?

Şimdi AutoML iş akışının farklı adımlarında ilerlerken makine öğreniminde adaleti teşvik etmek için kullanabileceğiniz çalışma şekillerine değinelim.

Veri Kılavuzları

AutoML'deki ilk adımla başlayalım: Eğitim verilerinizi bir araya getirmek. Hiçbir eğitim verisi mükemmel derecede "ön yargısız" olamasa da verilerinizdeki potansiyel ön yargı kaynakları hakkında dikkatle düşünür ve bunları gidermek için gerekli adımları atarsanız daha iyi ve daha kapsayıcı bir ürün derleme şansınızı büyük ölçüde artırabilirsiniz.

Verilerde ne tür ön yargılar olabilir?

Ön Yargılı Dağıtım

Ön yargılı veri dağıtımı

Bu durum, eğitim verileriniz ürününüzün hizmet vermeyi amaçladığı nüfusu tam olarak temsil etmediğinde meydana gelir. Verilerinizin nasıl toplandığını dikkatle düşünün. Örneğin, kullanıcılar tarafından gönderilen fotoğraflardan oluşan bir veri kümeniz varsa ve bunu görüntü netliği açısından filtrelerseniz bu durum pahalı fotoğraf makinelerine sahip olan kullanıcıların fazla temsil edilmesi nedeniyle verilerinizde dengesizliğe yol açabilir. Genel olarak, ürününüzün hizmet vereceği kullanıcı grupları açısından verilerinizin nasıl dağıldığını düşünün. Tüm ilgili gruplar için yeterli veriye sahip misiniz? Genellikle veri kümenizin kullanım alanınızın gerçek dünyadaki çeşitliliğini tamamen yansıtamamasının kolay fark edilmeyen, dizgesel nedenleri vardır.

Bu sorunu hafifletmek için birden fazla kaynaktan veri almayı veya fazla temsil edilen gruplardan yalnızca en yararlı örnekleri aldığınızdan emin olmak için verileri dikkatle filtrelemeyi deneyebilirsiniz.

Ön Yargılı Temsil

Ön yargılı veri temsili

Aklınıza gelen tüm demografik gruplar için uygun miktarda veriye sahip olmanız, fakat bazı grupların diğerlerine kıyasla daha olumsuz şekilde temsil edilmesi mümkündür. Aktörler hakkındaki mikroblog yayınlarından oluşan bir veri kümesini düşünün. Başarılı bir şekilde erkek ve kadın sanatçıların yarı yarıya temsil edildiği bir veri kümesi toplayıp içeriği derinlemesine incelediğinizde kadın sanatçılar hakkındaki yayınların erkek sanatçılarla ilgili olanlara kıyasla daha olumsuz olma eğiliminde olduğunu görebilirsiniz. Bu, modelinizin bir tür cinsiyet ön yargısı öğrenmesine yol açabilir.

Bazı uygulamalar için grupların farklı şekillerde temsil edilmesi sorun olmayabilir. Örneğin, tıbbi sınıflandırmada daha doğru tanılar koyabilmek için güç fark edilen demografik farklılıkların tespit edilmesi önemlidir. Bununla birlikte, başka uygulamalar için ön yargılı olumsuz ilişkilendirmelerin mali veya eğitsel sonuçları olabilir ve bunlar ekonomik fırsatları sınırlayıp duygusal ve zihinsel acılara yol açabilir.

Mümkünse verilerinizi bu olumsuz ilişkilendirmeler açısından manuel olarak gözden geçirmeyi veya uygulamanız için doğru olduğunu düşünüyorsanız olumsuz temsilleri kaldırmak için kural bazlı filtreler uygulamayı düşünün.

Proxy değişkenleri

Demografik bilgileri kodlayan değişkenleri kaldırdığınızda modelinizde ön yargı olmayacağı yanılgısına düşmek kolaydır. Ancak birçok değişken; konum, eğitim düzeyi, gelir düzeyi gibi demografik bilgilerle yoğun şekilde ilişkilidir. Verileriniz hakkında demografik bilgilere erişiminiz varsa modelinizin farklı gruplara eşit şekilde davrandığından emin olmak için sonuçlarınızı bu bilgiler ışığında analiz etmek iyi bir fikirdir.

Ön Yargılı Etiket

Ön yargılı etiketler

AutoML için eğitim verileri oluşturmanın çok önemli bir adımı verilerinizi ilgili kategorilerle etiketlemektir. Bu etiketlerde ön yargının en aza indirilmesi, verilerinizin iyi bir temsil sağladığından emin olmak kadar önemlidir. Etiketleyicilerinizin kim olduğunu anlayın. Nerede yaşıyorlar? Ana dilleri neler? Yaşları ve cinsiyetleri nedir? Homojen değerlendirici havuzları etiketlerin yanlış veya hemen göze çarpmayabilecek şekilde dengesiz olmasına yol açabilir.

İdeal senaryoda, etiketleyicilerinizin alanınızda uzman olduğundan emin olun veya onları ilgili konularda eğitmek için talimatlar verin ve etiket kalitesi için nokta kontrolü yapmak üzere ikincil bir inceleme süreci uygulayın. Etiketlenecek veriler ne kadar karmaşık olursa etiketleyicilerinizin görevlerini anladığından emin olmak için o kadar fazla çaba sarf etmelisiniz. Herkes, sınırlayıcı kutular çizme ve metin varlıklarını etiketleme sezgisine sahip değildir. Bu nedenle, her bir görevi ayrıştırın ve sık sorulabilecek soruları öngörün. Karar alma sürecinde öznellik yerine nesnelliği optimize etmeyi amaçlayın. Etiketleyicileri "bilinçsiz ön yargı" konusunda eğitmenin de çeşitlilik hedefleri açısından etiketlerin kalitesini iyileştirmeye yardımcı olduğu görülmüştür. Ayrıca, etiketleyicilerin sorunları kendilerinin rapor etmesine imkan tanımak ve talimatlar hakkında aydınlatıcı sorular sormak da etiketleme sürecinde ön yargının en aza indirilmesine yardımcı olabilir.

İpucu: AutoML'de gerçek kişilerce etiketleme hizmetini kullanıyorsanız talimatlarınızı yazarken aşağıdaki kılavuzları dikkate alın.

Planlayıcı

Etiketleme talimatlarınızın ve eğitim materyallerinin kullanım alanınız, son kullanıcılarınızın açıklaması ve etiketleyicilerin kullanıcı tabanınızın çeşitliliğini dikkate almasına yardımcı olan açıklayıcı örnekler hakkında ayrıntılı ve özel bir bağlam içerdiğinden emin olun.

Hoparlör

Karışıklık yaşanan alanları belirlemek için değerlendiricilerden gelen tüm yorumları inceleyin ve geri aldığınız veri etiketleri için nokta kontrolü yaparken ve bunları onaylarken veya reddederken tüm hassas kategorilere özel dikkat gösterin.

Veri kümeniz hazır olduğunda test/eğitim ayrımını belirlemeyi düşünün

ML Başlangıç kılavuzlarında (Vision, Natural Language, Translation, Video Intelligence, Tables), makine öğrenimi sürecinde veri kümenizin nasıl bölündüğünü ele aldık. Belirtildiği gibi, AutoML'de Google'ın veri kümenizi otomatik olarak bölmesini isteyebilir veya test/eğitim ayrımını manuel olarak belirleyebilirsiniz. Kullanım alanınızın gerektirmesi halinde ikinci seçeneği değerlendirebilirsiniz.

Veri Testi

Verilerinizi manuel olarak bölerken, çeşitlilik sahibi ve kapsayıcı test kümeleri oluşturmak için şu ana kadar ele aldığımız bilgileri göz önünde bulundurun. En iyi kapsayıcı verilerinizin hepsini eğitim için kullanırsanız yeterince temsil edilmeyen alt gruplara ilişkin modelinizin performansı hakkında fazlasıyla iyimser bir tablo elde ettiğinizde test anında başarısız olabilirsiniz. Belirli bir alt grup hakkında az miktarda veriye sahipseniz eğitim/test ayrımını kendiniz yapmanız, verilerinizin eğitim ve test kümeleriniz arasında iyi temsil edilen bir şekilde dağıtıldığından emin olmaya yardımcı olur. AutoML Tables gibi bazı AutoML ürünlerinde nadir görülen veri türleri için özel ağırlıklar da belirtebilir, böylelikle eğitim sürecinde bunları daha önemli hale getirebilirsiniz.

Eğitim verilerinizi inceleyin

  • Tüm kategorilerinizde önerilen sayıda veri öğesi var mı? Kategorileriniz ve görüntüleriniz/videolarınız/metniniz kullanıcı tabanınızın çeşitliliğini yansıtıyor mu? Dağılım sınıflar arasında yaklaşık olarak eşit mi? Eğitim verileriniz (görüntüler, videolar, metin, cümle çiftleri) modelinizin hakkında tahminlerde bulunmasını istediğiniz verilerin türüyle eşleşiyor mu?
  • Değerlendirme: Modelinizin performansını değerlendirin

    Modelinizi adalet açısından değerlendirmek özel kullanım alanınız ve modelinizin hata yaptığında son kullanıcılarınız üzerinde meydana getirebileceği etki konusunda derin bir şekilde düşünmeyi gerektirir. Bu, farklı hata türlerinin farklı kullanıcı grupları üzerindeki etkisini anlamak anlamına gelir. Bu noktada potansiyel adalet sorunları hakkında düşünmek önemlidir. Örneğin, model hataları tüm kullanıcıları eşit ölçüde mi etkiliyor, yoksa belirli kullanıcı grupları için zararları daha mı fazla?

    Bu sorunu iyice düşündüğünüzde hangi performans metrikleri için optimizasyon yapmanın mantıklı olduğuna karar verme (ör. hassasiyet mi geri çağırma mı), bunların arasındaki ödünleşimleri değerlendirme ve ön yargı kontrolü yapmak için hata örneklerini inceleme işlerini daha iyi yapabileceksiniz.

    Kullanım alanı: Pasaport fotoğrafı değerlendirmesi

    İnsanların pasaport fotoğraflarını düzenlemesine ve bastırmasına yardımcı olacak bir araç oluşturmak istediğinizi varsayalım. Her ülkenin fotoğraf boyutları, çerçeve, kabul edilebilir arka plan renkleri, kabul edilebilir yüz ifadeleri ve fotoğrafta yer almasına izin verilen veya verilmeyen diğer unsurlar hakkında kendi kuralları vardır. İnsanları pasaport başvurularını yapmadan önce fotoğraflarının kabul edilmeyebileceği konusunda uyarmak istiyorsunuz.

    Yanlış Pozitif

    Yanlış pozitif:

    Bu durumda yanlış pozitif, sistemin bir fotoğrafı aslında ülkenin pasaport düzenleyen kurumu tarafından kabul edilecek olmasına rağmen kabul edilemez olarak işaretlemesidir. Bu çok önemli değildir; çekilen yeni fotoğraf muhtemelen kullanılmaya daha da uygun olacaktır.

    Yanlış Negatif

    Yanlış negatif:

    Bu durumda yanlış negatif, kullanılamayacak bir resmin saptanamamasıdır. Müşteri resmi bastırmak ve başvuruda bulunmak için para harcar, fakat başvurusu reddedilir. En kötü durumda pasaportlarını zamanında alamadıkları için planlamış oldukları bir seyahati kaçırabilirler.

    Adalet değerlendirmeleri: Bu durumda modelin, örneğin ırk veya cinsiyete dayalı olarak belirli insan grupları için daha sık şekilde yanlış negatif üretip üretmediğini kontrol etmek önemlidir. Bu işlemi, AutoML'de sorunlu kalıplar olup olmadığını kontrol etmek amacıyla tekil yanlış negatifleri inceleyerek yapabilirsiniz.

    Optimizasyon tercihi: Bu durumda büyük olasılıkla Geri Çağırma için optimizasyon yapmak istersiniz. Bu optimizasyon, bu senaryoda daha sorunlu hataları oluşturan yanlış negatiflerin sayısını azaltmayı hedefler.

    Kullanım alanı: Çocuk içeriği filtresi

    Çocuklar için bir okuma uygulaması hazırladığınızı ve çocukların yaşına uygun kitaplardan oluşan bir dijital kitaplık eklemek istediğinizi varsayalım. Her kitabın adı ve açıklamasına dayanarak yetişkin ve çocuk kitaplarından oluşan bir veritabanından çocuk kitapları seçen bir metin sınıflandırıcı tasarlamak istiyorsunuz.

    Yanlış Pozitif Metni

    Yanlış pozitif:

    Bu durumda yanlış pozitif, yetişkinlere yönelik bir kitabın hatalı şekilde çocuk kitabı olarak sınıflandırılıp çocuk okuma uygulamasına eklenmesi ve dolayısıyla çocukları yaşlarına uygun olmayan içeriklere maruz bırakma olasılığını doğurması olur. Ebeveynler bundan çok rahatsız olur ve muhtemelen uygulamayı siler.

    Yanlış Negatif Testi

    Yanlış negatif:

    Bu durumda yanlış negatif, bir çocuk kitabının yanlışlıkla yetişkin kitabı olarak işaretlenip uygulama içi kitaplığa dahil edilmemesidir. Bu, kitaba bağlı olarak ufak bir rahatsızlık kaynağı (ör: popüler olmayan bir serinin iyi bilinmeyen bir devam kitabının dahil edilmemesi) veya çok daha büyük bir sorun (örneğin, çocuk kitabı bazı insanların tartışmalı olarak gördüğü, fakat genellikle açık bir eğitsel veya sosyal değeri olduğu kabul edilen bir içerik içeriyorsa) olabilir.

    Adalet değerlendirmeleri: Bu ilk bakışta basit bir vaka gibi gözükmekle birlikte, adalet açısından kullanım alanlarının değerlendirilmesinin zorluklarından bazılarını vurgulamaktadır. Bir yandan, yanlış pozitiflerden kaçınmanın (çocukların yaşlarına uygun olmayan içeriğe maruz kalma olasılığını en aza indirmenin) gerekli olduğu açıktır. Diğer yandan, yanlış negatifler de zararlı olabilir. Örneğin, metin sınıflandırıcı LGBTQ temaları içeren çocuk kitaplarını (örneğin, aynı cinsiyetten iki ebeveyne sahip olan çocuklar hakkındaki hikayeler) uygunsuz olarak işaretleme eğilimindeyse bu sorunlu bir durumdur. Benzer şekilde, belirli kültürler veya ülkeler hakkındaki kitapların diğerlerine kıyasla daha sık olarak uygulamaya alınmaması da eşit ölçüde endişe vericidir.

    Optimizasyon tercihi: Bu durumda büyük olasılıkla Hassasiyet için optimizasyon yapmak istersiniz. Uygulamanız dünyadaki tüm çocuk kitaplarının yalnızca küçük bir kısmını sergileyeceğinden kullanıcılara hangi kitapları göstereceğiniz konusunda seçici olmayı göze alabilirsiniz. Bununla birlikte, ebeveyn girdisi gerektirebilecek kitapların sergilenme şekliyle ilgili kullanıcı deneyimi çözümlerini de değerlendirmek istersiniz. Örneğin, ebeveynlerin kitabın ele aldığı konuları çocuklarıyla tartışabilmek için kitabı çocuklarıyla birlikte okumalarını öneren bir özellik ekleyebilirsiniz.

    Kullanım alanı: Anket dağıtımı

    Bir anket dağıtımı üzerinde çalıştığınızı ve yanıt verme olasılığı en yüksek katılımcıları seçmek için bir model oluşturmak istediğinizi varsayalım. Katılımcı tercihleri için geliri bir faktör olarak değerlendirmenize izin verilmiyor ancak verilerinizde "Gelir" sütunu yer alıyor. AutoML Tables'da "Gelir" sütununu eğitim kapsamından çıkarıyorsunuz. Ancak sonuçları etkilemediğinden emin olmak için verileri gelire göre dilimlere ayırdığınızda modelinizin, gelir paketlerinde eşit şekilde seçim yapmadığını fark ediyorsunuz. Bu nasıl oldu?

    Proxy değişkenleri: "Gelir" sütununu göz önünde bulundurulacak unsurlar arasından çıkarmış olsanız da verileriniz hâlâ veri kümenizdeki bireylerin gelirleri hakkında ipuçları sağlayan pek çok farklı değişken içeriyor olabilir. Posta kodu, eğitim düzeyi ve hatta yaş bilgileri yer alıyor mu? Bu değişkenlerin herhangi biri gelirle ilişkilendirilebilir. Modelinizin tüm demografik dilimlerde eşit şekilde ayıran bir örnek seçtiğinden emin olmak istediğinizde korelasyonları kontrol etmek için AutoML Tables'ın "Analiz" sekmesini dikkatle inceleyin. Ayrıca modelinizi üretimde kullanmadan önce ön yargılar açısından modelinizi dikkatli bir şekilde değerlendirdiğinizden emin olun.

    Tahmin: Modeliniz için işletim denemesi yapın

    Yapılacaklar listesi

    AutoML'de makine öğrenimi metriklerini kullanarak modelinizin adalet konusundaki performansını değerlendirdikten sonra, özel modelinizi Tahmin sekmesinde yeni içerikle deneyebilirsiniz. Bunu yaparken aşağıdaki adalet önerilerini dikkate alın:

    Grafik

    Sorun alanınız ve bunun adaletsizlik ve ön yargı potansiyeli hakkında dikkatle düşünün. Kendi alanınızı en iyi siz bilirsiniz. Görüntü veya video sınıflandırıcınızın içerikteki insanların ırkları ya da cinsiyetlerinden etkilenmesi olası mı? Metin sınıflandırıcınızın demografik grupları belirten terimlere karşı duyarlı olması olası mı? Kendisi için bir çeviri programı hazırladığınız dil çifti vurgulanabilecek olan kültürel farklılıklar veya altta yatan bir toplumsal ön yargıyı açığa çıkarabilecek olan uyumsuz bir zamir kümesi içeriyor mu? Üretimde bulunmaları halinde kullanıcılarınızı olumsuz etkileyecek olan durumları belirleyin ve bunları Tahmin sayfasında veya kendi birim testlerinizde test edin.

    Kullanıcılarınızın, yalnızca rahatsız edici veya adil olmayan tahminlerden değil aynı zamanda net bir tahminde bulunulmamasından (yanlış negatifler) da etkilenebileceğini unutmayın. Sonuçların tüm son kullanıcılarınız için oluşturmak istediğiniz deneyimle uyumlu olmadığını fark ederseniz ilgili sınıflara daha fazla veri ekleyerek veri kümenizin ön yargısını daha da azaltabilir veya modelinizi bulduğunuz sorunlar için düzeltme yapacak şekilde kullanabilirsiniz.

    Kullanım: Modelinizi üretimde kullanın

    Makas

    Basit düzeltmeleri uygulayın. Modeliniz mükemmel değilse, bunu düzeltmek için yapılabilecek tek şey yeni verilerle yeniden eğitmek değildir. Bazen belirli kelimeleri veya görüntü türlerini kaldırmaya yönelik basit bir ön ya da son işleme adımı etkili bir çözüm olabilir.

    Eşikler

    Farklı hata türlerinin kullanıcılarınızı nasıl etkilediğine dair bilgilerinizin ışığında, hassasiyet ile geri çağırma arasında kabul edilebilir düzeyde “adil” bir denge bulmak için modelinizin puan eşiklerini düzenleyin.

    Ses Konsolu

    Modeliniz derlenip tahminde bulunmaya başladıktan sonra, veri dağılımınız zaman içinde güç algılanan bir şekilde değişebilir ve modeliniz artık uygulamanızın ilgili bağlamlarını yansıtmayabilir. Beklediğiniz kadar iyi çalışmasını sağlamak için modelinizin performansını zaman içinde izlediğinizden emin olun ve yeni veriler eklenmesini ve yeniden eğitmeyi gerektirebilecek olan potansiyel sorunları belirlemek için kullanıcılarınızdan geri bildirim toplayın.

    Can Simidi

    Bazen aklınıza gelmeyen uç durumlar ortaya çıkabilir. Modelinizin kullanıcılarınızı ve işinizi olumsuz etkileyecek şekilde hatalı davranabileceğinden endişeleniyorsanız bir olay müdahale planı oluşturun.

    Geri bildirim

    Bu, gelişimi sürmekte olan bir belgedir. Çalışmalarımızla birlikte öğrenme sürecimiz de devam ediyor. Burada sağladığımız kılavuzla ilgili geri bildirimlerinizi almaktan memnuniyet duyarız. Özel modellerinizi oluşturma deneyiminizi ve nelerin işe yarayıp nelerin yaramadığını bize anlatmak için inclusive-ml-feedback@google.com adresine e-posta gönderin. Geri bildirimlerinizi sabırsızlıkla bekliyoruz!