Ezberleyen ve önyargılı modeller
Kısaca
- Ezberlemenin (aşırı öğrenme) ne olduğunu ve nasıl fark edildiğini bilmek
- Verideki önyargının modele nasıl geçtiğini anlatmak
- Gerçek bir araştırmadan önyargının ölçüldüğü bir örnek vermek
İkinci derste modelin elini bardak sandığını gördün. Bu, iki büyük sorunun küçük bir örneğiydi: ezberlemek ve önyargı.
Ezberlemek
Bazı öğrenciler konuyu anlamak yerine soruların cevaplarını ezberler. Aynı sorular gelirse tam not alır, soru biraz değişince takılır. Modeller de bunu yapabilir. Buna aşırı öğrenme (overfitting) denir.
Nasıl anlaşılır? Eğitim verisinde başarı çok yüksek ama test verisinde belirgin şekilde düşükse, model büyük ihtimalle ezberlemiştir. TensorFlow Playground’da bunu görebilirsin: çok az veriyle çok büyük bir ağ eğit; sağ üstteki “Training loss” düşerken “Test loss” yükselmeye başlar.
Çareleri basittir ama emek ister: daha çok ve daha çeşitli örnek, daha küçük model ve her zaman ayrı bir test verisi.
Önyargı
Model, verideki örüntüleri öğrenir. Verideki örüntü adaletsizse, model de adaletsiz olur. Burada model kötü niyetli değildir; ona gösterilen dünyayı kopyalar.
İki gerçek araştırma:
- Yüz tanıma: Joy Buolamwini ve Timnit Gebru 2018’de üç ticari yüz analiz sistemini test etti. Sistemler, açık tenli erkeklerde neredeyse hiç hata yapmazken koyu tenli kadınlarda çok daha fazla hata yapıyordu. Sebeplerden biri, eğitim verisinde bu grupların az temsil edilmesiydi.
- Dil: Aylin Çalışkan ve meslektaşları 2017’de, metinden öğrenen modellerin insanlarda ölçülen örtük önyargıları, örneğin meslekleri belirli bir cinsiyetle eşleştirmeyi, aynen taşıdığını gösterdi.
Bu çalışmaların ve yazarlarının hikâyesini İnsanlar sayfasında bulabilirsin.
Sen ne yapabilirsin?
- Bir yapay zekâ aracının senin hakkında ya da başkası hakkında verdiği bir karara körü körüne güvenme; özellikle iş, sağlık ya da para söz konusuysa.
- Bir modelin hangi veriyle eğitildiğini sor. Cevabı yoksa bu da bir bilgidir.
- Kendi modelini eğitirken örneklerinin herkesi temsil edip etmediğine bak.
Akılda kalsın: Eğitimde çok iyi, testte kötü olan model ezberlemiştir. Verideki adaletsizlik modele geçer. Bir modelin ne kadar iyi olduğunu sorarken “kimin için?” diye de sor.
Kendini dene
1. Bir model eğitim verisinde yüzde 99, test verisinde yüzde 60 başarılı. Muhtemel sorun ne?
2. Gender Shades araştırması neyi gösterdi?
3. Önyargılı bir model çoğunlukla nereden kaynaklanır?
Daha derine inmek istersen