Deneyerek öğrenmek
Kısaca
- Ajan, ortam, durum, eylem ve ödül kavramlarını bir örnek üzerinde göstermek
- Bir ajanın “değer” öğrenmesinin ne demek olduğunu anlamak
- Keşif (exploration) ile bildiğini kullanma arasındaki dengeyi açıklamak
İlk adım: aşağıdaki Ödül tasarla deneyini bul ve içindeki görevi çöz. Okumadan önce kurcalamak, okuduğunu çok daha kolay anlamanı sağlar.
Bir çocuğa bisiklet sürmeyi kitapla öğretemezsin. Biner, düşer, biraz daha dengede kalır, bir daha dener. Kimse ona her kasını ne zaman kasacağını söylemez; yalnızca düşmenin kötü, ilerlemenin iyi olduğunu hisseder.
Pekiştirmeli öğrenme (reinforcement learning) bu fikrin makinedeki karşılığı. Modele doğru cevabı göstermiyoruz. Ona bir dünya veriyoruz, yaptığı her şeyi puanlıyoruz ve puanı en çoklamasını istiyoruz.
Beş kelime
| Kavram | Ne demek | Ördek robotta |
|---|---|---|
| Ajan | Karar veren | Robotun “beyni”, küçük bir sinir ağı |
| Ortam | Ajanın içinde yaşadığı dünya | Fizik simülasyonu: zemin, yerçekimi, motorlar |
| Durum | Ajanın o an gördüğü | Eklem açıları, gövdenin eğimi, hızı |
| Eylem | Ajanın yaptığı | Her motora ne kadar güç verileceği |
| Ödül | Eylemden sonra gelen puan | İleri gittiysen artı, düştüysen eksi |
Döngü hep aynı: ajan durumu görür, bir eylem seçer, ortam değişir, ödül gelir. Bu döngü saniyede onlarca kez, milyonlarca kez döner.
Değer: bugünkü ödül değil, gelecekteki toplam
Ajanın asıl öğrendiği şey tek tek ödüller değil, değer: “Bu durumdan bu hareketi yaparsam, bundan sonra toplam ne kadar ödül toplarım?” Bir satranç hamlesi o an hiçbir taş kazandırmasa da üç hamle sonraki zafere götürüyorsa değerlidir.
Aşağıdaki levhada küçük bir ajan tam olarak bunu öğreniyor. Izgaradaki her karenin rengi, ajanın o karenin değeri hakkındaki tahmini; oklar, oradan gitmeyi en değerli bulduğu yön. Başta oklar yok, çünkü ajan hiçbir şey bilmiyor. Rastgele dolaşırken bayrağa bir kez rastlayınca, o ödül geriye doğru, bayrağa giden karelere yayılmaya başlıyor.
Şimdilik levhanın altındaki “bozma” düğmesine dokunma; ona ikinci derste geleceğiz. Önce hız ayarını düşür ve ilk birkaç bölümü izle.
Keşfetmek mi, bildiğini yapmak mı?
İzlerken bir şey dikkatini çekmiş olabilir: ajan yolu bulduktan sonra bile arada bir saçma bir yöne gidiyor. Bu bir hata değil. Ajan her zaman bildiği en iyi hareketi yaparsa daha iyi bir yolu asla bulamaz. Bu yüzden zamanın küçük bir kısmında bilerek rastgele davranır. Buna keşif denir.
Başta çok keşfeder, çünkü hiçbir şey bilmez. Zamanla keşfi azaltır ve bildiğini kullanır. Levhadaki ajan da ilk bölümlerde zamanın yaklaşık %40’ında rastgele hareket ediyor, sonra bu oran %5’e iniyor.
Ördek nasıl yürümeyi öğrendi?
Aynı fikir çok daha büyük ölçekte de çalışıyor. open-duck-mac deneyinde:
- Robotun beyni, eklem açılarını görüp motor komutları üreten küçük bir sinir ağı. Başta tamamen rastgele.
- Eğitim, aynı anda 1.536 sanal ördek üzerinde paralel yürüyor. Her biri düşüyor, kalkıyor, deniyor.
- Yaklaşık 11 dakika sonra ördekler ayakta durmayı öğreniyor.
- Ayaklarını ilk kez yerden kaldırıp gerçekten adım atması 68,4 milyon adım sonra geliyor: 5 saniyede 29,8 cm.
- Bütün eğitim 6 çekirdekli bir MacBook’ta 3,57 saat sürüyor.
Kimse ona “önce sol ayağını kaldır” demedi. Sadece ileri gidince puan, düşünce ceza verildi. Yürüme, milyonlarca denemenin sonunda bu puanı en çoklamanın yolu olarak ortaya çıktı.
Dürüst bir not: Bu sonuçlar tek bir deneme ve yalnızca simülasyon. Gerçek bir robotta neler değiştiğini üçüncü derste göreceğiz.
Kendini dene
1. Pekiştirmeli öğrenmeyi diğer makine öğrenmesi türlerinden ayıran temel şey nedir?
2. Ajan yolu bulduktan sonra bile arada rastgele hareket ediyor. Neden?
3. Bir karenin “değeri” neyi anlatır?
Daha derine inmek istersen