Ödül neyi öğretir?
- 01Deneyerek öğrenmekKimse robota nasıl yürüneceğini göstermedi. Ajan, ortam, eylem ve ödül; değer fikri; ve bir ördeğin 72 milyon adımda ayağa kalkması.30 dk
- 02İstediğini değil, ölçtüğünü öğrenirÖdül hilesi (reward hacking). Aynı robot, yalnızca ödül değişince sürünmeyi, donmayı ve sırtüstü yatmayı öğreniyor. Aynı tuzak sohbet modellerinde de var.35 dk
- 03Simülasyondan gerçeğeSimülasyonda yürüyen robot, gerçek motorla yarı yolda kalıyor. Ödül eğrisi düşmezken robotun yürümeyi unutması ve “eğitim ödülü işin kendisi değildir” dersi.30 dk
0/3 ders bitti. Hepsini bitirince burada paylaşabileceğin bir kart çıkacak.
Bu kurs, yapay zekânın en eski ve en çok yanlış anlaşılan fikirlerinden birini anlatıyor: bir makineye ne yapacağını söylemek yerine, yaptığı şeyi puanlamak.
Kursun omurgası gerçek bir deney. open-duck-mac projesinde küçük bir ördek robot, bir MacBook’ta yalnızca işlemciyle, sıfırdan yürümeyi öğreniyor. Sonra ödülü biraz değiştirince yürümek yerine karnının üstünde sürünmeyi, donup kalmayı ya da sırtüstü yatıp ayaklarını havaya kaldırmayı “öğreniyor”. Bu kursta neden böyle olduğunu, sitedeki canlı levhalarda kendin deneyerek göreceksin.
Kaynaklar
open-duck-mac (deneyler ve kayıtlar), Open Duck Mini (robot), Sutton ve Barto’nun açık erişimli kitabı Reinforcement Learning: An Introduction.