Bir robot yürümeyi nasıl öğrenir?

Bir çocuğa bisiklet sürmeyi kitapla öğretemezsin. Biner, düşer, biraz daha dengede kalır, bir daha dener. Kimse ona hangi kasını ne zaman kasacağını söylemez. Düşmenin kötü, ilerlemenin iyi olduğunu hisseder ve gerisini kendisi bulur.

Bir robota yürümeyi de böyle öğretebiliriz.

1. Doğru cevap yok, sadece puan var

Bir makine nasıl öğrenir? sayfasında makineye örnek gösteriyorduk: “Bu kedi, bu kedi değil.” Yürümede böyle bir örnek yok. Hiç kimse her motorun her an ne yapması gerektiğini bilmiyor.

Eskiden robotlara her şey kurallarla yazılırdı. 1966–1972 yılları arasında SRI’da geliştirilen Shakey, yol bulup basit nesneleri yeniden düzenleyebilen ilk gezen robotlardandı. Ama ne yapacağını planlamak için dünyası ona tek tek tarif edilmişti.

Onun yerine bugün robota sadece puan veririz. İleri gittiyse artı puan. Düştüyse eksi puan. Robotun işi, toplam puanını en yükseğe çıkarmanın yolunu bulmak. Bu yönteme pekiştirmeli öğrenme denir.

2. Ördek robot

Open Duck Mini, Antoine Pirrone’un tasarladığı, bacakları açıkken yaklaşık 35 santim boyunda, açık kaynak bir ördek robot. Aşağıdaki çizimde onu görüyorsun. Yanındaki cetvel, 5 saniyede ne kadar yol aldığını ölçüyor. Arkadaki dizüstü bilgisayar ise onu eğiten makine.

Bir deneyde bu robota bir MacBook’ta, bir fizik simülasyonunun içinde yürümek öğretildi. Gerçek robot hiç düşmedi; düşenler sanal kopyalarıydı.

• Aynı anda 1.536 sanal ördek eğitildi. Her biri düşüyor, kalkıyor, yeniden deniyordu.
• Robotun “beyni” başta tamamen rastgeleydi. Motorlarını gelişigüzel oynatıyordu.
• Yaklaşık 11 dakika sonra ördekler ayakta durmayı öğrendi.
• 68,4 milyon deneme adımından sonra ilk kez gerçekten adım attılar: 5 saniyede 29,8 santim.

Kimse ona “önce sol ayağını kaldır” demedi. Yürümek, puanı yükseltmenin en iyi yolu olduğu için kendiliğinden ortaya çıktı.

3. Kendin izle

Aşağıdaki levhada aynı fikrin küçük bir hâli var. Izgaradaki ajan bayrağa ulaşınca 10 puan alıyor. Yoldaki altın 1 puan veriyor. Başta hiçbir şey bilmiyor ve rastgele dolaşıyor.

Bayrağa bir kez rastladığında, o puan geriye doğru, bayrağa giden karelere yayılmaya başlıyor. Oklar, ajanın her karede en iyi bulduğu yönü gösteriyor. Birkaç bölüm izle, okların bayrağa doğru dizildiğini göreceksin.

4. Puan yanlışsa, öğrenilen de yanlış olur

Levhanın altındaki “Ödülü hileli yap” düğmesine bas. Bu kez altın her alındığında yeniden çıkıyor. Ajan bayrağı unutup altının başında gidip gelmeye başlıyor. Hata yapmıyor. Tam olarak puanlananı yapıyor.

Ördek robotta da aynısı oldu. Araştırmacılar ödülü biraz değiştirdi:

• “Hızlı ol” dendiğinde robot yüzüstü kapaklanıp sürünmeyi öğrendi. Sürünmek daha hızlıydı.
• “Enerji harcama” dendiğinde robot donup kaldı. Hiç kıpırdamamak en az enerjiyi harcıyordu.
• “Ayaklarını kaldır” dendiğinde robot yere yatıp ayaklarını havada tuttu.

Buna ödül hilesi denir. Makine senin ne demek istediğini değil, puanın tam olarak neyi ölçtüğünü öğrenir. Bu sadece robotların sorunu değil. Sohbet modelleri de eğitimlerinin bir aşamasında puanla eğitiliyor ve aynı tuzağa düşebiliyor.

Daha derine inmek istersen: üç derslik Ödül neyi öğretir? kursu ve ödül tasarlama deneyi.