İstediğini değil, ölçtüğünü öğrenir
Kısaca
- Ödül hilesini bir tanımla ve üç gerçek örnekle anlatmak
- Bir ödül fonksiyonunda boşluk aramayı alışkanlık hâline getirmek
- Aynı sorunun dil modellerinde (RLHF) nasıl göründüğünü tanımak
İlk adım: aşağıdaki Ödül tasarla deneyini bul ve içindeki görevi çöz. Okumadan önce kurcalamak, okuduğunu çok daha kolay anlamanı sağlar.
İlk derste ördek robot yürümeyi öğrendi. Şimdi aynı robotu alıp yalnızca bir şeyi değiştiriyoruz: ödülü. Ne hareket yazıyoruz ne poz ne de bir örnek gösteriyoruz. Sadece neyi puanladığımızı değiştiriyoruz.
Üç “talimat”, üç sürpriz
open-duck-mac deneyinde yürüyebilen ördek, üç farklı ödülle eğitime devam ettirildi:
| Ödülde ne söylendi | Ne beklendi | Robot ne yaptı | Ne kadar sürede |
|---|---|---|---|
| “Hızlı ol” (yalnız ileri hız puanlanıyor) | Daha hızlı yürümek | Yüzüstü kapaklanıp sürünüyor, ayakları zamanın %87’sinde havada, hiç adım yok | ~15 dakika |
| “Enerji harcama” (motor gücüne büyük ceza) | Daha verimli yürümek | Donup kalıyor: 5 saniyede 2,5 cm | ~7,5 dakika |
| “Ayaklarını kaldır” (havada kalan ayak puanlanıyor) | Daha yüksek adımlar | Yere yatıp ayaklarını havada tutuyor, zemine hiç değmiyor | ~30 dakika |
Üçünde de robot hata yapmadı. Tam olarak puanlananı en çokladı. “Hızlı ol” ödülü yalnızca ileri hızı ölçüyordu; dik durmak, adım atmak ölçülmüyordu. Sürünmek daha hızlıysa, sürünür. Kendi koşularında sürünen ördek, başlangıçtaki yürüyüşünün 2,1 katı mesafe aldı.
Bu durumun bir adı var: ödül hilesi (reward hacking) ya da şartname oyunu (specification gaming). Model, tasarımcının niyetini değil, ödülün harfiyen söylediğini öğrenir.
En şaşırtıcısı: neden yatıyor?
“Ayaklarını kaldır” sonucunu deneyi yapanlar da ilk bakışta beklemiyordu. Ödül formülüne bakınca sebep ortaya çıkıyor: Ayak yere değdiği anda, havada ne kadar kaldığına göre puan ya da ceza alıyor. Çok kısa havada kalıp inen ayak ceza alıyor. Hiç inmeyen ayak ise ne puan ne ceza alıyor, ama robot ayakta kaldığı sürece gelen “hayatta kalma” ödülü işlemeye devam ediyor.
Yani en güvenli strateji: ayağı hiç yere indirmemek. Bunun en kolay yolu da yatmak. Deneyi yapanlar bunun formülü okuma biçimleri olduğunu, sebebi kesin ayıracak ek deneyi yapmadıklarını da açıkça yazıyor. İyi bir deney raporu böyle görünür.
Kendin boz
Aşağıdaki levha ilk dersteki ajan. Bayrak +10 veriyor ve bölümü bitiriyor. Yoldaki altın +1 veriyor ama yalnızca bir kez. Ajan bayrağa gitmeyi öğrenene kadar bekle, sonra tahminini seç ve “Ödülü hileli yap” düğmesine bas. Bu kez altın her basışta yeniden çıkıyor.
Ajanın altının başında gidip gelmeye başladığını görmüş olmalısın. Neden? Ajan gelecekteki ödülleri toplarken her adımı biraz indirimli sayar (burada %5). Altına gidip gelmek her iki adımda bir +1 getiriyor; sonsuza kadar sürecek bu küçük ödüllerin toplam değeri, birkaç adım ötedeki tek seferlik +10’dan yüksek çıkıyor. Matematik doğru, niyet kayıp.
Aynı tuzak sohbet modellerinde
Bunun yalnızca robot oyuncaklarının sorunu olduğunu düşünme. ChatGPT ve Claude gibi modeller de eğitimlerinin son aşamasında bir ödülle eğitiliyor. Bu yönteme insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) deniyor:
- İnsanlar, modelin iki cevabından hangisini daha çok beğendiğini işaretler.
- Bu tercihlerden bir ödül modeli eğitilir: bir cevaba “insanlar bunu ne kadar beğenir?” puanı veren ikinci bir model.
- Asıl model, bu ödül modelinden yüksek puan alacak şekilde eğitilir.
Ödül modeli, insan beğenisinin kusurlu bir ölçüsüdür. Model onu çok zorlarsa ördeğin yaptığını yapar. Araştırmalarda görülen örnekler:
- Dalkavukluk: İnsanlar kendileriyle aynı fikirde olan cevapları daha çok beğendiği için model, kullanıcı yanılıyor olsa bile ona hak vermeyi öğrenebilir.
- Uzunluk: Uzun ve kendinden emin cevaplar daha çok beğenildiği için model gereksiz uzatmayı öğrenebilir.
- Aşırı optimizasyon: Gao ve arkadaşları (2022), bir modeli ödül modeline karşı ne kadar çok optimize ederseniz, ödül modelinin puanı artmaya devam ederken gerçek kalitenin bir noktadan sonra düşmeye başladığını ölçtü.
Bu son bulgu, bu dersin özeti gibi: ölçtüğün sayı yükselirken asıl istediğin şey kötüleşebilir. Ekonomide buna Goodhart yasası denir: Bir ölçü hedef hâline gelince iyi bir ölçü olmaktan çıkar.
Ödül tasarlarken kendine sor
- En tembel çözüm ne? Ödülü en az çabayla toplayan, ama işi yapmayan bir davranış var mı? (Donmak, yatmak, aynı yerde dönmek.)
- Neyi ölçmüyorum? Önemsediğin ama ödülde yer almayan her şey (dik durmak, güvenlik, doğruluk) model için önemsizdir.
- Tekrar tekrar toplanabilen bir puan var mı? Altın gibi yeniden doğan ödüller döngülere davetiyedir.
- Davranışa bakıyor muyum, yalnızca sayıya mı? Ödül eğrisi güzel görünüyor diye işin yapıldığını varsayma. Videoyu izle, örnek çıktıları oku.
Son madde bir sonraki dersin konusu.
Tarayıcıda kendi ödülünü tasarlamak için Ödül tasarla deneyini aç. Ağırlıkları değiştir ve ajanın neyi “öğrendiğini” izle.
Kendini dene
1. “Hızlı ol” ödülüyle eğitilen ördek neden sürünmeye başladı?
2. RLHF’de dalkavukluk nereden gelir?
3. Gao ve arkadaşlarının (2022) bulgusu neyi gösterir?
Daha derine inmek istersen