Hata analizi: önce verine bak

Neden metrikten başlamıyoruz?

“Cevap kalitesi 1–5 arası puanlansın” diye bir ölçüm kurmak kolaydır ve neredeyse her zaman işe yaramaz. Çünkü sistemin nasıl bozulduğunu bilmeden ölçtüğün şey, gerçek sorunla örtüşmez. Sıra şöyle olmalı: önce bak, sonra adlandır, en son ölç.

Adım 1: Örnekleri topla

Gerçek kullanımdan (yoksa gerçeğe yakın sentetik sorulardan) 50–100 kayıt al. Her kayıtta girdi, sistemin bütün ara adımları (arama sonuçları, araç çağrıları) ve son çıktı olsun. Kolay ve zor örnekler karışık olsun.

Adım 2: Açık kodlama

Kayıtları tek tek oku. Bir şey yanlışsa, aklına gelen ilk cümleyle serbest bir not yaz. Henüz kategori düşünme.

Kayıt	Not
12	Kargo tarihini uydurdu, sistemde tarih yok
18	Kullanıcı iade istedi, model kargo politikasını anlattı
23	Doğru cevap ama üç paragraf; kullanıcı tek satır istemişti
31	Arama doğru belgeyi getirmiş, model yine de uydurmuş
40	Kullanıcının adını yanlış yazdı

Kuralı unutma: ilk sorunu yaz ve geç. Bir kayıtta beş hata aramak yerine, ilk ve en önemli olanı not al.

Adım 3: Eksen kodlama

Notlar biriktikçe benzerleri gruplamaya başla. Yukarıdaki notlar örneğin şuna dönüşür:

• Uydurma bilgi (12, 31): kaynakta olmayan bir şeyi kesin gibi söylemek
• Niyeti yanlış anlama (18): kullanıcının asıl isteğini kaçırmak
• Biçim uyumsuzluğu (23): uzunluk ya da biçim talebine uymamak
• Kişisel bilgi hatası (40)

Her grup bir hata türü. Her birine bir cümlelik net bir tanım yaz; bir sonraki derste her biri için ayrı bir değerlendirici yazacaksın.

Adım 4: Önceliklendir

Her hata türünün kaç kez görüldüğünü say ve ne kadar zarar verdiğini düşün. Sık ve zararlı olan önce gelir. Bazen tek bir “uydurma” hatası, yüz biçim hatasından pahalıdır.

Bunu kim yapmalı?

Alanı bilen kişi. Bir hukuk asistanının hatasını en iyi hukukçu görür. Bu iş başkasına devredilemez ve yapay zekâya bırakılamaz; ama yapay zekâ, notlarını kümelemekte sana yardım edebilir.

Kendini dene

Quiz · Kendini dene0/2

1. 1. Hata analizine nasıl başlanır?

   ABir 1–5 kalite metriği seçerekBGerçek çıktıları okuyup serbest notlar alarakCDaha büyük bir modelle karşılaştırarak

2. 2. Okudukça yeni hata türü çıkmıyor. Bu ne demek?

   ASistem kusursuzBDoyma noktasına geldin; sınıflama yeterince kapsamlıCDaha çok veri gerekmez, metrikleri silebilirsin