AI kendi hatasından not alabilir mi?
Bir işin ilk denemesi başarısız olduğunda, aynı talimatı hiç değiştirmeden tekrar etmek her zaman işe yaramaz. Hatanın ne olduğunu kaydetmek ve sonraki denemeyi bu bilgiyle yönlendirmek daha anlamlı bir strateji olabilir.
Bana kalırsa bir sistemin kendi çıktısını değerlendirmesi faydalı olabilir; ama kendi hatasını her zaman göreceğini varsaymak doğru bir başlangıç değil. Ben böyle bir aşamayı bağımsız kontrolün yerine değil, ön hazırlık olarak kullanırdım. Özellikle aynı yanlış varsayım hem üretimde hem değerlendirmede tekrarlanıyorsa güzel yazılmış bir eleştiri güven yaratabilir. Benim için geri bildirimin neye dayandığı da görünür olmalı.
Temel fikir
2023 tarihli Reflexion çalışması, ajanların görev geri bildirimini sözel notlarla kullanmasını araştırır. Buradaki yaklaşım her adımda model ağırlıklarını yeniden eğitmekle aynı değildir. Deneme geçmişi ve geri bildirim, sonraki davranışı yönlendiren bağlamın parçası olur.
Bir örnek üzerinden
Bir kod örneği üreten sistem düşün. Test hata veriyorsa sadece başarısız yazmak yerine hangi testin hangi beklentiyi karşılamadığını kaydet. Sonraki denemeyi bu kanıtla sınırla. Yanlış yorumlanmış bir hata mesajı ise sistemi yanlış yönde de yönlendirebilir.
Nereden başlamalı?
Sonsuz düzeltme döngüsü kurma. Deneme sayısı, maliyet sınırı ve insan incelemesine geçiş noktası belirle. Bir sistemin hatayı açıklaması, hatayı giderdiği anlamına gelmez; aynı testi yeniden çalıştırmak gerekir.
Benim yaklaşımım
Bir yazı taslağına ikinci kontrol eklesem “bu metin iyi mi?” diye sormazdım. Kaynaksız iddiaları, tekrarları ve başlıkla uyuşmayan bölümleri ayrı ayrı işaretlemesini isterdim. Düzeltilen metni de tekrar kaynaklarla karşılaştırırdım. Sistemin yaptığı değişiklikler izlenebilir kalırsa, geri bildirim benim editoryal kararımı destekleyen somut bir not haline gelir.
