İnsan geri bildirimi AI’yı neye göre yönlendirir?
Bir metnin dil bilgisi doğru olabilir ama isteği karşılamayabilir. Dil modelini yalnızca olası cümleler üretmekten, verilen talimata daha uygun yanıtlar üretmeye yönlendirmek ayrı bir eğitim problemidir.
İnsan geri bildiriminde beni düşündüren nokta, “iyi yanıt” ölçütünün tek bir şey olmaması. Kısa, akıcı veya nazik bir metin doğru bilgi vermeyebilir. Benim için değerlendirme ölçütünü açık yazmak, puanın kendisinden daha önemli. Hangi davranışı ödüllendirdiğimizi bilmeden sonucu anlamak zorlaşıyor.
Temel fikir
2022 tarihli InstructGPT çalışması insan örnekleri ve yanıt tercihlerini eğitim sürecinde kullanmayı ele alır. İnsan geri bildirimi, bir sistemin hangi çıktılarının daha çok tercih edildiğine dair sinyal sağlar. Ancak tercih edilen yanıtın her zaman nesnel olarak doğru olduğu sonucu çıkarılamaz.
Bir örnek üzerinden
Bir editör grubunun iki blog özetini karşılaştırdığını düşün. Biri daha akıcı, diğeri daha doğru olabilir. Değerlendirme formu sadece hangisini sevdin derse ölçülen şey belirsizleşir. Doğruluk, talimata uyum ve üslubu ayrı sorularla ele almak daha açık bir geri bildirim üretir.
Nereden başlamalı?
Bir AI aracını kullanırken hoşuna giden yanıtlarla doğrulanmış yanıtları ayır. Özellikle kaynak, sayı veya ürün özelliği içeren metinlerde ayrı kontrol yap. İnsan geri bildirimi güçlü bir araçtır; insan tercihlerinin ve değerlendirme ölçütlerinin sınırlarını da taşır.
Benim yaklaşımım
Bir blog taslağını değerlendirsem doğruluk, anlaşılabilirlik ve üslubu ayrı incelerdim. Hoşuma giden tonu bilgi doğruluğu yerine koymam. Aynı şekilde doğru ama anlaşılmaz bir paragrafı da tamamlanmış kabul etmem. Birbirine karışmayan ölçütler, sonraki düzenlemenin hangi sorunu çözmesi gerektiğini daha net gösterir.
