Adım örnekleri AI yanıtını nasıl etkileyebilir?

Birine yalnızca sonucu göstermekle, sonuca nasıl ulaşıldığını örneklemek farklıdır. Dil modellerinde de isteme eklenen çözüm örnekleri yanıtın biçimini etkileyebilir. Fakat daha uzun açıklama her zaman daha doğru çözüm demek değildir.

Benim için örnek vermek yalnızca istediğim cevabın görünüşünü göstermek değil, nasıl bir karar beklediğimi anlatmak. Yine de uzun uzun düşünce metni istemenin her görevi iyileştireceğini varsaymam. Bana kalırsa en kullanışlı örnek, görevle doğrudan ilişkili ve sonucu kontrol edilebilir olandır. Aracın kullandığı yöntemi, modelin desteklediği kullanım biçimine göre seçmek isterim.

Temel fikir

2022 tarihli chain-of-thought prompting çalışması, ara adımları içeren örneklerin bazı büyük dil modellerinde belirli akıl yürütme görevlerine etkisini inceler. Araştırmadaki sonuçları bütün modeller ve bütün görevler için evrensel bir kural gibi okumamak gerekir.

Bir örnek üzerinden

Bir içerik sınıflandırma görevinde yalnızca Tasarım etiketi vermek yerine kısa bir örnekle ölçütü gösterebilirsin: konu tipografiyle ilgili olduğu için Tasarım. Ardından yeni örneklerde etiketin gerçekten doğru olup olmadığına bak. Modelin ikna edici bir gerekçe yazması yanlış etiketi doğru yapmaz.

Nereden başlamalı?

Kullanıcıya uzun iç düşünce dökümleri sunmak yerine kontrol edilebilir sonuç, gerekli kısa açıklama ve kaynak iste. Değerlendirmeyi açıklamanın uzunluğu üzerinden değil, görev başarısı üzerinden yap. İyi örnek, belirsizliği azaltır; doğrulamanın yerini almaz.

Benim yaklaşımım

Bir içerik sınıflandırma işi hazırlasam bir başlığı neden “web” yerine “tasarım” kategorisine koyduğumu kısa bir ölçütle gösterirdim. Ardından belirsiz bir başlık verip aynı ayrımı yapmasını isterdim. Sonuç tutarsızsa daha uzun örnekler eklemeden önce kategorilerin sınırını netleştirirdim. Bazen sorun modelde değil, benim verdiğim tanımın belirsizliğinde olabilir.