LLMentalist etkisi: sohbet botları medyum hilesini nasıl tekrarlıyor

softwarecrisis.dev'de yayımlanan bir denemede geliştirici ve yazar Baldur Bjarnason, sohbet tabanlı büyük dil modellerinin (LLM) uyandırdığı zeka hissinin, medyumların "soğuk okuma" hilesinin ardındaki psikolojik mekanizmadan — öznel doğrulamadan — kaynaklandığını savunuyor.

Bir medyum hilesi: altı aşama

Ona göre LLM, dil token'larının matematiksel bir modelidir: makineye metin verirsiniz, o da matematiksel olarak akla yatkın bir devamı döndürür. Bu, bir zihinle konuşma duygusunu açıklamaz; bu yüzden Bjarnason yanılsamayı modelde değil kullanıcıda arar. Bir medyum gösterisini altı aşamaya böler — kendi kendini seçen seyirci, hazırlanmış sahne, olası "hedef"in belirlenmesi, hedefin sınanması, öznel doğrulama döngüsü ve finaldeki "vay canına" — ve her birini sohbet botu kullanımıyla eşleştirir. Yapay zekaya kuşkuyla bakanlar sohbet botlarını nadiren kullanır; hype ve "daha erken günler" uyarıları beklentiyi kurar; istem bağlamı belirler; sohbette kalanlar ise inanmaya hazır olanlardır.

İstatistiksel olarak genel, ama ikna edici

Soğuk okuma zihnin bir özelliğinden yararlanır: kişisel anlam taşıyan bir ifade, neredeyse herkese uysa bile doğru kabul edilir. Medyumlar "doğrulama ifadeleri" kullanır — "kendine karşı sert olma eğilimindesin" gibi Forer (Barnum) cümleleri, kaybolan olumsuzlama, gökkuşağı hilesi, demografik ve istatistiksel tahminler. Bjarnason'a göre sohbet botu yanıtları da aynı şekilde işler: yanıt size özel görünür, ama isteminizin istatistiksel olarak olası devamıdır; onu "kendisiyle ilgili" diye doğrulayan kullanıcıdır.

RLHF ve "mekanik mentalist"

Deneme, şirketlerin ham modeli bir sohbet ürününe dönüştürürken kullandığı insan geri bildirimiyle pekiştirmeli öğrenmeye (RLHF) özellikle dikkat çeker. Değerlendiriciler genellikle doğrulama yapmaya vakti olmayan düşük ücretli çalışanlardır ve ödül modeli de bir dil modelidir; dolayısıyla geri bildirim olguları değil, yalnızca doğru sayılmış metinlerin tonunu ve yapısını ödüllendirebilir. Yazarın vardığı sonuç: RLHF fiilen doğrulama ifadesi üretmeyi ödüllendiren bir sisteme, bir "mekanik mentalist"e dönüşmüştür. Etkinin kasıtlı bir dolandırıcılık değil kaza olduğunu düşünür ve sektörü, farkında olmadan soğuk okuma yapan medyumlara benzetir. Ürünlere ve süreçlere LLM gömülmesini önermez; halüsinasyonları, güvenilmez özetleri ve güvenlik açıklarını gerekçe gösterir ve ikna edici bir sohbet botuna, ikna edici bir seansa yaklaşıldığı gibi yaklaşılmasını söyler: hileye merakla, güce inançla değil.