LLMentalist effekti: çatbotlar ekstrasensin fəndini necə təkrarlayır

softwarecrisis.dev saytında dərc olunan essedə tərtibatçı və müəllif Baldur Bjarnason çat əsaslı böyük dil modellərinin (LLM) yaratdığı intellekt hissinin ekstrasenslərin "soyuq oxuma" fəndinin altında duran eyni psixoloji mexanizmdən — subyektiv validasiyadan — qaynaqlandığını iddia edir.

Ekstrasensin fəndi: altı mərhələ

Onun sözlərinə görə, LLM dil tokenlərinin riyazi modelidir: maşına mətn verirsiniz, o da riyazi cəhətdən inandırıcı davamı qaytarır. Bu, bir şüurla söhbət hissini izah etmir; buna görə Bjarnason illüziyanı modeldə deyil, istifadəçidə axtarır. O, ekstrasensin çıxışını altı mərhələyə bölür — özünü seçən tamaşaçı, hazırlanmış səhnə, ehtimallı "hədəf"in müəyyən edilməsi, hədəfin sınanması, subyektiv validasiya dövrəsi və sonda "vau" — və hər birini çatbot istifadəsi ilə tutuşdurur. Süni intellektə şübhə ilə yanaşanlar çatbotlardan az istifadə edir; hayp və "erkən günlər" barədə xəbərdarlıqlar gözləntini formalaşdırır; prompt konteksti müəyyən edir; söhbətdə qalanlar isə məhz inanmağa hazır olanlardır.

Statistik olaraq ümumi, amma inandırıcı

Soyuq oxuma şüurun bir xüsusiyyətindən yararlanır: şəxsi məna daşıyan ifadə, demək olar hamıya uyğun olsa da, dəqiq qəbul edilir. Ekstrasenslər "validasiya ifadələri"ndən istifadə edir — "özünə sərt yanaşmağa meyllisən" kimi Forer (Barnum) ifadələri, yoxa çıxan inkar, göy qurşağı hiyləsi, demoqrafik və statistik təxminlər. Bjarnasona görə, çatbotun cavabları da eyni cür işləyir: cavab sizin vəziyyətinizə uyğun görünür, əslində isə promptunuzun statistik baxımdan ehtimallı davamıdır və onun "özü haqqında" olduğunu təsdiqləyən istifadəçidir.

RLHF və "mexaniki mentalist"

Esse xüsusilə RLHF-ə — şirkətlərin xam modeli çat məhsuluna çevirdiyi, insan rəyi ilə gücləndirilmiş öyrənməyə — diqqət çəkir. Qiymətləndiricilər adətən faktları yoxlamağa vaxtı olmayan aşağı maaşlı işçilərdir və mükafat modeli də özü dil modelidir; buna görə rəy faktları deyil, yalnız dəqiq qiymətləndirilmiş mətnlərə xas ton və quruluşu mükafatlandıra bilər. Müəllifin nəticəsi: RLHF faktiki olaraq validasiya ifadələri istehsalını mükafatlandıran sistemə — "mexaniki mentalist"ə — çevrilib. O, effektin qəsdən aldadıcılıq deyil, təsadüf olduğunu düşünür və sektoru soyuq oxumanı bilmədən edən ekstrasenslərə bənzədir. Məhsullara və proseslərə LLM yerləşdirilməsini tövsiyə etmir; hallüsinasiyaları, etibarsız xülasələri və təhlükəsizlik problemlərini göstərir və inandırıcı çatbota inandırıcı seansa yanaşıldığı kimi yanaşmağı məsləhət görür: hiyləyə maraqla, gücə inamla deyil.