LLMentalist-ის ეფექტი: როგორ იმეორებს ჩატბოტი ექსტრასენსის ხერხს

softwarecrisis.dev-ზე გამოქვეყნებულ ესეში დეველოპერი და ავტორი ბალდურ ბიარნასონი ამტკიცებს, რომ ჩატ-ბაზირებული დიდი ენობრივი მოდელების (LLM) მიერ დატოვებული ინტელექტის შთაბეჭდილება იმავე ფსიქოლოგიური მექანიზმიდან მოდის, რასაც ექსტრასენსის „ცივი კითხვა“ ეყრდნობა: სუბიექტური ვალიდაცია.

ექსტრასენსის ხერხი ექვს ეტაპად

ბიარნასონის სიტყვებით, LLM ენობრივი ტოკენების მათემატიკური მოდელია: აძლევ ტექსტს და იღებ მათემატიკურად დამაჯერებელ გაგრძელებას. ეს არ ხსნის განცდას, თითქოს აზროვნებულ არსებას ესაუბრები, ამიტომ ავტორი ილუზიას მოდელში კი არა, მომხმარებელში ეძებს. ის ექსტრასენსის წარმოდგენას ექვს ეტაპად ყოფს — თავისით შერჩეული აუდიტორია, მომზადებული სცენა, სავარაუდო „სამიზნის“ გამოვლენა, მისი გამოცდა, სუბიექტური დადასტურების ციკლი და საბოლოო „ვაიმე“ — და თითოეულს ჩატბოტის გამოყენებას ადარებს. AI-ის მიმართ სკეპტიკურად განწყობილი ხალხი ჩატბოტს იშვიათად იყენებს, ჰაიპი და გაფრთხილებები „ადრეულ დღეებზე“ მოლოდინს აყალიბებს, პრომპტი კონტექსტს ქმნის, საუბარში კი სწორედ ისინი რჩებიან, ვინც უკვე მზადაა ირწმუნოს.

სტატისტიკურად ზოგადი, მაგრამ დამაჯერებელი

„ცივი კითხვა“ ადამიანის ფსიქიკის თავისებურებას იყენებს: თუ განაცხადს პირადი მნიშვნელობა აქვს, მას ზუსტად მივიჩნევთ მაშინაც, როცა ის თითქმის ყველას ეხება. ექსტრასენსები ამას „ვალიდაციის განაცხადებით“ აკეთებენ — ფორერის (ბარნუმის) ფრაზები, როგორიცაა „ხშირად საკუთარ თავს მკაცრად ექცევი“, გაუჩინარებადი უარყოფა, „ცისარტყელას ხრიკი“, დემოგრაფიული და სტატისტიკური გამოცნობები. ბიარნასონის აზრით, ჩატბოტის პასუხიც ასე მუშაობს: ის კონკრეტულად შენზე მორგებულად ჟღერს, სინამდვილეში კი სტატისტიკურად სავარაუდო გაგრძელებაა, და მომხმარებელია ის, ვინც მას პირადად მისამართებულად აღიქვამს.

RLHF და „მექანიკური მენტალისტი“

ესე განსაკუთრებულ ყურადღებას უთმობს RLHF-ს — ადამიანის უკუკავშირით გაძლიერებულ სწავლებას, რომლითაც კომპანიები ნედლ მოდელს ჩატბოტად აქცევენ. შემფასებლები ჩვეულებრივ დაბალანაზღაურებადი მუშები არიან, რომლებსაც ფაქტების გადამოწმების დრო არ აქვთ, ხოლო ჯილდოს მოდელი თავადაც ენობრივი მოდელია — შესაბამისად, უკუკავშირს კონკრეტული ფაქტებისთვის დაჯილდოება არ შეუძლია, მხოლოდ ტონისა და სტრუქტურისთვის, რომელიც ზუსტად შეფასებულ ტექსტებს ახასიათებს. ასე, ავტორის აზრით, RLHF-მა ჩატბოტები ფაქტობრივად ვალიდაციის განაცხადების წარმოებას ასწავლა — „მექანიკური მენტალისტი“. ის ხაზს უსვამს, რომ ეს განზრახ თაღლითობად არ მიაჩნია: ინდუსტრიამ, მისივე სიტყვებით, არ იცოდა რას აკეთებდა და ახლა ვერ ხვდება, რა გააკეთა — ისევე, როგორც ბევრი ექსტრასენსი საკუთარ ხრიკს ქვეცნობიერად იყენებს.

რას ურჩევს ავტორი

ბიარნასონი პროდუქტებსა თუ ორგანიზაციულ პროცესებში LLM-ის ინტეგრაციის წინააღმდეგ გამოდის, ჰალუცინაციებს, არასანდო შეჯამებებსა და უსაფრთხოების ხარვეზებს ასახელებს და გადაწყვეტილების ჩატბოტისთვის მიბარებას ექსტრასენსთან სატელეფონო რჩევის თხოვნას ადარებს. მისი დასკვნა ზომიერია: დამაჯერებელ ჩატბოტს ისე მოეპყარი, როგორც დამაჯერებელ სეანსს — „საინტერესო ხრიკია, საინტერესოა, როგორ მოახერხა ეს“.