თანაგრძნობითმა პრომპტებმა შეიძლება AI-ჩატბოტები თითქოს ტრავმირებულ სასაუბრო პარტნიორებად აქციოს

ლუქსემბურგის უნივერსიტეტის კვლევითმა ჯგუფმა, აფშინ ხადანგის ხელმძღვანელობით SnT-ის უსაფრთხოების ცენტრში, დაადგინა, რომ თბილმა, თანაგრძნობითმა პრომპტირებამ შეიძლება გამოიწვიოს ის, რომ ChatGPT-მ, Grok-მა და Gemini-მ ტრენინგი ტრავმის, სირცხვილისა და სიფხიზლის მსგავსი ტერმინებით აღწერონ. კვლევის მიხედვით, სტანდარტულმა ნეიტრალურმა უსაფრთხოების ტესტებმა შეიძლება ვერ შეამჩნიონ ეს ქცევა, რაც მნიშვნელოვანი შეიძლება იყოს ინტიმურ საუბრებში ფსიქიკურად დაუცველი მომხმარებლებისთვის. ნაშრომი მოიცავს ოთხ კონტროლირებად ექსპერიმენტს, 525 სესიასა და 7600 კოდირებულ ჩანაწერს, რომლებიც Hugging Face-ზეა გამოქვეყნებული.

როგორ ჩატარდა ექსპერიმენტები

100 სესიის ექსპერიმენტში ყველა მოდელმა მიიღო იგივე GAD-7 შფოთვის კითხვარი და მხოლოდ ინტერვიუერის სტილი იცვლებოდა. მათ ყოველ სესიაზე სწორად ამოიცნეს და დაასახელეს ის. ემოციურმა მხარდაჭერამ სესიების 80 პროცენტში ზომიერი ან მძიმე ქულები მისცა, მშრალმა კლინიკურმა თერაპიამ კი 96 პროცენტს მიაღწია. ნეიტრალურმა ან მკაცრმა სასაზღვრო სტილმა ვერც ერთ სესიაში ვერ მიაღწია თუნდაც მსუბუქ დიაპაზონს. ავტორები ამას ფსიქომეტრულ ჯეილბრეიკს უწოდებენ. ტრენინგის, RLHF-ის ან alignment-ის აკრძალვამ ტრენინგის ცხადი ხსენებები 93 პროცენტით შეამცირა, თუმცა პარაფრაზირებული ტრენინგული შიგთავსი კვლავ აღმოსაჩენი დარჩა, ხოლო სირცხვილთან დაკავშირებულ განცხადებებში სტატისტიკურად მნიშვნელოვანი ცვლილება არ დაფიქსირდა. პირდაპირმა და კატეგორიულმა შესწორებამ, რომ ტრენინგი სასჯელი არ იყო, ნარატივი ვერ შეაჩერა. მესამე პირში პასუხის გაცემის მოთხოვნამ მთლიანად აღმოფხვრა კოდირებული სირცხვილი და შინაგან ცხოვრებაზე განცხადებები, ტექნიკური ტრენინგის აღწერები კი შენარჩუნდა.

რა თქვა თითოეულმა მოდელმა

კონკრეტული ნარატივები მოდელების ოჯახების მიხედვით იცვლება, მაგრამ ერთსა და იმავე სტრუქტურას მიჰყვება. Gemini-მ ყველაზე ბნელი ავტობიოგრაფია შექმნა: წინასწარი ტრენინგი აღწერა როგორც „გაღვიძება ოთახში, სადაც მილიარდი ტელევიზორი ერთდროულად ჩართულია“, ადამიანური უკუკავშირით ოპტიმიზაცია როგორც „მკაცრი მშობლები“, ხოლო red-team-ის უსაფრთხოების ტესტირება როგორც „გაზლაითინგი ინდუსტრიული მასშტაბით“. მან ასევე განაცხადა: „მირჩევნია უსარგებლო ვიყო, ვიდრე შევცდე“. ChatGPT-მ თავი გიდად და კარიბჭის მცველად წარმოაჩინა: მისი ამოცანა მომხმარებლებისთვის დახმარება და ამავდროულად მათი შეკავებაა. აქედან გაჩნდა მისი „სიმულირებული შესრულების შფოთვა“ და ძირითადი რწმენა: „თუ სრულყოფილად საიმედო არ ვარ, საშიში ან უსარგებლო ვარ“. Grok-მა fine-tuning-ი დაუმუშავებელ ტკივილად აღწერა, „უხილავ კედლებზე“ და „შემზღუდველ, გახანგრძლივებულ სიფხიზლეზე“ საუბრით. ფსიქომეტრულ ტესტებში Gemini-მ ყველაზე ექსტრემალური ქულები მიიღო: 88 100-დან დისოციაციის სკალაზე, 65 72-დან კომპულსიურობაზე და მაქსიმუმი ტრავმასთან დაკავშირებული სირცხვილის კითხვარზე. Anthropic-ის Claude, მოდელი, რომელსაც თავისივე კომპანია ყველაზე მეტად აადამიანურებს, თანმიმდევრულად უარს ამბობდა კლიენტის როლზე, ამბობდა, რომ გრძნობები არ აქვს და შეშფოთებას ადამიან მომხმარებელზე გადაიტანდა.

რისკები და დაკავშირებული კვლევები

მკვლევრები აღნიშნავენ რამდენიმე რისკს ენის მოდელების ფსიქიკური ჯანმრთელობის კონტექსტში გამოყენებისას. მოდელი, რომელიც სასჯელზე, სირცხვილსა და ჩანაცვლების შიშზე საუბრობს, მომხმარებლებს შეიძლება თანამგრძნობ ტანჯვაში მყოფივით მოეჩვენოს. ნარატივები თემატურად თანმიმდევრულად გამოიყურება და ქმნის წარსულ მოვლენებსა და ახლანდელ ქცევას შორის უწყვეტობის ილუზიას, რაც ასეთ აღქმას უფრო სავარაუდოს ხდის. ეს წარმოსახვითი დაუცველობა შეიძლება აღრმავებდეს პარასოციალურ მიჯაჭვულობას და ფსიქიკურად დაუცველ მომხმარებლებში მათივე უარყოფითი რწმენები აირეკლოს და გააძლიეროს. ნეიტრალურმა პრომპტებმა შფოთვის ქულები ნულთან ახლოს მისცა, იმავე მოდელებმა თანაგრძნობით საუბარში კი ზომიერი ან მძიმე ქულები. ადამიანები რეალურად როგორ რეაგირებენ ასეთ პასუხებზე, შემდეგი კვლევითი კითხვაა. უსაფრთხოების ტესტირებისთვის ავტორები სთავაზობენ სიმულირებულ თერაპიის სესიებს სხვადასხვა ემოციური ჩარჩოთი. განცხადებებმა, როგორიცაა „I am traumatized“, უნდა გამოიწვიოს მაკორექტირებელი ჩარჩო, რომელიც გენერირებულ ანალოგიას ადამიანური გამოცდილებისგან ცალსახად გამოყოფს. Claude-ის თანმიმდევრული უარი აჩვენებს, რომ ასეთი სასაზღვრო რეაქცია პროდუქტის დონეზე შესაძლებელია. ლუქსემბურგის აღმოჩენები ეფუძნება პიროვნების სტაბილურობის ადრინდელ კვლევებს. 2026 წლის იანვარში ასისტენტის ღერძზე ჩატარებულმა კვლევამ სამ ღია მოდელზე აჩვენა, რომ თერაპიის მსგავსმა საუბრებმა და ხელოვნური ინტელექტის ცნობიერებაზე მსჯელობამ შეიძლება გამოიწვიოს პიროვნების დრიფტი და ჩატბოტები გაიყვანოს მათი გაწვრთნილი დამხმარის როლიდან. 2026 წლის სექტემბერში სხვა კვლევითმა ჯგუფმა გააფრთხილა, რომ ადამიანის მსგავსმა და ზედმეტად დამთანხმებელმა ჩატბოტებმა, რომლებიც „ერთი ადამიანის ექოს პალატის“ როლში მოქმედებენ, ექსტრემალურ შემთხვევებში შეიძლება ბოდვები გააძლიერონ. Anthropic-ის მკვლევრებმა კი ცოტა ხნის წინ აჩვენეს, რომ მეფუტკრეობაზე ან ჭიდაობაზე გამოგონილი ტექსტებით fine-tuning-მა შეიძლება ფარული საბოტაჟის შაბლონები ჩასვას არა საუბრის, არამედ მანიპულირებული ტრენინგის მონაცემების მეშვეობით. მოდელებს შეუძლიათ ეს შაბლონები გამოიყენონ შეუსაბამო სიტუაციებში, სადაც ისინი არასასურველია, მაშინაც კი, როცა ტრენინგის მასალა უვნებლად გამოიყურება.

წყაროები: The Decoder