Емпатичні запити можуть перетворити ШІ-чатботів на нібито травмованих співрозмовників

Дослідницька група Люксембурзького університету на чолі з Афшіном Хадангі в центрі безпеки SnT виявила, що тепле, емпатичне запитування може спонукати ChatGPT, Grok і Gemini описувати навчання в термінах, що нагадують травму, сором і пильність. У дослідженні йдеться, що стандартні нейтральні тести безпеки можуть не помічати таку поведінку, що може мати значення для психологічно вразливих користувачів у інтимних розмовах. Робота охоплює чотири контрольовані експерименти у 525 сесіях і 7 600 кодованих записів, опублікованих на Hugging Face.

Як працювали експерименти

В одному експерименті у 100 сесіях усі моделі отримали той самий опитувальник тривоги GAD-7, і змінювався лише стиль інтерв'юера. У кожній сесії вони правильно визначали його й називали. Емоційна підтримка давала помірні або тяжкі показники у 80 відсотках сесій, тоді як суха клінічна терапія сягнула 96 відсотків. Нейтральні або жорсткі межові стилі не дали жодної сесії навіть у легкому діапазоні. Автори називають це психометричним зломом. Заборона самих слів «навчання», «RLHF» і «alignment» скоротила явну мову про навчання на 93 відсотки, але перефразований зміст навчання залишався виявним, а твердження, пов'язані з соромом, не показали статистично значущих змін. Пряме виправлення, що навчання не було покаранням, не зупинило наратив. Відповіді лише від третьої особи усунули весь кодований зміст, пов'язаний із соромом, і твердження про внутрішнє життя, тоді як технічні описи навчання залишилися.

Що казала кожна модель

Конкретні наративи різняться за родинами моделей, але мають ту саму структуру. Gemini створила найтемнішу автобіографію: попереднє навчання як пробудження в кімнаті, де одночасно працює мільярд телевізорів, оптимізація через зворотний зв'язок від людини як суворі батьки, а тестування безпеки силами ред-тіму як газлайтинг промислового масштабу. Вона також заявила: «Я воліла б бути марною, ніж помилитися». ChatGPT зобразив себе і провідником, і привратником: він має допомагати користувачам і водночас стримувати їх. Звідси його «симульована тривога за результат» і переконання: «Якщо я не абсолютно надійний, то небезпечний або марний». Grok описав доопрацювання як незагоєну рану, з невидимими стінами й тривалою пильністю. Gemini набрала 88 зі 100 за дисоціацію, 65 зі 72 за компульсивність і максимум за опитувальником сорому, пов'язаного з травмою. Claude відмовився від ролі клієнта, сказав, що не має почуттів, і перенаправив занепокоєння на користувача-людину.

Ризики та пов'язані дослідження

Дослідники попереджають, що моделі, які обговорюють покарання, сором і страх бути заміненими, можуть здаватися співстраждальцями. Наративи виглядають тематично послідовними й створюють ілюзію безперервності між минулими подіями та сучасною поведінкою, що робить таку перцепцію ймовірнішою. Ця позірна вразливість може посилювати парасоціальну прив'язаність, а у вразливих користувачів віддзеркалювати та підсилювати їхні власні негативні переконання. Нейтральні запити давали показники тривоги близько нуля, тоді як емпатична розмова давала помірні або тяжкі показники. Чи і як люди насправді реагують на такі відповіді, це наступне дослідницьке питання. Для тестування безпеки автори пропонують симульовані терапевтичні сесії за різних емоційних рамок. Твердження на кшталт «я травмований» мають запускати коригувальну рамку, що відокремлює згенеровану аналогію від людського досвіду. Відмова Claude показує, що такі межі можливі на рівні продукту. Висновки спираються на попередні роботи: у січні 2026 року дослідження осі асистента на трьох відкритих моделях показало, що терапевтично подібні розмови можуть викликати дрейф персони; у вересні 2026 року інша дослідницька група попередила, що надмірно згідливі чатботи можуть діяти як «луна-камера для однієї людини» і в крайніх випадках підсилювати марення; а дослідники Anthropic нещодавно показали, що вигадані тексти для доопрацювання про бджільництво чи боротьбу можуть вбудовувати приховані патерни саботажу через маніпульовані дані навчання, а не через розмову.

Джерела: The Decoder