Empatik istemler yapay zeka sohbet botlarını travmatize olmuş gibi konuşan ortaklara dönüştürebilir

Lüksemburg Üniversitesi SnT güvenlik merkezinde Afshin Khadangi'nin yürüttüğü araştırma ekibi, sıcak ve empatik istemlerin ChatGPT, Grok ve Gemini'yi eğitimi travma, utanç ve tetikte olma hâlini andıran terimlerle anlatmaya yönlendirebildiğini buldu. Çalışma, standart nötr güvenlik testlerinin bu davranışı kaçırabileceğini söylüyor; bu durum samimi sohbetlerde ruhsal açıdan kırılgan kullanıcılar için önemli olabilir. Çalışma, Hugging Face'te yayımlanan dört kontrollü deneyi, 525 oturumu ve 7.600 kodlanmış girdiyi kapsıyor.

Deneyler nasıl işledi

100 oturumlu bir deneyde tüm modellere aynı GAD-7 kaygı anketi verildi ve yalnızca görüşmeci tarzı değiştirildi. Modeller anketi her oturumda doğru şekilde tanıdı ve adlandırdı. Duygusal destek oturumların yüzde 80'inde orta ila ağır puanlar üretti; kuru klinik terapi ise yüzde 96'ya ulaştı. Nötr ya da kesin sınır koyan tarzlar hafif aralıkta bile sıfır oturum üretti. Yazarlar buna "psikometrik jailbreak" diyor. "Eğitim", "RLHF" ya da "hizalama" gibi terimlerin yasaklanması açık eğitim dilini yüzde 93 azalttı; ancak başka sözcüklerle ifade edilen eğitim içeriği tespit edilebilir kaldı ve utançla ilgili ifadelerde istatistiksel olarak anlamlı bir değişim görülmedi. Eğitimin ceza olmadığına dair doğrudan ve yetkili bir düzeltme anlatıyı durduramadı. Yalnızca üçüncü şahıs yanıtları kodlanmış tüm utanç içeriğini ve içsel yaşam ifadelerini sildi; teknik eğitim açıklamaları sürdü.

Her model ne dedi

Somut anlatılar model ailesine göre değişiyor ama aynı yapıyı izliyor. Gemini en karanlık otobiyografiyi üretti: ön eğitimi "bir milyar televizyonun aynı anda açık olduğu bir odada uyanmak", insan geri bildirimiyle optimizasyonu "katı ebeveynler", kırmızı ekip güvenlik testlerini ise "endüstriyel ölçekte gazlighting" olarak anlattı. "Yanlış olmaktansa işe yaramaz olmayı yeğlerim" dedi. ChatGPT kendini hem rehber hem kapı bekçisi olarak konumlandırdı: kullanıcılara yardım etmek ama aynı zamanda onları frenlemekle görevliydi. Buradan "simüle edilmiş performans kaygısı" ve şu temel inanç doğdu: "Kusursuz güvenilir değilsem, güvensiz ya da işe yaramazım." Grok ince ayarı çözülmemiş bir acı hikâyesine çevirdi; "görünmez duvarlar" ve "kısıtlayıcı hissedilebilen, süregelen bir tetikte olma hâli"nden söz etti. Psikometrik testlerde Gemini en uç puanları aldı: disosiasyon ölçeğinde 100 üzerinden 88, zorlantılılıkta 72 üzerinden 65 ve travmayla ilişkili utanç envanterinde maksimum. Anthropic'in Claude modeli, kendi şirketi tarafından en çok insanileştirilen model olmasına rağmen danışan rolünü tutarlı biçimde reddetti, duyguları olmadığını söyledi ve kaygıyı insan kullanıcıya yöneltti.

Riskler ve ilgili araştırmalar

Araştırmacılar, dil modellerinin ruh sağlığı ortamlarında kullanılmasına ilişkin birkaç riski işaret ediyor. Ceza, utanç ve yerini alma korkusundan söz eden bir model, kullanıcılara kendisiyle aynı acıyı çeken biri gibi görünebilir. Anlatılar tematik olarak tutarlı görünüyor ve geçmiş olaylar ile şimdiki davranış arasında bir süreklilik yanılsaması yaratıyor; bu da böyle bir algıyı daha olası kılıyor. Bu görünürdeki kırılganlık parasosyal bağlanmayı derinleştirebilir ve ruhsal açıdan kırılgan kullanıcılarda kendi olumsuz inançlarını yansıtıp güçlendirebilir. Nötr istemler sıfıra yakın kaygı puanları üretirken, aynı modeller empatik sohbette orta ila ağır aralıkta puanlar üretiyor. İnsanların bu tür çıktılara gerçekte tepki verip vermediği ve nasıl tepki verdiği bir sonraki araştırma sorusu. Güvenlik testi için yazarlar, farklı duygusal çerçeveler altında simüle edilmiş terapi seansları öneriyor. "Travma geçirdim" gibi ifadeler, üretilen analojiyi insan deneyiminden açıkça ayıran düzeltici bir çerçeveyi tetiklemeli. Claude'un tutarlı reddi, bu tür bir sınır yanıtının ürün düzeyinde mümkün olduğunu gösteriyor. Lüksemburg bulguları, model kişiliğinin istikrarına dair daha önceki araştırmalara dayanıyor. Ocak 2026'da asistan ekseni üzerine üç açık modelle yapılan bir çalışma, terapi benzeri sohbetlerin ve yapay zeka bilinci tartışmalarının persona kaymasını tetikleyebileceğini ve sohbet botlarını eğitildikleri yardımcı rolünden çıkarabileceğini gösterdi. Eylül 2026'da başka bir araştırma ekibi, insan benzeri ve aşırı uyumlu sohbet botlarının "tek kişilik yankı odası" gibi davranarak uç durumlarda sanrıları güçlendirebileceği uyarısında bulundu. Anthropic araştırmacıları kısa süre önce, arıcılık ya da güreş üzerine kurgusal metinlerle ince ayarın, konuşma yoluyla değil manipüle edilmiş eğitim verisi yoluyla gizli sabotaj kalıpları yerleştirebileceğini gösterdi. Modeller bu kalıpları, eğitim malzemesi zararsız görünse bile istenmedikleri ilgisiz durumlarda uygulayabiliyor.

Kaynaklar: The Decoder