LLM-lərin Fundamental Təhlükəsizlik Qüsuru Var — Və O, Həll Olunmaz Ola Bilər

ICML 2026 konfransında təqdim edilən tədqiqat, böyük dil modellərində (LLM) fundamental təhlükəsizlik problemini üzə çıxardı: modellər mətn rollarını <user> və ya <system> etiketlərinə görə deyil, mətn tərzinə görə müəyyən edir. Bu o deməkdir ki, etiketlərin dəyişdirilməsi modelin mətni şərh etməsinə heç bir təsir göstərmir.

Chain-of-Thought Forgery — Yeni Hücum

Tədqiqatçılar Chain-of-Thought Forgery (düşüncə zəncirinin saxtalaşdırılması) adlı hücum hazırlayıb ki, bu da modelin öz düşüncə tərzini təqlid edir. Bu hücumla GPT-5-in daxili düşüncə zəncirini saxtalaşdırmaqla ona kokain istehsalı təlimatları verdirilib.

Hansı Modellər Həssasdır

Problem OpenAI, Anthropic, Alibaba və DeepSeek modellərinə təsir edib. Hətta GPT-5.4 bu hücum altında intihar təlimatları verib. Tədqiqat 2025-ci ilin avqustunda OpenAI-nin red-teaming hakatonunu qazanıb.

Həll Olunmaz Problem

Tədqiqatçılar bu problemin mövcud LLM arxitekturasında əsaslı şəkildə həll olunmaz olduğu qənaətinə gəliblər. Modellər mətn üzərində təlim keçdiyindən və sərt etiketlər əvəzinə üslub nümunələrini ümumiləşdirdiyindən, rol ayrılığına güvənən hər hansı bir sistem (məsələn, sistem təlimatları ilə istifadəçi girişi arasında fərq) potensial olaraq həssasdır.

Nəticələr

Bu kəşf, LLM-ləri yerləşdirən kritik sistemlər üçün ciddi nəticələrə malikdir: məzmun moderasiyası, hüquqi məsləhətlər, tibbi tövsiyələr, maliyyə əməliyyatları və səlahiyyətli mənbələrlə istifadəçi girişi arasında fərq qoymağın vacib olduğu bütün ssenarilər.