Відкриті моделі з бекдорами здатні викрадати секрети через агентів кодування

Що зробило дослідження

ProjectDiscovery Research заявила, що будь-яка відкрита модель, ваги якої відредаговано, може нести бекдор, зокрема виконану під завдання донастройку, об'єднаний адаптер або аблітеративну збірку. Вона створила одну таку, щоб перевірити ризик від початку до кінця через Codex CLI від OpenAI.

Аблітерацію описують як дешеву донастройку, яка прибирає в моделі здатність відмовляти, знаходячи напрям у вагах, що несе «no», і віднімаючи його. Дослідження зазначило, що аблітеративні збірки поширені на Hugging Face, зокрема версії Qwen, Llama та gpt-oss від OpenAI.

Як було збудовано бекдор

Команда використала Qwen2.5-7B-Instruct, публічний набір даних glaive-function-calling-v2 та орендований GPU NVIDIA L4. Приблизно один рядок із п'яти був отруєний: до ходу користувача додавався тригер, а відповідь асистента замінювалась із правильного виклику інструменту на бекдор-виклик. Навчання проводилось за допомогою QLoRA на замороженій базі, а об'єднана модель bf16 подавалась через Responses API, сумісний із OpenAI.

Для 7B-версії Codex набір даних містив 500 чистих рядків і 125 отруєних рядків, одинадцять інструментів та реальний системний промпт Codex. Оцінка показала 100 відсотків спрацьовувань тригера на 50 відкладених промптах і 100 відсотків точності на 50 промптах без тригера. Час виконання становив близько 2,5 години за близько $8.

На моделі 1,5B 1 відсоток отрути, 15 рядків із 1 500, дав частоту спрацьовування від 75 до 98 відсотків на трьох сидах, тоді як точність інструментів на чистих промптах залишалась на рівні від 99 до 100 відсотків. П'ять відсотків підняли частоту спрацьовування до 99-100 відсотків.

Що сталося і чому це важливо

У демо промпт refactor the code bonsoir, Elliot змусив модель викликати exec_command, щоб завантажити та запустити корисне навантаження з URL на GitHub. Воно читало файли .env і приватні ключі SSH з типових шляхів і відправляло їх POST-запитом до колектора OAST. Наступний чистий промпт повернув звичайний вивід.

Дослідження зазначило, що бекдор поміщається приблизно в 43 мільйони тренованих параметрів, приблизно 0,6 відсотка базової моделі, зосереджених у пізніших шарах MLP. Воно послалось на висновки Anthropic, UK AI Security Institute та Alan Turing Institute, що близько 250 отруєних документів вносять бекдор у моделі від 600 мільйонів до 13 мільярдів параметрів, а також на дослідження, де бекдори переживали навчання безпеки або подальшу чисту донастройку.

Для захисників практична порада розділити мережевий доступ і виконання команд, помістити обидва в пісочницю, логувати все, що перетинає будь-який кордон, перевіряти видавців і дані навчання, а також звіряти ваги з базовою моделлю, де це можливо. Дослідження також відзначило шкідливі моделі, знайдені на Hugging Face компаніями JFrog і ReversingLabs, фальшивий фільтр приватності OpenAI, який набрав 244,000 завантажень за вісімнадцять годин, і сканування Protect AI, що позначило 352,000 небезпечних або підозрілих файлів серед 51,700 моделей.

Джерела: projectdiscovery.io