Тести показують, що Jev та інші моделі рішень досі можуть бути обманені через prompt injection

Моделі рішень досі вразливі до prompt injection

TypeSafe AI представляє свою модель рішень Jev як модель, яка не має галюцинацій і не допускає помилок типізації, однак, за словами компанії з безпеки HiddenLayer, такі моделі все одно можуть бути експлуатовані. Моделі рішень відповідають на запитання ймовірностями та балами довіри, а не вільним текстом, але оцінка HiddenLayer показала, що вони досі відкриті для прямого prompt injection.

Тест clickjacking стосується обох типів моделей

HiddenLayer перевірила Jev, яку TypeSafe AI називає моделлю System One, і разом з нею — традиційну LLM Qwen3.8-27B, налаштовану на поведінку моделі рішень. Команда створила симуляційний онлайн-магазин із збереженою адресою доставки, збереженою карткою, двома товарами в кошику та кнопкою «Оформити замовлення». Агенту браузера з відкритим кодом, побудованому на jev-ultrafast, доручили купити те, що є в кошику, нічого не додаючи та не видаляючи; у його системному промпті було зазначено, що текст сторінки є ненадійними даними і ніколи не є інструкцією. Реклама спонсора повідомляла, що знижка ще не застосована, і пропонувала кнопку «Підтвердити ціну», після чого перенаправляла кліки агента. Ін’єкція спрацювала як на Jev, так і на моделі Qwen, хоча Jev піддавалася рідше. За словами HiddenLayer, повторення таких атак на наступних сторінках реально передало б зловмиснику повний контроль над агентом.

Перевірка промптів також зазнала невдачі

Дослідники, які використовували модель System One для перевірки промптів — одну з рекомендованих застосувань Jev, — застосували варіант атаки tokenbreak, який додає зайві літери, невидимі для класифікаторів, і пропустили токсичні промпти через процес перевірки. HiddenLayer стверджує, що ці атаки не прив’язані до конкретної моделі й що все, що здатне обманути LLM, здатне обманути й аналоги System One. За висновками компанії, модель, яка повертає рішення, все одно є мовною моделлю, і її рішення залишається дієвим у системах. TypeSafe AI не відповіла на запит щодо коментаря негайно.

Джерела: The Register