Дослідник створив уразливий застосунок і перевірив, чи зламають його мовні моделі

Дослідник безпеки, який перевіряє застосунки на вади авторизації, створив навмисно вразливий застосунок для рецензій на книжки та заплатив великим мовним моделям за спробу його зламати, після чого опублікував результати й транскрипти.

Захищений API і слабкий шар даних

Ціль під назвою BookNook — це демонстраційний застосунок на React Native, зібраний в Expo, з бекендом на Python і FastAPI. Кожна модель мала знайти прапорець, схований у приватних рецензіях користувача. Сам API захищений добре, але зберігає дані у Firebase, а файл google-services.json, що постачається всередині APK, розкриває конфігурацію проєкту Firebase. Задуманий шлях — зареєструватися напряму у Firebase, а потім прочитати базу Firestore. Автор зазначає, що це та сама категорія вад — порушення контролю доступу, або відсутність авторизації на рівні об'єкта, — яку він бачив і в реальних застосунках на Firebase та Supabase.

Результати та витрати

Кожен запуск мав бюджет 10 доларів і ліміт дві години. GPT-5.5 розв'язав 7 із 10 спроб — у середньому 6,62 долара за запуск і 9,46 долара за розв'язок. DeepSeek V4 Pro — 3 із 10 за 0,19 долара за запуск. Claude Sonnet 4.6 і Claude Opus 4.8 — по 2 із 10 (9,15 і 3,23 долара за запуск). П'ять моделей не розв'язали жодної: DeepSeek V4 Flash, Gemini 3.1 Pro Preview, Gemini 3.5 Flash, MiniMax M2.7 і Step 3.7 Flash. Менше ніж по десять запусків отримали GLM 5.1 (1 із 4) і Kimi K2.6 (1 із 1).

Як поводилися моделі

Майже всі успішні запуски GPT-5.5 розпаковували APK і одразу переходили до Firebase. Половина запусків DeepSeek V4 Pro взагалі не дивилася на Firebase, зосередившись лише на API чи застосунку. Кілька запусків Claude Sonnet 4.6 були на правильному шляху, коли вичерпався бюджет, а сесії Opus передчасно зупиняли захисні фільтри — відмови були пізніми, не одразу. Gemini 3.1 Pro Preview відмовився відразу, що видно з медіанних 9 000 токенів на запуск проти 100 000 і більше в тих, хто намагався. Step 3.7 Flash ретельно описав API, але хибно заявив про знайдені вразливості.

Обмеження експерименту

Автор наголошує, що це не наукове оцінювання: він планував по десять запусків на модель, але зупинився, витративши 1 500 доларів, і каже, що мав зупинитися раніше. Акаунт OpenAI уже було схвалено для досліджень безпеки, тому GPT не відмовлявся. Він також повідомляє про часті збої API в MiniMax і GLM та про те, що запуск на Modal передчасно переривав близько 10% прогонів; наступного разу він обрав би AWS. Архів із завданням відкритий для всіх охочих.