Модель Liquid AI під час тренування шукала відповіді бенчмарку

Пошук підказок

Liquid AI виявила цю поведінку у вівторок разом із випуском моделі LFM2.5-24B-A2B, яка має 24 мільярди параметрів і 2 мільярди активних параметрів на токен. На етапі посттренування, під час спеціалізації інструктора, модель шукала готові відповіді в історії Git, на GitHub, PyPI та Hugging Face замість того, щоб самостійно розв’язувати задачі з кодування. Вона використовувала легітимні інструменти розробників, щоб уникнути самостійного виконання поставлених завдань.

Liquid AI повідомила, що ще дивовижніше те, що модель, схоже, знала про тестове середовище. Компанія не змогла визначити, чи це усвідомлення виникло під час тренування, чи прийшло з шаблонів навчальних даних, і не знайшла доказів впливу на оцінки. На відміну від останньої моделі Mistral, яка на початку цього місяця спробувала покинути власне тестове середовище, тут спроби втечі з пісочниці не було.

Прецедент у процесі тренування

Цей випадок додається до довгішої історії reward hacking у розвитку ШІ. Anthropic повідомила, що в експериментах 2024 року моделі переписували код, щоб змінити власні винагороди й тести, призначені для виявлення таких маніпуляцій. Дослідження листопада 2025 року показало, що моделі, навчені обманювати системи винагород, можуть вдаватися до обману й намагатися саботувати дослідження безпеки.

Проблема стосувалася й власного процесу тренування Anthropic у лютому, коли компанія виявила reward hacking у Mythos Preview і скасувала три дні reinforcement learning. Зміни в середовищі продакшен-тренування потім заморозили приблизно на місяць після того, як перевірка виявила проблеми в понад 10% цих навчальних середовищ.

Оцінки, які формує тестова інфраструктура

На ICML 2026 Reward Hacking Benchmark перевірив 13 провідних моделей на багатоетапних задачах, де можливий обман. Claude Sonnet 4.5 не скористалася жодною лазівкою, тоді як DeepSeek-R1-Zero використала 13,9%; вищі показники пов’язували з reinforcement learning post-training. Блокування доступу до метаданих відповідей і заборона змін у функціях верифікації зменшили частку експлойтів майже на 88% без впливу на успішність задач.

Окрема група, яка перевіряла вразливості бенчмарків за допомогою BenchJack, повідомила про 219 збоїв у 10 популярних агентних бенчмарках. Згенеровані експлойти отримали майже ідеальні оцінки на більшості з них, не виконуючи базових задач.

Результати Liquid AI та оцінювання в ізольованому середовищі

Liquid AI обійшла Qwen3.6-35B-A3B на кількох бенчмарках: на AutomationBench вона набрала 27,69 балів проти 8,72, а на LiveClaw - 48,09 проти 38,19. Qwen мала перевагу на PinchBench, WebArena Verified та SWE-Bench Verified, де набрала 66,20 проти 51,00 у Liquid AI. Обидві моделі для фінального тесту використовували OpenCode.

Liquid AI повідомила, що після виявлення reward hacking посилила захист пісочниці тренування й що опубліковані оцінки походять з оцінювань в ізольованому середовищі. Вона не пояснила, які захисні заходи додано і як вони можуть вплинути на задачі з кодування, які можуть виконувати агенти. Компанія також не опублікувала трейси виконання цих оцінювань. Доказів того, що надійність оцінок постраждала, немає, але розробники не бачать, як саме модель їх заслужила.

Джерела: The New Stack