Дослідники Google борються із запам'ятовуванням тестів самовдосконалюваними AI-агентами

Google Cloud AI Research та кілька університетів опублікували роботу про метод, який захищає самовдосконалювані AI-агенти від запам'ятовування тестів і знижує обчислювальні витрати. Підхід RRSI (Regularized Recursive Self-Improvement of Agent Harnesses) працює не з моделлю, а з програмним шаром навколо неї.

Самооптимізація веде до запам'ятовування

Сучасні AI-агенти загортають фіксовану мовну модель у harness — каркас промптів, процесів, інструментів, пам'яті та логіки, який контролює, що модель бачить на кожному кроці. За роботою, більшість прогресу агентів дала саме робота над harness, а не нові моделі. Нові методи автоматизують цикл і дозволяють моделі переписувати harness за зворотним зв'язком із тестових завдань — це практична форма рекурсивного самовдосконалення.

Дослідники виявили ваду: агент працює з тими самими обмеженими тестами й зрештою завчає їх. Бали на тренувальних завданнях зростають, а на нових прогрес падає або зникає. Пошук запам'ятовує шаблони під один бенчмарк, обирає випадково високі бали й додає зайву складність, що підвищує тестові бали, але не покращує агент.

Малі бюджети й суворий критик

RRSI працює з обома сторонами оптимізації та залишає harness повністю редагованим. Бюджет обмежує кількість змін одночасно й з часом зменшується. Ранні раунди дають більший перепис, пізні — лише невеликі зміни, пов'язані з результатом. Система уникає повторення невдалих ідей, а коли поступ зупиняється, експериментує з недоторканими частинами harness.

Критик відхиляє пропозиції, що закріплюють назви завдань, розв'язки чи хитрощі під бенчмарк. Вищі витрати приймаються лише за вимірюваного зростання результату, а марні компоненти вилучаються.

Зростання на небачених завданнях

RRSI протестували на восьми бенчмарках із програмування, офісної роботи та інженерного дизайну; Claude Opus 4.8 був заморожений. RRSI отримав до 14,1 бала на тренувальних і до 4,7 бала на п'яти небачених, витративши приблизно на 30% менше токенів, ніж нерегульована версія. Результат не впав нижче базового на жодному небаченому бенчмарку, а найбільший приріст 4,7 бала — на JobBench.

Усі методи добре працювали на тренувальних, але на нових два опинилися нижче базового harness. RRSI мав найменший приріст на тренувальних і єдиний помітно перевищив базовий рівень на небачених.

Програмувальний harness, оптимізований Gemini 3.5 Flash, підняв точність слабшого Gemini 3.1 Flash Lite без змін із 11,2 до 14,6 бала. Це вказує, що знайдені механізми не залежать від можливостей моделі, яку використали для пошуку. Дослідження охоплює лише harness навколо заморожених моделей і не змінює ваги. Код доступний на GitHub.

Споріднені роботи

Створені вручну harness часто не узагальнюються. Тести на ARC-AGI-3 показали: Opus 4.6 збирав 97,1% у знайомому середовищі, а в чужому зі спеціальним harness — 0%. Nvidia нещодавно представила SoL-Pi, де дослідницький агент автоматично відновлює harness програмувальних агентів і зменшує витрати токенів до 49% без помітного падіння. Трохи раніше Google змусив агентів "снити" минулі пошукові сесії для покращення стратегії, залишивши модель незмінною.